Both Savage多模态视频大模型Aria在Docker部署
type
status
date
slug
summary
tags
category
icon
password
契机
闲逛HuggingFace的时候发现一个25.3B的多模态大模型，支持图片和视频。刚好我有H20的GPU所以部署来看看效果，因为我的宿主机是cuda-12.1所以为了防止环境污染采用docker部署，通过一系列的披荆斩棘比如Segmentation fault (core dumped)异常，最终成功运行在单卡h20服务器上，python3.10，cuda12.4，ubuntu20.04,程序在推理图片的时候占用50g显存，推理5s视频20fps的时候占用60g左右显存。
项目简介
线上demo尝试
线上demo响应很快，并且描述得很详细，并且可以描述什么时间发生了啥，介绍里面说的是：Cutting a long video by scene transitions with timestamps.(通过带有时间戳的场景过渡来剪切长视频。),这不是自动剪分镜吗，我有一个好想法先写完这篇再说
环境
docker环境
宿主机cuda是12.4以上的可以忽略，宿主机可以随便升降级cuda的也可以忽略要不然会出现以下异常：ImportError: /usr/local/lib/python3.10/dist-packages/torch/lib/../../nvidia/cusparse/lib/libcusparse.so.12: undefined symbol: __nvJitLinkComplete_12_4, version libnvJitLink.so.12
Conda环境
代码环境
下载模型
本来测试代码可以自动下载，我喜欢放在指定目录，所以搞了个脚本下载
图片测试
代码
结果
视频测试
代码
- 我是分析/home/下面的所有视频，你要分析单个改改就行
- max_image_size可改成490
- num_frames你根据自己视频来选，我的5秒视频，分析20fps，相当于一秒4fps
结果
总结
- aria显存占用还可以，60g左右，好像默认使用的是attn_implementation="flash_attention_2"
- 对比qwen和cpm来说，可以做到：通过带有时间戳的场景过渡来剪切长视频
- core dumped调整下import就行
写到最后
Last update: 2024-12-05