部署Kimi-VL-A3B-Instruct视频推理
type
status
date
slug
summary
tags
category
icon
password
契机
最近国内AI公司月之暗面推出了Kimi-VL开源视觉模型。模型参数16.4B,但是推理时候激活参数2.8B。看了huggingface主页的Full comparison,在多项Benchmark的时候都展示出了不俗的实力。由于业务中使用了qwen-vl-2.5-7B,所以测试下Kimi-VL-A3B-Instruct是否在更小的部署资源中拥有更好的表现。
安装
图片推理测试
代码
输入输出

资源占用

视频推理测试
代码
输入输出
资源占用

总结
- 这个显存占用也不低啊
- 纯记录
写到最后
Last update: 2025-04-21