部署Kimi-VL-A3B-Instruct视频推理

type
status
date
slug
summary
tags
category
icon
password
 

契机

最近国内AI公司月之暗面推出了Kimi-VL开源视觉模型。模型参数16.4B,但是推理时候激活参数2.8B。看了huggingface主页的Full comparison,在多项Benchmark的时候都展示出了不俗的实力。由于业务中使用了qwen-vl-2.5-7B,所以测试下Kimi-VL-A3B-Instruct是否在更小的部署资源中拥有更好的表现。
 

安装

图片推理测试

代码

输入输出

notion image

资源占用

notion image

视频推理测试

代码

输入输出

资源占用

notion image

总结

  • 这个显存占用也不低啊
  • 纯记录
 

写到最后

notion image
是在往前走就好 bothsavage.github.io
 
notion image
 
将进酒Knife4j在Gateway下的URI优化以及热刷新