部署Kimi-VL-A3B-Instruct视频推理

type
Post
status
Published
date
Apr 21, 2025
slug
250421-kimi-vl
summary
最近国内AI公司月之暗面推出了Kimi-VL开源视觉模型。模型参数16.4B，但是推理时候激活参数2.8B。看了huggingface主页的Full comparison，在多项Benchmark的时候都展示出了不俗的实力。由于业务中使用了qwen-vl-2.5-7B，所以测试下Kimi-VL-A3B-Instruct是否在更小的部署资源中拥有更好的表现。
tags
开发
category
技术分享
icon
password
 
契机安装图片推理测试代码输入输出资源占用视频推理测试代码输入输出资源占用总结写到最后

契机

⚙
最近国内AI公司月之暗面推出了Kimi-VL开源视觉模型。模型参数16.4B，但是推理时候激活参数2.8B。看了huggingface主页的Full comparison，在多项Benchmark的时候都展示出了不俗的实力。由于业务中使用了qwen-vl-2.5-7B，所以测试下Kimi-VL-A3B-Instruct是否在更小的部署资源中拥有更好的表现。
 
moonshotai/Kimi-VL-A3B-Instruct · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
moonshotai/Kimi-VL-A3B-Instruct · Hugging Face
https://huggingface.co/moonshotai/Kimi-VL-A3B-Instruct
moonshotai/Kimi-VL-A3B-Instruct · Hugging Face

安装

图片推理测试

代码

输入输出

notion image

资源占用

notion image

视频推理测试

代码

输入输出

资源占用

notion image

总结

  • 这个显存占用也不低啊
  • 纯记录
 

写到最后

notion image
是在往前走就好 bothsavage.github.io
 
notion image
 
Prev
旧版本NotionNext图片失效最小改动解决思路
Next
Knife4j在Gateway下的URI优化以及热刷新
Loading...