Mac平台M1PRO芯片MiniCPM-V-2.6网页部署跑通

type
status
date
slug
summary
tags
category
icon
password
 
契机环境解决问题效果展示图片理解视频理解系统占用总结写到最后

契机

⚙
2.6的小钢炮可以输入视频了，我必须拉到本地跑跑。主要解决2.6版本默认绑定flash_atten问题，pip install flash_attn也无法安装，因为强制依赖cuda。主要解决的就是这个问题，还有 BFloat16 is not supported on MPS问题解决。

环境

  • macos版本：版本15.0 Beta版(24A5279h) || 版本15.1 Beta版(24B5009l)
  • 芯片：m1 pro
  • 分支：main
  • python版本：3.9

解决问题

notion image
 
 
 
完整代码如下
 

效果展示

图片理解

Sampling解码
notion image
 
Beam Search解码
notion image
 

视频理解

Sampling解码
notion image
Beam Search解码
notion image

系统占用

notion image

总结

  • 解决flash_attn强制依赖问题
  • 解决bfloat16在mps无法使用问题
  • 看系统占用是没走mps，添加的环境变量也可以看出
  • Sampling瞎回答，Beam Search回答很惊喜
  • Beam Search处理视频4秒，在m1pro下，当前代码中需要230s左右
  • ollama部署还在研究中…

写到最后

notion image
是在往前走就好 bothsavage.github.io
 
notion image
 
开发Maven插件：实现打包后上传tos云服务LAVIS在Mac,M1PRO芯片下的安装实战