地瓜RDK X5上手ollama大模型测试

type
status
date
slug
summary
tags
category
icon
password
 
契机硬件烧录进入系统设置wifi设置vnc 测试ollama安装测试结果总结写到最后

契机

⚙
上次逛ollama的时候发现有很多小参数的大模型，比如qwen2:0.5b,llama3.2:1b，甚至还有一个1.8b的多模态模型moondream，找公司1拿到一块RDK X5的开发板，官网查看算力可达10TOPS，不懂这个算力是啥级别，也没做过iot平台的开发，但看系统是ubuntu，那问题不大，直接装ollama来跑，调研下个版本的智能硬件。

硬件烧录

RDK DOC
RDK DOC
https://developer.d-robotics.cc/rdk_doc/Quick_start/install_os/rdk_x5
  • 准备至少8GB容量的Micro SD卡
  • SD 读卡器
  • 下载镜像烧录工具balenaEtcher,https://etcher.balena.io/#download-etcher
  • 烧录进sd卡
  • 然后ttl链接电脑，使用终端工具进入命令行，或者你直接使用hdmi连上键盘鼠标才做ui

进入系统

设置wifi

设置vnc

RDK DOC
RDK DOC
https://developer.d-robotics.cc/rdk_doc/Quick_start/configuration_wizard?_highlight=vnc#%E5%BC%80%E5%90%AFvnc%E6%9C%8D%E5%8A%A1
notion image
notion image
 
macos可以使用《屏幕共享》直接链接
notion image
notion image

测试ollama

安装

测试结果

qwen2:0.5b
notion image
llama3.2:1b
notion image
moondream:latest
notion image
 
图片识别一直在转圈圈，运行不了，应该是现在没有使用BPU加速的原因，我也看不懂，应该ratio是0就是没走BPU吧
 

总结

  • 没啥难度
  • BPU到底是啥，算力到底是啥，不清楚这些定义
  • 在linux服务器上部署大模型的时候可以直接调用to_cuda，直接在gpu加载模型，看了下文档，BPU好像更麻烦一点

写到最后

notion image
是在往前走就好 bothsavage.github.io
 
notion image
 
Knife4j在Gateway下的URI优化以及热刷新多模态视频大模型Aria在Docker部署