Both Savage

从cli.py，用传统web开发的视角，看typer框架如何定义通信和交互的，以及观察命令是如何设计的

OpenHarness源码研究-2-CLI构建工具Typer

围绕OpenHarness中pyproject.toml配置细节展开，讲解项目打包工具的使用、uv包管理器的优势与操作方法

OpenHarness源码研究-1-配置打包管理

Qwen3-VL-8B发布了，结合官方demo+github仓库issue，在h20显卡服务器上跑了一下，相当于qwen2.5-vl-8b还是有较大的提升。对官方demo进行了加强，输出了推理速度+显存占用+token统计等，跑是跑通了，有点小问题，小问题的处理应该也不麻烦，先记录下来。

Qwen3-VL-8B-Instruct推理测试transformer+sglang双版本

看到qwen3-vl-30b开源了，想测试下性能+资源占用，奈何部署sglang需要12.7版本的cuda？我目前手里的H20的服务器cuda版本最高只支持12.2所以需要升级驱动以及cuda版本，随使用官方.run还有apt install xx进行升级。之前用的火山官方ubuntu镜像，默认驱动535，后升级驱动550，570，580后，cuda也对应升级后，cuda都无法使用无论是在conda中，还是直接在宿主机上测试，最后发现是nvidia-fabricmanager问题，遂记录下升级历程。

Ubuntu-8*H20服务器升级nvidia驱动+cuda版本

使用nginx作为负载均衡（Load Balancing）的时候，发现真实ip无法获取。几经折腾终于拿到真实ip，又发现被代理的端口又无法使用非代理模式连接，由于之前暴露的docker端口有限，从中部分取巧终于拨开云雾见光明，再结合Java客户端获取真实ip一气呵成。

Java获取被nginx代理的emqx客户端真实ip

最近公司需要把大模型部署到三方公司服务器，当然不能让三方公司搞到模型的源文件。由于用transformers框架加载模型，输入参数直接就是模型的目录，所以传统的文件加密有点难搞，所以尝试使用gocryptfs目录加密，过程很曲折，结果也一般，此文不会作为最终的加密部署方案，仅仅记录下研究历程。

尝试使用gocryptfs实现大模型加密部署

最近在消除线上服务告警，发现Java线上测试服经常CPU满载告警，以前都是重启解决，今天好好研究下，打arthas火焰图发现是SkyWalking-agent的线程采集任务一直在吃cpu，jstack一看发现有1w+线程，故使用JProfiler好好排查了下，终于定位到了线程泄漏的原因

SkyWalking高频采集泄漏线程导致CPU满载排查思路

好久没写博客了，最近在notion写博客的时候发现用notionNext同步到个人网站时，图片无法预览。猜测是notion加了防盗链措施，去notionNext官方github上寻找解决方案，需要升级到4.8.3就可以解决。但我本地的notionNext相对4.8.3太过陈旧，贸然和过来需要解决许多冲突，并且最不能接受的是gitbook主题风格大改。所以本文提供最小升级方案,并且有解决思路明细，希望对你有帮助。

旧版本NotionNext图片失效最小改动解决思路

最近国内AI公司月之暗面推出了Kimi-VL开源视觉模型。模型参数16.4B，但是推理时候激活参数2.8B。看了huggingface主页的Full comparison，在多项Benchmark的时候都展示出了不俗的实力。由于业务中使用了qwen-vl-2.5-7B，所以测试下Kimi-VL-A3B-Instruct是否在更小的部署资源中拥有更好的表现。

部署Kimi-VL-A3B-Instruct视频推理

之前在做Gateway集成knife4j的时候。发现uri的地址缺少了项目路径，也就是baseURI，本篇文章就是在处理这个问题。还有gateway一旦启动会固化服务列表，加了一个小改动动态刷新服务列表，这样不用每次在最后重启gateway。

Knife4j在Gateway下的URI优化以及热刷新

上次逛ollama的时候发现有很多小参数的大模型，比如qwen2:0.5b,llama3.2:1b，甚至还有一个1.8b的多模态模型moondream，找公司1拿到一块RDK X5的开发板，官网查看算力可达10TOPS，不懂这个算力是啥级别，也没做过iot平台的开发，但看系统是ubuntu，那问题不大，直接装ollama来跑，调研下个版本的智能硬件。

地瓜RDK X5上手ollama大模型测试

闲逛HuggingFace的时候发现一个25.3B的多模态大模型，支持图片和视频。刚好我有H20的GPU所以部署来看看效果，因为我的宿主机是cuda-12.1所以为了防止环境污染采用docker部署，通过一系列的披荆斩棘比如Segmentation fault (core dumped)异常，最终成功运行在单卡h20服务器上，python3.10，cuda12.4，ubuntu20.04,程序在推理图片的时候占用50g显存，推理5s视频20fps的时候占用60g左右显存。

多模态视频大模型Aria在Docker部署

当前业务项目只有test和uat走的流水线，prod环境都需要手动打包部署，由于生产服务器的特殊性，只能用VPN链接访问，上行带宽不够导致发版绝大部分时间都浪费到上传jar包到linux服务器。当前阶段，我们公司使用的是火山引擎ECS+TOS云存储，在一个地域下ecs可以实现内网访问tos数据。故考虑使用maven写一个tos上传插件，方便环境的CICD

开发Maven插件：实现打包后上传tos云服务

2.6的小钢炮可以输入视频了，我必须拉到本地跑跑。主要解决2.6版本默认绑定flash_atten问题，pip install flash_attn也无法安装，因为强制依赖cuda。主要解决的就是这个问题，还有 BFloat16 is not supported on MPS问题解决。

Mac平台M1PRO芯片MiniCPM-V-2.6网页部署跑通

本地想装个图片理解的大模型，看了下blip2感觉比较合适，macos安装的时候有点坑需要注意下，但是最终也无法使用mps加速，比较蛋疼。这里记录下安装步骤。

LAVIS在Mac,M1PRO芯片下的安装实战

最近痴迷于打地下城手游，太浪费时间了，本着编程解放生产力的思想，开始想着能不能用程序来打地下城，就是开外挂！当然任何形式的开外挂都是不倡导的，这里只是探寻技术方案可行性，输出的成品并不能直接使用！为啥要等Iphone Mirroring出来完成这件事呢，因为我的设备是Iphone+Mac，虽然Mac可以通过PlayCover安装破解IPA，但是不支持微信登陆，现在有了Iphone Mirroring一切问题迎刃而解。

Iphone Mirroring圆了我AI打DNF手游的梦

使用Higress AI网关优化AI调用成本。就是基于向量召回相似问题的缓存，降低LLM API调用成本。就是开发一个网关插件做QA缓存嘛。前文已经成功复现了hello-world插件，这次结合官方提供的AI-Cache插件自己动手改改，再写点注释放到天池大赛去跑跑分，环境搭建起来确实有很多要注意的地方，所以记录下来。

天池大赛Higress插件官方demo详细部署+调试

多方寻求解决无果，结论是tinygo@0.32+go@1.19无法在macos arm架构下打包。升级go@1.21再次打包提示unsafe.SliceData requires go1.20 or later。后放弃macos+arm，采用ubuntu+amd64打包，ubuntu打包也必须使用tinygo@0.28.1。0.32.0在ubuntu仍然提示unsupported GOOS/GOARCH pair wasip1/wasm

Java程序员学习Go开发Higress的WASM插件

万里长征-04-脉脉

万里长征-03-搜狐

包含linux主机监控+nginx监控+es监控+rabbitMQ监控+redis监控+Java程序监控

Prometheus+Grafana多方位监控

nginx密码访问,prometheus,安全限制等

Nginx配置备忘录

万里长征-02-跟谁学

万里长征-01-贝壳

万里长征

Java程序CPU异常监控bash脚本

m1 pro芯片+32g体验了五种大模型本地部署

mac体验ollama本地大模型

Arthas在排查Java应用线上问题的时候有大用处，并且可以是热部署工具，这里我推荐几个我常用的方法

Arthas简单使用备忘录

叮咚！阿里云提示你，你的服务器正在被攻击！

Xmrig挖矿入侵服务器排查

微服务jar包越来越多,每次手动上线的时候都要运行一大堆命令,并且每个人备份的jar包名称目录都不一样。故写了一个脚本规定死流程,并且把脚本配置到环境变量做自动补全。

Java部署脚本&重启备份检查&配置环境

一年半以前，公司就从单体应用逐步迁移到微服务管理。奈何业务绑定太深，一直在两边混合开发。由于迁移到微服务的进程完成了一大半了，之前在单体项目中打的链路追踪就不太好用了。随即想到了SkyWalking，随即发现了一个大坑，那就是在gateway组件中logback日志会丢失TraceId，网上搜了一圈都没有解决问题，我又跑到SkyWalking的issue中搜了一大圈，发现大佬以下回答，还是得自己想办法。

解决SkyWalking在gateway中logback链路丢失

之前一直使用GitPage+typora+hexo来做文章分享管理，奈何真的麻烦坚持不下去了。Notion是我一直在使用的笔记软件，为了更好的使用Notion我还去看了许多文章。现在Notion已经是我生活的一部分了。最近发现NotionNext，但需要Vercel部署，还需要自己映射域名。所以想着用xx.github.io域名，优雅又方便

Notion文章自动同步GitPage

这是示例的文章摘要，摘要内容可被用做搜索，预览。文章列表默认展示概要；若要在列表直接展示文章内容，可在blog.config.js中配置。

空白文章8

📝 主旨内容

观点1

观点2

🤗 总结归纳

📎 参考文章