Iphone Mirroring圆了我AI打DNF手游的梦
type
status
date
slug
summary
tags
category
icon
password
契机
最近痴迷于打地下城手游,太浪费时间了,本着编程解放生产力的思想,开始想着能不能用程序来打地下城,就是开外挂!当然任何形式的开外挂都是不倡导的,这里只是探寻技术方案可行性,输出的成品并不能直接使用!为啥要等Iphone Mirroring出来完成这件事呢,因为我的设备是Iphone+Mac,虽然Mac可以通过PlayCover安装破解IPA,但是不支持微信登陆,现在有了Iphone Mirroring一切问题迎刃而解。
iphone mirroring
- iphone设备打开Beta更新,且更新到ios18.0最新版本
- mac更新到版本15.0 Beta版(24A5279h)
- 保持ihone和mac在同一局域网下
技术路径
- 基于python实现屏幕点击,屏幕录制
- 通过yolo模型识别怪物,人物等
- 通过计算人物到怪物的xy距离,移动到怪物身边平A
准备训练模型数据
录制打怪视频
使用OBS软件选择窗口录制,程序采集

录制完成后需要更改下编码格式为mp4
将打怪视频转为图片
开始打标签
创建项目

选择自己需要打的标签如下 !这里最好使用英文标签

import本地文件开始打标,挨个打上就行

最后保存打标结果,导出yolo格式的训练数据

得到一个zip包这就是我们需要训练的数据
开始训练模型

集成代码
以下代码表示实时读取窗口画面分析,并没有移动打怪逻辑
总结
- yolo模型现在训练十分简单
- label-studio完美的打标软件
- 要是能ai打标就好了
写到最后
Last update: 2024-07-25