用 7 美元 ESP32 让视觉模型直接看屏并操作真实 iPhone
Star4.4k
24h 新增+53
7 天新增—
Fork593
Issue15
语言Swift
项目介绍
更新于 1 天前
这是一个让 AI 模型直接操作真实 iPhone 的方案：一块约 7 美元的 ESP32-S3 开发板通过 USB 连接手机，板子作为 AirPlay 接收器截取屏幕画面，同时以标准 USB 鼠标键盘身份模拟点击、滑动和输入，配合手机上的 App 和任意 OpenAI 兼容的视觉模型形成闭环，全程不需要 Mac、开发者账号或越狱。它能完成跨 App 的真实操作，比如你说「设一个每周一和周二早上 8 点的重复闹钟」，Agent 会自己退出当前应用、打开时钟、滚动选时间、勾选日期并保存，还能回放每一步操作并导出截图与动作序列供分析。适合关注 Computer Use、手机端 Agent 落地形态的 AI 应用开发者和硬件极客，用来研究视觉模型驱动 UI 自动化的完整链路；如果你不做移动端自动化或不关心软硬结合的 Agent 方案，和日常工作关系不大。
上手成本：中
Star 趋势
话题标签
ai-agentairplayautomationcomputer-useesp32esp32-s3iphonellmusb-hid
仓库信息
| License | MIT |
| 创建时间 | 2026-10-11 |
| 最后推送 | 20 分钟前 |
| 热度分 | 182.0 |