Agent 接管 iPhone，终于有人跑通了。

手机上的 Agent，终于开始碰真实 iPhone 了。

过去想要让Claude、Codex操作手机，一般都离不开模拟器、ADB或者专门的自动化框架。

到了 iPhone 上更麻烦。

Xcode、WebDriverAgent、签名、开发者配置等一套东西装下来，光环境就折腾半天。

最近我在 GitHub 上看到了一个很有趣的一个项目。

它叫 phone-harness，现在已经获得了 2.3K 的星星。

它做的事情很直接：

让 Claude、Codex 这类 Agent，直接操作你手里的真实 iPhone。

不需要越狱，也不需要安装WebDriverAgent。

中间真正用到的桥梁，其实是苹果自己的 iPhone Mirroring，也就是 iPhone 镜像。

原理其实没有那么复杂

phone-harness 没有直接去控制 iOS 系统。

它控制的是 Mac 上的 iPhone 镜像窗口。

iPhone Mirroring 本来就可以把手机画面显示到 Mac 上，同时接收鼠标和键盘操作。

phone-harness 就利用了这一点。

整个过程可以理解成三步：

看屏幕 → 找位置 → 点下去。

它先截取 iPhone 镜像窗口，再通过苹果 Vision Framework 做 OCR。

比如屏幕上出现：

天气 地图 照片 备忘录

OCR 不只是把这些字识别出来，还会返回文字在屏幕上的坐标。

这样 Agent 看到“地图”之后，就知道应该点哪里。

Agent 是怎么点手机的

找到坐标之后，下一步就是操作。

phone-harness 使用 macOS 的 CGEvents 模拟输入，把点击、键盘等操作送进 iPhone 镜像窗口。

所以它已经可以完成点击、长按、滑动、滚动、输入文字这些常见动作。

还封装了几个比较实用的操作。

比如：

home() 回到桌面。

open_app("Notes") 打开备忘录。

tap_text("New Note") 找到文字并点击。

type_text("hello") 输入内容。

从 Agent 的角度看，不需要研究底层怎么控制 iPhone，只需要调用这些现成能力。

每一步都会重新确认

这里还有一个细节比较重要。

网页自动化可以读取 DOM，知道按钮、输入框现在是什么状态。

iPhone 镜像没有这些东西。

所以 phone-harness 的处理方法很简单：

操作完，再看一眼。

比如说让 Agent 打开天气。

它先用 OCR 找到 Weather 图标。

点击对应坐标。

等待页面稳定。

然后再截图、做OCR，看下天气页面是否真的打开了。

也就是说，它不是点完就完成了，而是：

识别、操作、再识别、确认结果。

手机上显示出来的画面就是最后的判断依据。

找不到文字怎么办

OCR 很适合处理带文字的按钮，但手机里还有大量没有文字的图标。

phone-harness 也有办法。

Agent 可以直接截屏，然后用视觉模型来判断图标的位置，再计算出坐标进行点击。

因此它实际上有两只“眼睛”。

有文字的地方先用OCR，速度快，坐标也清楚。

没有文字的地方就让视觉模型看截图。

这套思路虽然不如 DOM 精确，但是已经可以覆盖很多真实的手机操作了。

还能自己补工具

我觉得这个项目比较有 Harness 味道的地方，在 agent-workspace。

里面有一个agent_helpers.py。

核心代码负责截图、OCR、点击这些基础能力，这部分保持稳定。

任务需要的额外能力可以让 Agent 自己写入到agent_helpers.py中。

也就是说，遇到重复操作时，不一定每次都重新规划。

Agent 可以给自己补一个 helper，下次直接调用。

底层提供手和脚，Agent 根据任务给自身补充工具。

这也是它和一般的手机自动点击脚本不一样的地方。

安装也做成了 Skill

作者给出的安装方式也很有意思。

可以直接把一段 Setup Prompt 丢给 Codex 或 Claude，让 Agent 自己克隆项目、读取 install.md、安装依赖，再注册成 phone-harness Skill。

真正需要人操作的主要有两件事。

第一次将iPhone和Mac的iPhone Mirroring进行配对。

然后为终端开启Accessibility和Screen Recording权限。

安装完毕之后运行：

phone-harness--doctor

就可以检查整条控制链路有没有正常工作。

目前也有明显限制

phone-harness 现在更像一个轻量实验项目，还不是完整的 iPhone 自动化平台。

一次只能控制一台手机。

实体 iPhone 解锁后，镜像会暂停。

它也不支持多点触控，所以双指缩放这类操作做不了。

相机、Face ID 流程同样有限制，DRM 视频还会直接显示黑屏。

另外 OCR 只能识别文字，并不知道一个没有标签的图标代表什么，这时候还是需要视觉模型来判断。

写在最后

phone-harness 最有意思的地方，不是又做了一套手机自动化框架。

它反而很轻。

直接借用苹果已经提供的 iPhone Mirroring，把 Mac 变成 Agent 和真实 iPhone 之间的桥梁。

Agent 用截图和 OCR 看手机，用 CGEvents 去点击，再重新截图确认结果。

整条链路很容易理解。