在 AI Agent 浪潮之下,大多数智能代理只能操作电脑、浏览器或者模拟器,而开源项目「iPhone use」打破了这一边界,借助 Mac 与 USB 连接,就可以让大模型 AI 直接操控一台实体 iPhone 手机,把自然语言指令转化为手机上真实的点击、滑动、输入、打开应用等操作。

iPhone‑use 本身不是大模型,它更像一座桥梁:对接支持 MCP 协议的 AI Agent,把 AI 输出的任务指令翻译成 iPhone 手机可以执行的动作,同时把手机屏幕画面、UI 控件信息回传给 AI,形成 “观察 — 思考 — 操作” 的闭环。
简单来说,你只需要用自然语言下达任务,例如 “打开备忘录,新建笔记,录入一段文字”“打开某 App,向下滑动浏览内容”,接入该项目的 AI 就会驱动真机完成整套流程。
功能特色
- 打开、切换手机内各类 App 应用;
- 识别页面控件,模拟点击按钮、滑动页面;
- 支持大段中文、Unicode 文本一次性输入,解决移动端自动化输入乱码问题;
- 实时回传手机屏幕画面,AI 既可以读取 UI 控件树,也可以直接识别截图画面;
- 提供可视化面板,在 Mac 端实时预览 iPhone 屏幕,看到 AI 每一步操作过程。
