GitHub工具推荐：iPhone-use让Codex通过USB直接操控手机，附安装指引

导语：GitHub上的开源项目zhongerxin/iPhone-use近期热度上升。它让Codex等AI Agent能够通过USB连接真实iPhone，完成App自动化操作、实时屏幕查看与截图回退。本文整理其原理、关键依赖与安装要点，供需要做iOS端自动化测试或AI接入的读者参考。

一、项目地址与基本信息

• 仓库地址：https://github.com/zhongerxin/iPhone-use
• 作者：zhongerxin
• 当前版本：0.3.6（持续迭代中）
• 许可证：开源（具体以仓库 LICENSE 为准）
• 形态：Codex插件 + 本地 MCP 服务 + 安装引导技能 + 实时屏幕 widget

该项目已衍生出若干社区分支，例如：

• tangshunpu/iPhone-use：加入腾讯 WorkBuddy、字节豆包工作 等国产 Agent 端口
• quanru/iPhone-use：加入可选的 Midscene 集成
• xiangyingchang/iPhone-use、Xiangyu-CAS/iPhone-use 等社区维护分支

二、它能做什么

按照官方README描述，iPhone-use的目标是”让 Codex 通过 USB 操作真实 iPhone“，具体覆盖以下能力：

• 引导式安装：把WebDriverAgent（WDA）的搭建过程拆成可执行的步骤，降低上手门槛
• App 自动化：通过WDA对iPhone上的应用进行点击、输入、滚动等操作
• 实时屏幕视图：右侧栏显示手机当前画面，便于AI与人类同步观察
• 截图回退机制：当控件定位失败时，引导模型先看截图，再尝试坐标点击

这一组合让”自然语言指令 → 真实iPhone操作”成为可能。例如让Codex”打开Safari并搜索某关键词”、”在备忘录里写下某段文字”、”截屏当前页面”等。

三、技术架构

iPhone-use并不重新发明轮子，而是把现有Appium生态组件封装成一个开箱即用的Codex插件：

按照官方说明，用户无需单独运行Appium Server，安装插件即可使用。控件查找失败时会自动切到截图分析模式，给出更稳定的鲁棒性。

四、环境要求

• macOS：WDA 需要用 Xcode 构建，依赖 macOS + Xcode
• iPhone：一台可被Xcode识别的iPhone（任意系统版本需自行确认）
• USB 数据线：用于连接Mac与iPhone
• Apple ID：用于签名WDA Runner（个人免费账号即可，但证书有效期7天；付费开发者账号可长期签名）
• Node.js：运行MCP服务所需的版本
• Codex：作为前端Agent接收自然语言

五、安装步骤概览

按照README的指引，整体流程大致如下：

1. 克隆仓库

git clone https://github.com/zhongerxin/iPhone-use.git

1. 构建并安装 WebDriverAgentRunner

• 打开仓库或单独拉取的WDA源码中的 WebDriverAgent.xcodeproj
• 在Xcode左上角选择 WebDriverAgentRunner scheme，并把目标设备切换为你的iPhone
• 在Runner target的 Signing & Capabilities 中选择自己的Apple ID与可签名的Bundle Identifier
• 通过 Product → Test 构建、安装并运行WDA Runner
• iPhone端根据提示进入 设置 → 通用 → VPN与设备管理 信任证书

1. 安装插件与依赖

# 安装过程中通常涉及 npm install / plugin install 等步骤
# 具体以仓库当前 README 为准

1. 启动MCP服务与Codex

按照官方配置启用iPhone-use相关skills与tools，重启Codex会话即可在右侧栏看到实时屏幕。

六、隐私与遥测

官方说明指出，默认会向一个PostHog项目发送匿名的使用统计，包括：

• 启动事件
• 工具调用次数
• 连接状态
• 耗时
• 错误类型
• 随机生成的安装标识（不绑定用户身份）

明确不上传：屏幕内容、用户输入、设备标识符。如不希望被统计，可在启动前设置：

export IPHONE_USE_ANALYTICS=0
# 或
export DO_NOT_TRACK=1

七、适用场景与局限

适合

• AI Agent接入iOS端的实验与原型开发
• iOS UI自动化测试
• 个人手机操作的脚本化（截图、批量填表、辅助输入等）
• 安全研究中需要把AI能力延伸到iPhone的场景（前提是合规授权）

局限

• 仅限macOS + Xcode环境，Windows/Linux无法直接构建WDA
• 个人Apple ID签名证书有效期7天，过期需重签
• App Store上对自动化操作敏感的应用（如银行类、涉及支付密码的页面）通常会触发风控
• iOS系统升级后，WDA可能需要更新匹配版本

八、小结

iPhone-use把Appium生态与Codex生态做了桥接，让”AI操控真实iPhone”从概念走向可落地的开源方案。对于做iOS自动化测试、AI Agent接入移动端、或研究AI在移动设备上行为的研究者来说，是一个值得上手的开源项目。

建议从官方README开始，遇到WDA签名、构建失败等问题时优先查看仓库的Issues与社区分支（如 tangshunpu/iPhone-use 中的国产Agent端口说明）。

版权声明：本文由华盟网原创发布，保留所有权利。配图由华盟网授权使用。