推荐语
AutoGLM开源项目虽能实现手机自动化操作，但技术路线局限，更适合开发者测试而非普通用户。核心内容： 1. AutoGLM开源项目的实现原理与操作流程 2. 当前技术路线的局限性与适用场景 3. 未来手机Agent的发展方向与厂商格局
杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
虽然开源，还是步骤还是蛮折腾的。
不太建议尝试，而且实现也很Low，就是用adb shell加的视觉模型。
目前AutoGLM最大的意义就是完成一个固定的流水线工作，说白了就是在之前截图取色上面进了一步而已。
你如果指望这些东西模拟和取代人类的操作，为时尚早。
我想说的暴论就是，手机Agent这种东西只有苹果或者Google系统x级别的厂商来做，其它的小厂最多就是隔靴搔痒。
以下全程使用Warp来完成，不需要你有任何的编辑基础，放文档就可以。
步骤 1：克隆项目
步骤 2：安装项目的依赖
步骤 3：ADB相关的。
这个步骤是我提前就装好的，Warp估计可以，但是中间需要你的网络能正常上网。
接下来就是在手机上的操作了，每个手机界面不太一样。
大致如下：
Android 设备配置
- 启用开发者模式
• 进入「设置 → 关于手机 → 版本号」
• 连续快速点击 10 次，直到提示"开发者模式已启用"
- 启用 USB 调试
• 进入「设置 → 开发者选项 → USB 调试」
• 勾选启用
下一步是模型部署，需要 GPU 服务器
再就是安装一个代理软件 ADB Keyboard，主要是用它来实现虚拟键盘操作。
用数据线连接手机到电脑
# 用数据线连接手机到电脑
adb devices
# 手机上会弹出授权提示，点击"允许"
安装 ADB Keyboard
# 连接设备后执行
cd Open-AutoGLM
adb install ADBKeyboard.apk
# 然后在手机上：设置 → 系统 → 语言和输入法 → 虚拟键盘 → 启用 ADB Keyboard
设备连接并启动模型服务后：
cd Open-AutoGLM
# 查看支持的应用列表
python main.py --list-apps
# 执行任务（需要模型服务运行）
python main.py --base-url http://localhost:8000/v1 --model "autoglm-phone-9b" "打开美团搜索附近的火锅店"
然后就可以在手机上看到所谓的Agent自动操作手机了。
所以整套下来，AutoGLM虽然开源，但是对于普通用户来说，约等于没开源。
模型，手机，开发者模式，环境网络，座座都是大山。
另外屏幕捕获+OCR/视觉理解这条技术路线，本身就有很大的局限性。
它依赖截图，所以延迟高。
它不理解APP的内部逻辑，只能看到表面的像素。
它也无法处理需要系统级权限的操作。
它在APP禁止截图的页面上直接失效。
总而言之，这条路线可能只适合于简单的操作流，AutoGLM就是一个给开发者用的测试框架。
而未来的手机Agent有且只会是两家！
粤ICP备14082021号
免费POC，
零成本试错
