字节跳动Web Infra 团队 开发的一款开源的 AI 操作助手，GitHub 收获 9.9k Star

AI 操作助手

Midscene.js一款开源的 AI 操作助手，支持通过自然语言（如英文）自动化操作 Web 和 Android 应用。它可集成 Puppeteer、Playwright，或通过 Chrome 扩展、Android Playground 无代码使用。项目支持多模态大模型（LLMs）和视觉语言模型（VL models），能自动规划并执行 UI 操作，适用于自动化测试与交互场景。

• 项目地址：https://github.com/web-infra-dev/midscene
• 开发者：Web Infra 团队 （字节跳动） 
• Stars / Forks：9.9k ⭐ / 696 Forks  
• License：MIT 
• 语言 / 技术栈：TypeScript，集成 Puppeteer、Playwright、YAML 脚本、AI 模型（如 UI-TARS 转换器） 

✨ 核心功能亮点

• • 自然语言驱动交互：使用 .ai / .aiAction 发出描述，如“点击登录按钮”即可由 AI 规划并执行操作。
• • 查询与断言功能：支持 .aiQuery 获取界面数据如列表、表格字段，.aiAssert 进行自动化断言。
• • 支持多平台：支持 Web（Puppeteer / Playwright / Chrome 扩展）与 Android（JavaScript SDK + ADB）。
• • 支持多模型，包括视觉语言模型：兼容 GPT-4o、Qwen 2.5-VL、UI-TARS、Gemini 2.5 Pro 等模型，可自选。
• • 可视化调试报告：通过测试报告和 Playground，用户可以轻松理解、重放和调试整个过程。
• • MCP 功能：允许其他 MCP 客户端直接使用 Midscene.js 的能力。
• • 三种 API 类型：交互 API、数据提取 API 和实用工具 API，支持 aiAssert()、aiLocate()、aiWaitFor() 等功能。

安装与使用指南

1. 1. 快速体验（无代码）：安装 Chrome 扩展即可立即使用。
2. 2. 本地部署：

• • 安装 NPM 包：

npm install @midscene/web

• • 设置环境变量（如 OPENAI_API_KEY、模型选择等）
• • 编写脚本：

await mid.aiAction('在搜索框输入“天气”，然后回车');
const title = await mid.aiQuery('查询页面标题');
await mid.aiAssert('页面标题包含“天气”');

使用流程／体验步骤

1. 1. 安装 Chrome 扩展或 NPM 包。
2. 2. 配置模型与环境变量。
3. 3. 编写自动化流程脚本（自然语言描述或 YAML）。
4. 4. 运行并调试：
   -使用 Playground 或报告查看流程；
   -选择 Bridge Mode 实时控制桌面浏览器标签页。
5. 5. 集成到测试流程（如 Playwright / Puppeteer）。

控制地图 App 在 Android 上导航到目的地。▲