2026年4月2日 19:30分,来腾讯会议(限30人)了解如何用Openclaw构建企业AI生产力
免费POC, 零成本试错
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


我要投稿

测试也要整失业了?Claude Code 炸裂更新,已支持 Computer Use,能看屏幕、点鼠标

发布日期:2026-03-31 08:41:11 浏览次数: 1543
作者:AI智见录

微信搜一搜,关注“AI智见录”

推荐语

Claude Code 现在能直接操控你的电脑,从写代码到测试上线全自动完成,测试工程师要失业了?

核心内容:
1. Claude Code 实现电脑操控的四大核心场景
2. 三步开启 Computer Use 功能的操作指南
3. 智能选择工具的工作原理与优先策略

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

 

大家好,我是智见君!

今天凌晨,Anthropic 官方账号发了一条推文,718 万浏览量,4947 转发,直接炸了。

内容就一句话:Computer use is now in Claude Code。

翻译过来就是:Claude Code 现在能操控你的电脑了。不是模拟,不是截图识别,是真的能打开应用、点击按钮、输入文字、截屏验证。

这意味着什么?你让 Claude 写完一个 macOS 应用,它能自己编译、自己启动、自己点遍每一个按钮,发现 bug 自己修,修完再验证一遍。从写代码到测试上线,一气呵成,中间不需要你碰一下鼠标。

到底能干什么?

先说几个官方给出的核心场景:

1. 构建并验证原生应用

你跟 Claude 说"帮我写一个 macOS 菜单栏应用",它会自动写 Swift 代码、调用 xcodebuild 编译、启动应用、点击每一个控件确认没问题,最后截一张图给你看结果。整个过程你只需要坐着看。

2. 端到端 UI 测试

以前做 UI 测试,你得配 Playwright、写测试脚本、维护测试用例。现在你只需要跟 Claude 说"测一下注册流程",它就会自己打开应用,点击注册按钮,填写表单,截图每一步。不需要任何测试框架,不需要写一行测试代码。

3. 调试视觉 Bug

"弹窗在小窗口下会被裁切。"就这一句话,Claude 会自己把窗口缩小、复现 bug、截图留证、找到对应的 CSS、改掉、再验证一遍。

4. 操控 GUI 工具

那些没有 CLI、没有 API 的工具,比如设计软件、硬件控制面板、iOS 模拟器,现在都能通过 Claude 来操作了。


开启方式非常简单,三步搞定:

第一步,在 Claude Code 交互会话中输入 /MCP,找到 computer-use 服务器,选择启用。每个项目只需要设置一次。


第二步,首次使用时 macOS 会弹出权限请求:

  • • 辅助功能(Accessibility):让 Claude 能点击、输入、滚动
  • • 屏幕录制(Screen Recording):让 Claude 能看到你的屏幕

第三步,授权后就可以开始用了。比如直接输入:

Build the app target, launch it, and click through each tab to make
sure nothing crashes. Screenshot any error states you find.

Claude 就会自动编译、启动、逐个标签页点击、遇到报错自动截图。


它是怎么工作的?

有几个细节值得关注。

智能选择工具:Claude 不是什么都用 Computer Use 来做。它会优先使用更精确的方式。有 MCP Server 就用 MCP,能用命令行就用 Bash,能用浏览器扩展就走 Chrome 插件。只有当其他方式都搞不定时,才会启动屏幕控制。这个设计很聪明,毕竟直接操控屏幕是最慢的方式。

逐个应用授权:启用 Computer Use 不等于 Claude 能控制你电脑上所有应用。每次 Claude 需要操作一个新应用时,都会弹窗让你确认。而且对于终端、Finder、系统设置这类高权限应用,会额外显示风险提示。

工作时隐藏窗口:Claude 操控屏幕时,会自动隐藏其他应用窗口,只保留被授权的应用和你的终端。操作完成后自动恢复。终端窗口不会出现在截图中,所以 Claude 永远看不到自己的输出内容。

随时可以打断:按下 Esc 键就能立刻中止操作。Claude 会释放控制权,恢复所有隐藏的窗口,把电脑还给你。


目前这个功能还处于"研究预览"阶段,有几个明确的限制:

  • • 仅限 macOS,Windows 和 Linux 暂时用不了
  • • 仅限 Pro 和 Max 订阅,Team 和 Enterprise 暂不支持
  • • 需要 Claude Code v2.1.85 或更高版本
  • • 必须是交互式会话,不支持 -p 参数的非交互模式
  • • 必须通过 claude.ai 认证,第三方供应商(Bedrock、Vertex AI、Foundry)不可用
  • • 同一时间只能有一个会话使用 Computer Use,机器级别的锁

另外,浏览器和交易平台只允许"查看",终端和 IDE 只允许"点击",其他应用才有完整控制权限。分级管控,防止出事。

对测试工程师意味着什么?

Computer Use 确实在重新定义"测试"这件事的门槛。

以前,手动测试需要人一步步点击验证,自动化测试需要写大量的测试脚本、维护复杂的测试框架。现在呢?你只需要用自然语言描述测试步骤,Claude 就能像一个真人测试员一样操作你的应用。

这对初创团队和独立开发者来说是巨大的利好。以前一个人开发,测试环节往往是最容易偷懒的地方。现在有了 Claude,相当于免费多了一个 24 小时在线、不会疲倦、不会遗漏步骤的测试同事。

当然,对于专业测试工程师来说,这更像是一个效率工具而非替代品。复杂的测试策略设计、边界条件分析、性能压测这些高阶工作,AI 短期内还替代不了。但那些重复性的回归测试、基础的功能验证,确实可以交给 Claude 来做了。

更大的图景

从 Claude Code 的演进路线来看,Anthropic 的野心很明确:让 AI 不仅能写代码,还能验证代码

写代码只是软件开发的一半。另一半是确认代码真的能用。以前 AI 编程工具写完代码就甩手走人了,你还得自己去跑、去测、去看效果。现在 Claude 能从头到尾负责到底:写代码、编译、运行、测试、截图验证、发现问题、修复、再验证。

这才是 AI 编程的完整闭环。

回头看那条推文下面的评论,很多开发者已经在兴奋地讨论各种使用场景了。有人要拿它来测 SwiftUI 应用,有人要用来自动化 Figma 操作,还有人想让它帮忙调试 iOS 模拟器里的布局问题。

一个能"看见"和"操作"你屏幕的 AI 编程助手,想象空间确实很大。至于最终能走多远,就看 Anthropic 后续的迭代速度了。

 

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询