免费POC, 零成本试错
AI知识库

AI知识库

学习大模型的前沿技术与行业落地应用


收藏

GPT-6,“强拆”App的墙

发布日期:2026-09-04 15:40:05 浏览次数: 1751
作者:腾讯科技

微信搜一搜,关注“腾讯科技”

推荐语

GPT-6 Astra重新定义AI交互:从“兜底能力”到流畅操作软件,“强拆”App墙,实现统一环境交互。
核心内容:
1. GPT-6 Astra定位“全球最强计算机使用模型”,聚焦Computer Use等统一环境交互能力
2. 突破过去Computer Use痛点,测试数据显示成功率与效率显著提升
3. Playco游戏引擎修改案例:人工修复次数减少50%,见证实际应用价值

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

过去三天,全球三家头部模型公司接连更新了自己的前沿模型。

9月1日,Anthropic发布Claude Fable 5.1;9月2日,Google发布Gemini 3.8 Flash;一天之后,OpenAI发布GPT-6 Astra。

重点依然是更强的Coding、更复杂的推理、更长时间的Agent任务,但是背后还有一个更值得关注的趋势,Computer Use、Browser和Tool Use,越来越成为一套统一的环境交互能力。

以前,AI如果想调用一个软件,大致有三种办法:软件提供API,模型调用工具;软件运行在网页里,AI操作浏览器;第三种,像人一样看屏幕、点鼠标、敲键盘。

但是在过去很长时间里,最后一种方法都是不得已的选择。API更快、更稳定,也更容易控制权限,Computer Use缓慢、容易出错,界面稍微复杂一点,任务走上几十步就可能失败。

GPT-6 Astra发布之后,把Astra定位为“全球最强的计算机使用模型”,Computer Use不再是一种不得已的“兜底能力”,甚至能顺畅调用专业度很高的软件。

01

Computer Use开始“能用”了

OpenAI早在2025年的Operator中就展示过Computer Use。当时模型通过视觉理解网页,再模拟鼠标和键盘完成订餐、购物、填写表格等任务。

但是当时的问题是,“能操作”和“能工作”之间还有很大的距离。

早期Computer Use完全不可靠。真正的需要Agent操作电脑的任务,一般都是多个步骤,中间一次误点、一个弹窗或者一次状态判断错误,都可能让整个任务前功尽弃。另外就是很慢,一个任务能让人等得完全失去耐心。

在测试模型能否在真实桌面环境中完成跨应用操作任务的 OSWorld 2.0 上,Astra达到72.6%,此前的GPT-5.6 Sol为65.7%;在更侧重屏幕视觉定位和精准点击能力的 ScreenSpot-Pro 上,Astra从Sol的76.9%提升到92.7%。

从速度上来看,OpenAI称,在OSWorld模拟环境中,Astra完成任务平均需要约40分钟,GPT-5.6 Sol约为75分钟。

Computer Use第一次开始同时提高成功率和执行效率。

比如, OpenAI给到的官方案例。游戏公司Playco正在把Astra接入自己的AI开发工具Playbot。模型可以直接进入Unity、Godot这样的游戏引擎,修改场景、运行游戏、测试结果,发现问题以后继续修改。Playco称,相比此前使用的模型,人工修复次数减少了50%。

Playco联合创始人Teddy Cross评价Astra时特别提到,它“much better at reasoning about space and positioning elements(它对空间关系的理解,以及对界面元素位置的判断明显更准确)”。

图:Playco里 Astra 操作 Unity / Godot

同样的变化也出现在Anthropic。

Fable 5.1继续强化浏览器、Computer Use和长程Agent任务。Anthropic给出的OSWorld 2.0成绩从Fable 5的72.9%提升至77.9%,AutomationBench则从17.1%提升至31.4%。

与此同时,它把缓存读取价格降低75%,Anthropic估算,在高度Agent化的工作负载中,整体成本最多可以下降约45%。

Computer Use的变化因此不只是benchmark又涨了几分,经济性和可靠性在同时越过临界点。Agent直接操作GUI,开始有机会成为一种常规的方式,甚至可以期待和各种接口一样稳定。

图:Astra先在Blender里建立一栋房屋,再把模型转换成Unreal Engine5中的可步行场景,设计师和客户可以提前进入场景查看空间。

02

AI有了自己的选择权

如果只是Computer Use变强,这仍然只是一个模型能力升级。更重要的变化发生在它和其他工具的关系上。

过去开发一个Agent,往往需要人为提前设计工作流:第一步搜索网页,第二步调用CRM接口,第三步执行Python,第四步再进入某个软件。

现在,Agent可以在工作循环中自主安排怎样用、顺序如何,怎样效率才更高。

GPT-6 Astra同时支持Web Search、File Search、Code Interpreter、Hosted Shell、Computer Use、MCP、Skills和Tool Search等工具。OpenAI对它的定义是可以跨“code、browsers和professional software”连续执行任务的模型。

这次还出现了一个不起眼却很关键的新能力:async tool calling。

过去一次典型的工具调用是串行的:模型发起调用,等待工具返回结果,然后继续推理。Astra现在可以在一个工具仍然运行时继续思考、调用其他工具,或者先处理任务中的其他部分。

这越来越接近真实的人类工作方式。

例如,一个Agent接到“分析这个月销售异常,并更新CRM、生成Power BI汇报”的任务后,它可能直接通过API读取CRM数据;同时在浏览器里查询客户背景;调用Shell处理数据;最后发现Power BI并没有合适的现成接口,于是进入软件界面直接完成图表。

模型选择工具的能力变强了,这是最可怕的地方。

Google最新的Gemini 3.8 Flash也出现了同样的方向。Google把它明确定位为“built for long-horizon coding and autonomous agents”,并解释这一代模型在复杂任务中会执行更多推理步骤,并反复调用工具。3.8 Flash也是Google六周内发布的第三代Flash模型。

几条技术路线也开始逐渐失去清晰的边界,自由为Agent所用。API能够直接调用,就走API;网页更方便,就进入Browser;需要批量处理数据,可以写代码;软件没有适合机器的入口,也可以直接操作GUI。

一位大模型领域的研发工程师说,过去行业里有一条几乎默认的原则,如果能API,就不要点鼠标。这条原则现在暂时还是有效,API还是更快、更稳定、更便宜。

但是,现在并不是非API不可了,它正在从“机器进入软件的必要条件”,变成Agent可以选择的最优路径之一。

换句话说,GUI正在获得一种过去没有的身份:它也开始成为机器(AI)的接口。

过去GUI是给人使用的,API才是给机器使用的。Computer Use一旦变得足够可靠,两者之间的边界就第一次真正开始模糊。

03

GPT-6“强拆”的不是权限墙,而是接口墙

GPT-6 Astra并没有获得绕过软件权限的能力,这也是Computer Use最容易被误解的地方。

如果一个用户没有查看某份Salesforce数据的权限,Agent也不会因为会操作鼠标就自动获得权限;MFA、SSO、操作系统管理员权限仍然存在。OpenAI在描述Astra已经达到“Critical”级别的网络安全能力时,也专门加上了一个前提——“with the right tools and access”。

所以,Astra“拆掉”的不是登录墙,更不是数据权限墙。

过去,没有软件厂商提供的机器接口,AI很难进入这个软件。

所以,几十年来,软件世界形成了一套非常明确的分工。人从GUI进入,机器从API进入。

因此软件厂商实际上掌握着机器入口的定义权:要不要开放API,开放哪些动作,第三方可以访问什么,按照什么方式收费。

Computer Use把这个“接口墙”拆掉了,如果一个拥有正常权限的人能够在屏幕上完成一件事情,理论上Agent也可能沿着同一条路径完成。

这意味着“不开放API”,正在越来越难等同于“AI无法操作我的软件”。

这种变化甚至已经倒逼软件巨头自己提前行动。

2025年,Salesforce负责AI产品的Adam Evans就提出,“autonomous AI agents will become the new user interface”。他的判断是,用户未来越来越可能直接面对Agent,由Agent在后台调用不同的数据和应用,而不是自己在多个App之间切换。

今年,微软在一篇关于企业软件架构的文章中提出,在Agent模式下,App未来可能更多作为“systems of record”,而不再是“systems of navigation”——用户不需要知道应该打开哪个系统,只要表达自己的目的,Agent负责协调背后的应用、规则和数据。

图:在 Microsoft 365 Copilot 中,用户可以直接调用 Adobe Express Agent 完成设计修改,无需再切换到独立App。Agent正逐渐成为不同软件之上的统一入口。

04

App还在,但工作流可能不再属于App

这是Computer Use继续成熟之后,对软件产业最值得关注的影响。

过去,一个Salesforce用户想做销售分析,通常要先打开Salesforce;一个财务人员要处理数据,会进入Excel或者财务软件。

每一个App既储存数据,也试图成为工作的入口。

Agent正在改变这个关系。

未来用户可能只需要说:

“把这个月销售下降最大的十个客户找出来,分析原因,把结果更新到CRM,再给我生成明天开会用的报告。”

至于后台调用了Salesforce、Gmail、Excel、Power BI还是公司内部系统,越来越可能由Agent决定。

这其实已经成为软件巨头主动承认并接受的现实。

微软CEO萨提亚·纳德拉今年7月在财报电话会上提到,微软正在把Dynamics 365中的超过65万个动作通过MCP暴露出来,让Agent可以在相同的数据模型、规则、权限和审计体系下直接执行操作。与此同时,微软的企业软件商业模式也开始从纯seat收费转向“seat + consumption”。

ServiceNow今年5月则宣布开放Action Fabric,让外部AI Agent可以直接调用他们的企业工作流。ServiceNow举了一个很有代表性的例子:过去必须进入ServiceNow界面完成的密码重置流程,现在可以直接由Claude触发。

这看起来似乎与Computer Use方向相反,既然AI可以点GUI,为什么软件公司反而更加积极地开放MCP和Agent接口?

API并不会因为Computer Use而消失。API仍然是高速公路:速度快、稳定、可计量,也更容易进行权限管理。Computer Use更像是让Agent突然拥有了越野能力。

一旦AI拥有“没有公路也能过去”的能力,软件厂商反而更有动力把自己的公路修得更好。

过去,是Agent开发者希望Salesforce、Microsoft或者ServiceNow开放接口。

未来可能反过来,软件公司需要主动优化自己的API、MCP和Agent入口,让Agent优先使用自己的正式接口,而不是直接去操作GUI。

双方的话语权已经开始改变。软件厂商依然拥有非常重要的东西:客户数据、身份体系、权限、安全规则和System of Record。这些不会因为一个模型学会点鼠标就消失。

但它们可能逐渐失去另一项过去习以为常的权力:定义用户从哪个入口进入,下一步该去哪里、打开哪个页面、按照什么顺序完成工作。

GPT-6 Astra没有让App消失,也没有让AI绕过软件权限,但是AI能力提升的方向,让它可以越来越不依赖软件厂商专门为自己准备入口。

GPT-6“强拆”的,正是这堵墙。

当然,截止目前,还没能真实测试GPT-6 Astra,如果它所宣称和强调的能力真的很好用,Agent的选择权,真的已经变得越来越大了。

人总会选择更高效、更省事的方式。Agent迎合了这种本能,也因此开始获得原本属于用户和App的选择权。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅