我要投稿

智谱AI的AutoGLM后，Google和微软也下场来做“贾维斯”了。

发布日期：2024-10-30 10:25:15 浏览次数： 2376

作者：数字生命卡兹克

微信搜一搜，关注“数字生命卡兹克”

昨天，微软忽然发布了一个新的模型，能够用于网页自动化操作。

他们也正式开卷跟智谱AutoGLM一样自主人工智能了。

而前天，我也在The Information网站上看到一个消息：

标题Google Preps AI That Takes Over Computers，翻译过来就是：

谷歌准备推出接管计算机的人工智能。

上周三Claude、周五智谱AI、周末Google，然后微软。

短短一周内，已经有四个公司爆出来要发布类似的产品了，其中三个已经悄悄发布产品：Anthropic的Claude，智谱的AutoGLM和微软的OmniParser。这些产品的能力有目共睹。

Goolge虽然也只是个爆料，但是大概率今年就能出来，非常心急，想把坑先占上。

而且，我知道的消息是，OpenAI内部肯定也在做，就看什么时候掏出来了。

二级市场对于这种自主人工智能，反馈也非常的正。上周五智谱的AutoGLM出来之后，在金融圈直接爆了，连智谱AI概念股都出来了。

自主人工智能，好像瞬间点燃了AI圈的热情。

又开启了新一轮的用户心智的抢占。

毕竟刚刚开卷，哪家最早发，哪家确实就是会有优势。

不过自主人工智能的热度确实有点超乎了我的想象。

不过也能理解，类似于这种你发个指令他就会全自动化去处理的AI，才符合我们对人工智能的真正的期待，才有一点，那种AI变成现实的感觉。

现在的AI，坦率的讲，虽然有一些智能，但是远远离不开人工，完全没有达到解放双手的目的，绝大多数时候都是“人工”+“智能”。

而且对于各家AI公司来说，底层模型的能力已经卷到一定的瓶颈了，看现在大模型的一些榜单，大家也一点不关心了。

需要一些更科幻的，更新鲜的刺激。

所以这个时候，自主人工智能过来接棒，就很香。

而自主人工智能完成任务的一个大致流程是：

理解用户的需求-》系统规划-》调用工具执行任务-》目标完成

这个流程看起来其实不复杂。

一年多前，就有人在做了，最经典的那个项目，github上狂揽十六万星的噬星狂魔AutoGPT。

但是AutoGPT到后面开始沉寂，其实有个很大的问题，就是完全基于大语言模型做的。

这个就有很多的局限性。

比如，纯粹的语言模型只能处理文本，而现在很多任务比如点外卖，打车都需要读取屏幕信息。大语言模型本身不能直接处理，往往需要多加一步将图片转换为文本输入。

而图片转换为文字后，对于大语言模型又会丢失很多信息。

好比你被蒙着双眼，只是语言告诉你屋里有些什么，无论语言描述多么细节，你想象力多么丰富，脑海里都无法还原得与真实一模一样。

模型的可控性比较差，模型就容易懵逼，导致任务中断，或干脆给你随机发挥，听天由命。

所以AutoGPT能做到的事情还是比较少，效果也没有那么好，慢慢就淡出大家的视野了。

直到最近这波新的自主人工智能浪潮。

但是我也挺好奇一个问题，就是这将近一年半的时间，自主人工智能为啥都什么消息，直到最近，才开始密集发声？

是各家都在卷其他赛道，无暇顾及，还是都在做，只不过遇到了瓶颈，最近才有所突破？

我就去密集咨询几家国内AI大厂的朋友。

其实大家口径也都出奇的一致。

就是大家都在稳步推进，只是最近刚好到了一个可以拿出来用的时间点，而且大家的进展其实也没有差异太多。

而这一年半，自主人工智能没咋出现在公众视野，看起来进展很缓慢的样子，其实有两个最主要的原因。

多模态模型不够成熟。

2. 缺太多行为数据了。

第一个点其实很好理解。

就是你不能让模型蒙着眼睛去规划任务，他都不知道屏幕上面的元素长啥样，纯粹靠文字来描述，这个效果肯定很差。

所以推进这块，必须要有很强的多模态模型的基座能力作为基础。

而多模态的模型，训起来其实就比纯粹的大语言模型复杂多了。数据量、资源的消耗都是指数级增长。本身就是慢，连Claude都是今年3月才上线多模态能力的。

所以在模型基座上，就是会很拖沓，这个是客观的事实，不过最近几个月，大家的多模态模型已经基本都能用了，所以基座模型层面，其实就是刚好到了一个节点。

去调研的智谱的大佬，也给出了我们同样的答案。

第二个原因，其实就是数据上。

虽然互联网包含大量的人类知识，但主要由静态信息（图片、文字）组成，这些静态信息无法反应一些动态的过程。

比如，模型可以学习理解外卖界面上的脆皮炸鸡是多少钱。因为网上有大量的静态数据教会它钱是什么、能干什么。模型可以理解“钱是能买到炸鸡的”。

但缺乏动态数据教它怎么“找到美团App，点开App，如何搜索脆皮炸鸡，然后点击下单”的这样一个动态过程。

这个其实就跟o1的那套推理的路很像，模型不仅要知道结果，还要知道其中的过程。

整个自主人工智能的操作路径，其实就是一个多模态的巨型思维链。

o1和claude给大家打了个样，证明了强化学习这条路是对的，那强化基座模型的推理能力是一个应用方向，而做这种真正的Agent，又是一个强化学习应用的典型场景。

一个偏基模，一个偏应用。

而这套通过强化学习补充数据的范式，其实也就是今年3、4月以后，才逐渐形成的业内共识。

所以，着就能解释，为什么过去一年半的时候，这种自主人工智能一直没啥进展，直到最近才密集发声，其实就是多模态基座和数据的原因。

最后，再简单说说AutoGLM这种能力，大概是怎么实现的，具体细节他们也都没透露，我只能根据我的调研结果，进行一些猜测，不过AutoGLM团队最近应该会发个技术报告，到时候可以关注一下。

比如一个最简的例子，说：微信发送“今天疯狂星期四V我50”的消息给鲜虾包。

那么大模型拿到任务后，会一边看当前屏幕的界面，一边利用思维链一步一步推理：

任务可以在当前的UI界面下继续进行吗？是的话进行第2步，否的话就会思考“应该打开什么界面”然后进行下一步动作。
分析当前UI和最终任务的关系，分解成一步一步的动作”

现在首先需要填充输入框“今天疯狂星期四V我50”
然后点击“发送”

然后思考问题是否最终被解决？如果是的话结束，如果否的话回到第1步继续循环。

这一切，都建立在模型能看到屏幕，能理解屏幕上那些乱七八糟的元素的基础上。他不仅需要复杂的规划能力，还需要直到这个是按钮，这个是单选控件，这个是表单，这个是开关等等。

而滑动这个操作，反而是最麻烦的，人看起来很简单，是因为人对于UI界面，已经有数十年的经验了，滑动本身就是预测的过程，我们根据我的经验，大概能猜到这一屏如果没有我要的信息，那他可能是在下一屏。

所以我们会进行一个滑动操作，但是对于AI来说，这个预测，反而是最难的。

所以后面，需要继续灌数据，灌大量的行为性数据，形成泛化能力。

让AI，有跟人类一样的，UI常识，和对交互的可预测性。

虽然目前不是那么完美。

Claude的Computer Use和智谱的AutoGLM，都有自己的一堆问题，也远远没到一个算是完美产品的地步。

但这毕竟也只是刚刚开始。

当一切路径明确。

两个月时间。

可能，一切就变天了。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-09-13

涌现观点｜别被“AI Agent”的万亿神话骗了，这才是你应该知道的真相

2025-09-13

这可能是Human-in-the-Loop最具象化的演绎 | 长程推理Agent设计实践

2025-09-13

ai问答助手类产品策略与指标

2025-09-13

蚂蚁数科宣布：支持企业客户按大模型应用效果付费

2025-09-13

阿里Qoder IDE进行AI辅助编程的简单验证

2025-09-13

Docling将pdf转markdown以及与AI生态集成

2025-09-13

Claude Code 为何如此强大？Anthropic 万字长文揭秘 AI Agent 工具开发五大“心法”

2025-09-12

从“代码补全”到“知识对齐”：Qoder Repo Wiki 迎来重磅升级

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek-V3.1 发布，迈向 Agent 时代的第一步

2025-08-21

精|知识探索新范式：深度研究Deep Research智能体全面综述，系统、方法与应用

2025-06-21

DeepSeekV3.1 提到的 UE8M0 FP8 Scale 是什么？下一代国产芯片设计？

2025-08-21

DeepSeek V3.1 测评

2025-08-19

能办成事的 Agent：实时与环境交互，从经验中学习

2025-06-19

WAIC 2025 观察：大模型进入“效率与场景”决胜期

2025-07-29

AI大家说 | 下一代AI创业的机会在哪里？定价趋势是什么？

2025-09-08

DeepSeek突然更新V3.1：实测后才发现的亮点与槽点

2025-08-19

DeepSeek v3.1 到底有多强？与 Claude Code 一起实测！

2025-08-20

豆包又在偷偷进步！超能创意2.0内测，语意理解能力追平FLUX Kontext

2025-07-04

大家都在问

阿里推出夸克医疗大模型：医考70%高分背后，RAG为何是“压舱石”？

2025-09-12

AI市场调查实战：如何让AI帮你搜全网特定规格的产品？

2025-09-11

Embedding-审核场景下都可以在哪里应用？

2025-09-11

nano banana 文生图模型有哪些具体的应用场景？

2025-09-09

Claude Code：极简架构 + 万字提示词 = 最强开发者智能体？

2025-09-09

观察 | 面临经济下行和AI的双重冲击，企业顾问如何突破困局？

2025-09-08

AI大家说 | 下一代AI创业的机会在哪里？定价趋势是什么？

2025-09-08

砸数万元将产品植入Deepseek，AI还能被骗多久？

2025-09-07

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB