微信扫码
添加专属顾问
这篇论文揭示了AI学习的新范式:不用修改模型参数,仅靠一本自更新的"错题本",就能让AI性能提升116.2%,彻底颠覆传统微调思路。 核心内容: 1. 传统AI微调方法的三大痛点与成本陷阱 2. Memento-Skills系统如何实现参数零修改的性能突破 3. 自更新"技能手册"机制在GAIA基准上的实战表现
说实话,我看这篇论文开头的对话时,差点笑出声——这不就是国内无数AI落地团队的日常吗?
周一早上的办公室,大屏上的智能体准确率稳定在73%,像个永远考C+的学生。博士小哥周末砸了400美元GPU算力搞微调,精度从73.2%涨到73.4%,资深工程师冷冷补了一句:“这在误差区间里,你花了400美元啥也没学到。”
太真实了。我们一直陷入一个根深蒂固的误区:AI要变强,就得堆参数、搞微调、砸算力,像给大脑做“开颅手术”一样改模型的神经元参数。但这篇来自Memento团队的论文,直接推翻了这个逻辑:他们做了一套叫Memento-Skills的系统,让智能体(Agent)自己设计智能体,全程不动大语言模型(LLM)的任何参数,只靠一本会自己写、自己改的“错题本+技能手册”,就在人类终极考试(HLE)基准上实现了116.2%的相对性能提升,通用AI助手基准(GAIA)上也涨了26.2%。
你有没有发现一个很矛盾的点?我们天天教AI要像人一样学习,但给AI设计的成长路径,却完全反人类。人从来不会为了学会修水管,就给自己做开颅手术改神经元,我们只会把步骤记下来,踩过的“没关总闸”的坑标出来,下次照着做就行。但过去的AI,要进步就得改参数,这不就是本末倒置吗?
先讲清楚一个行业里人人都懂,但很少对外说的真相:99%的商用AI智能体,部署之后都是“冻结”的。
什么叫冻结?就是大模型的参数在预训练、微调完成后,就彻底固定了,像一个刚毕业的大学生,脑子很好使,但没有任何落地经验。它遇到问题,只能靠预训练里的知识和上下文窗口里的内容解决,踩过的坑、成功的经验,根本留不下来——它是“无状态”的,这次犯的错,下次还会一模一样再犯一遍。
你想让它进步?传统路径只有一条:重新微调。但这条路的坑多到离谱:你需要成千上万条标注数据,数据少了直接过拟合,就像学生只背200道错题,考试换个题型就不会了;还要花巨额的算力成本,往往几万块砸下去,精度涨了不到1个百分点,就像论文里的小哥,400美元换了0.2%的提升;更麻烦的是,每次微调都要重新部署,稳定性根本没法保障。
这就是当下AI落地最大的死穴:我们造出了记忆力超群的大脑,却没给它一套能沉淀经验、持续成长的学习机制。它能背下整个图书馆,却不会写一本属于自己的错题本。
Memento-Skills的核心创新,说穿了一点都不复杂:它把“可复用的技能”当成了AI的外部记忆,用一套“读写反射学习闭环”,让AI自己给自己写、自己改这本“技能手册”,全程不动大模型的任何参数。
我给你打个最通俗的比方:这就像给一个新入职的员工,配了一本空白的活页工作手册,还有一套严格的成长规则:
最绝的是,它不是把所有聊天记录、操作日志一股脑存下来,而是把经验提炼成了可复用、可执行的结构化技能,每个技能都有明确的适用场景、操作步骤、避坑指南,甚至还有配套的可执行代码。而且每次修改完,都会自动做“单元测试”,确保改完的技能不会越改越糟,从根源上避免了“学了新的,忘了旧的”的灾难性遗忘问题。
整个过程,AI的“大脑”(大模型参数)完全没动,所有的成长都在这本不断迭代的手册里。就像你不用给自己做开颅手术,只需要把经验写在本子上,就能越做越好。
看到这里,你可能会问:这不就是给AI加了个向量数据库吗?有什么稀奇的?
完全不是。这也是我看完论文最惊喜的地方:它做的根本不是“记忆存储”,而是给AI构建了一套和人类一模一样的“程序性学习系统”。
认知心理学里有个核心概念:人的记忆分为陈述性记忆和程序性记忆。陈述性记忆是“北京是中国的首都”这种事实性知识,而程序性记忆是“怎么骑自行车”“怎么写一篇合格的方案”这种技能型记忆——你学会之后,不用每次都从头思考步骤,靠肌肉记忆就能完成,而且越练越熟练。
过去的检索增强系统,存的都是陈述性记忆,都是死的知识;而Memento-Skills里的技能,是活的程序性记忆,是AI的“肌肉记忆”。 论文里有个类比特别到位:刚生成的新技能,就像人刚学骑自行车,很脆弱,只能应对特定场景,稍微有点变化就会摔;但经过一次次的反馈、修改、迭代,它会慢慢变成一个稳健、通用的技能,就像你学会骑车之后,不管是平路还是上坡,都能轻松应对。
这也完美契合了《刻意练习》里的核心逻辑:真正的成长,从来不是重复劳动,而是“及时反馈+针对性改进+持续沉淀”。这套读写闭环,就是AI的刻意练习系统,每一次任务都是一次练习,每一次反馈都是一次改进,最终沉淀成越来越强的能力。
论文里的实验数据,用一句话就能讲清楚:一个靠死记硬背考30分的学渣,靠整理错题本、写技能手册,直接逆袭成了考65分的中等生,性能直接翻倍。
在人类终极考试(HLE)这个基准上,全是数学、物理、生物、人文等8个学科的专业学术题,AI初始正确率只有30.8%,经过3轮学习,训练集正确率直接涨到54.5%,最终测试集的相对提升达到了116.2%。
更有意思的是,它的技能库从最开始的5个基础技能,直接涨到了235个,还自动聚类成了搜索、物理、数学、代码等不同的模块,就像你工作久了,你的手册会自动分成不同的专业领域,越来越系统。
而在通用AI助手基准(GAIA)上,都是需要多步推理、工具调用、网页搜索的真实世界问题,它也实现了26.2%的相对提升。这里有个很关键的细节:GAIA的问题太杂,每个问题的场景都不一样,技能复用率很低,所以提升不如HLE明显。
这也恰恰验证了这套系统的核心逻辑:当任务有固定的领域和规律时,技能沉淀的价值才会最大化,就像你在一个行业深耕,你的工作手册才会越来越有用,跨行业瞎折腾,手册根本用不上。
当然,我不想把这项技术吹成“颠覆性革命”,它也有自己明确的边界。
首先,它解决的是“可复用任务的持续优化”,但面对完全没有先例的、颠覆性的创新任务,它的作用会大打折扣。就像你的工作手册里没有相关的内容,你还是得从头开始思考,没法靠旧技能解决全新的问题。
其次,技能库的增长有收敛性。论文里也提到,随着技能越来越多,覆盖了大部分场景之后,再加新技能的收益会越来越小,就像你工作10年,该踩的坑都踩过了,再遇到新坑的概率就很低了,成长速度自然会变慢。
最后,也是最关键的安全问题:AI自己写的技能,会不会有隐藏的风险?论文里虽然加了单元测试的闸门,但在真实的生产环境里,一旦技能出现逻辑漏洞,可能会引发连锁的问题,就像你自己写的手册里有个错误的步骤,下次照着做还是会踩坑,甚至造成更大的损失。
看完这篇论文,我最大的启发,根本不是技术本身,而是它对“智能”的重新定义。
我们一直陷入一个参数崇拜的怪圈:总觉得AI要变强,就要把模型做的更大,参数更多,算力更强,就像我们总觉得,人要变厉害,就要把大脑塞更多的知识,记更多的内容。但人类文明的进步,从来不是靠每个人的大脑进化,而是靠我们把知识和经验写进书里,写进手册里,一代代传承、迭代,不用每个人都从头发明轮子。
Memento-Skills最珍贵的地方,就是它给AI装上了这样一套“文明传承”的系统。它不用改自己的大脑,只需要不断迭代自己的“技能手册”,就能持续成长;它不用重复踩别人踩过的坑,只需要复用已经沉淀好的经验;它的成长,不是靠神经元的改写,而是靠方法的沉淀、迭代和传承。
未来的AI,可能从来都不是一个无所不能的超级大脑,而是一个会学习、会沉淀、会自己写手册的“终身学习者”。就像我们身边那些越老越值钱的资深专家,不是因为他们的脑子比年轻人更好使,而是因为他们有一本沉淀了几十年的、不断迭代的“人生手册”。
说到底,真正的智能,从来不是记住所有东西,而是学会“如何学习”。 人是这样,AI也是。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2026-07-06
手机端 Agent 评测:从方法论到工程实践
2026-07-06
长上下文方案对比:一文讲清从 RAG、KV Cache 到百万上下文的工程取舍
2026-07-05
Hermes 的记忆层有 8 种实现,我为什么选了最反常识的那个
2026-07-05
Codex 负责人谈 AI 时代唯一值钱的能力
2026-07-05
复旦期末考「造反」了:51名学生联手围攻Claude、DeepSeek,谁能让AI交白卷谁就是学霸
2026-07-05
Loop Engineering 会是 AI 的下个关键词吗?
2026-07-04
Cursor 如何把 AI 部署进企业内部
2026-07-04
字节跳动CEO梁汝波最新万字分享深度拆解:这可能是2026年最重要的一堂管理课
2026-04-15
2026-04-07
2026-04-24
2026-04-17
2026-04-14
2026-04-24
2026-04-22
2026-05-19
2026-04-24
2026-04-24
欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。
在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。
一、 定义
本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。
会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。
知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。
二、 账号注册与登录
登录方式:本网站支持以下登录方式,您可根据实际情况选择:
微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。
手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。
账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。
实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。
未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。
三、 服务内容与规范
知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。
服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。
禁止行为:您在使用服务时不得实施以下行为:
利用技术手段批量爬取、下载、转存知识库内容;
将知识库内容用于商业目的或未经授权地向第三方传播;
干扰本网站正常运行或侵犯其他用户合法权益;
发布违法违规信息或从事违反公序良俗的活动。
四、 知识产权声明
权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。
有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。
侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。
五、 个人信息保护
我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。
您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。
您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。
六、 免责声明
内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。
不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。
第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。
七、 违约责任
如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。
如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。
八、 法律适用与争议解决
本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。
因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。
九、 其他
本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。
本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。
我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。