我要投稿

ChatGPT6，自主进化的大模型

发布日期：2025-10-16 21:37:11 浏览次数： 1921

作者：Kevin改变世界的点滴

微信搜一搜，关注“Kevin改变世界的点滴”

在计算机博士里，我日常除了创业与做产品工作，最大的时间花费就是看别人的论文了，其中我最近看到一篇文章，可以说是未来所有大模型的发展方向，以及实现方法。

其论文提到了在强化学习、监督学习之外，另外一种优化模型的方式，通过监督每次模型生成的机制（可以理解为prompt），从而对比结果，将结果好的prompt继续优化再来训练。

并且支持自己内容生成，将生成的内容可以用于做模型训练。

也就是AI模型的自我进化

在论文开头，论文就提到了一个比喻，模仿学生在考试前，通过碎片化的笔记本来复习考试，通过让自己记忆得到更准确的生成结果，就会用碎片化。

提到了一个举例，就是人类在考试之前都会自己记录笔记，在复习的时候都会通过阅读笔记来想起之前知识学习块，从而加深自己的记忆同时能够让考试更加容易答对通过。

依靠这种方式，AI模型也应该可以参考学生复习笔记的方式，将其零碎的知识内容首先可以自己组合、重建，并且去生成更加精准的内容。

每次内容生成后，可以判断内容效果，再来不断优化每一次的策略“prompt”，最终就实现了模型的进化。

在这篇文献里，他们也利用ARC方法（完成模型生成数据），将其碎片的数据进行组块、重建完整生成，再用模型校验自己的提示词是否最佳的，从而不断让模型具备不断优化提示词能力，也就是模型的自我进化与学习。

如上图是文章片段生成完整片段，并且用来评估。最终通过SEAL叫做自我学习大模型框架生成的准确度在仅有几块的情况下，可以达到和ChatGPT4.1的生成准确度。

相比以往的模型训练，这个模型框架最大的区别是如下图，可以理解为在生成策略的优化：Prompt

如下是文献李SEAL方法的实现效果，给出了模型输入内容之后，模型通过不断地重写，从而让模型自己提升自己，让每一次重写内容更准确。

其中第一次rewrite 和最后一次内容长度与质量都有显著的变化。

可想而知，这套框架用在图像模型也是可以的，让模型几乎0标注的进行自我训练，在用户任务完成一轮，就可以利用任务图片数据集完成训练自我提升。

这几乎就可用让医生、律师、甚至是产品经理以及写代码，可以完成自己熟悉领域越来越准，并且越来越达到自己的要求与目标范围。

在研究文献里，SEAL模型框架研究也有限制：灾难性遗忘

随着时间逐步前进，知识陈旧之后，模型拉起的准确度会越来越低，甚至是出现幻觉，所以模型会过渡拟合，以及过渡蒸馏。

现在AI模型的灾难性遗忘几乎是一个难题，曾经就有人做过实验，将一个图像利用通用模型不断的重复训练，反复把结果再来训练。

当训练超过几百次之后，就会得到女性二次元，这是因为大模型数据源采用海量数据，包含了海量女性角色、以及二次元图，所以最终过渡拟合就会成为二次元

如上图是rice university做的算法研究，将其一张图片反复训练，最终得到的结果是另外一个人物，甚至是性别都变了。

如何对过往的数据进行存储以及模型检索，是接下来这套算法需要做的衍生，在其论文里，给出了后续的研究计划，将会继续扩展到记忆的问题。

比如通过以往的数据整合与单独保存，以及过往数据调用策略的修改，从而让模型能够避免灾难性遗忘。

相比通用模型来说，SEAL模型其对于过往的数据灾难性遗忘程度要低的多，可以看见模型是有效果的。

如上图是论文里随着知识块增加，以及自己反复进化收敛，仍然会出现模型记忆丢失，在只有一段数据下，反复8次进化，从0.33变成了0.19的准确度，几乎不管是几段都会进行降低。

将其算法在不仅是prompt校准上的进化，而是对过往数据的精准度也要进行计算，从而让模型在实现自我进化的同时，不会出现遗忘，相信这就是未来ChatGPT7甚至是8的发展目标。

其实对于人类来说，到不会把以前记住的事情记错，而是会遗忘，让一个人记住以往时间的数据这一点也是很难，就想让我们现在想象小时候的记忆，我们仍然会觉得很难记得住，就是因为这些记忆碎片往往难以寻找，但是当我们找到了某一个记忆碎片或情景，就可以迅速记得到当时的更多片段情况。

这就是大脑记忆的数据检索，而目前AI模型在进化模型上，这一点反复进化会导致出现错误数据，也就是错误记忆这一点是现在团队要去做的。

ChatGPT6自我进化

从现在来看，这篇论文至少给了一个趋势，也就是一个AI大模型会包含进化能力，这样就不需要再给他数据训练了，而是自己通过日常的沟通与任务完成，他其实就在不断训练自己。

这篇文献的研究作者已经跳槽到OPENAI去了，这篇文章最大的意义就是让模型越来越聪明，甚至是对于用户来说，自己账户下的ChatGPT将会越来越懂你，并且知道你所了解的方向与知识，逐步成为超越或者完美契合你的灵魂伴侣。

让模型自我进化，而且模型的进化小到个人账户，大到整个模型基座，都是可以进化的，从而不用担心模型还需要人工来进行训练。

不再需要依靠开发者每次发版本一样release，用户就能体验到模型的新能力。

当然现在这种进化只是在模型的准确度与生成内容量，和模型在功能、多模态上还没有关系，也就是模型不能从文本模型变成图像模型，这一点进化还做不到。

以上就是这篇文献，我相信ChatGPT6以及后续模型将会更加“人”化。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-04-20

我给了他一个梦想：超越 Claude Code

2026-04-20

深度解析 Claude Code 在 Prompt / Context / Harness 的设计与实践

2026-04-20

AI大家说 | AI落地的实践分享：从大模型盈利到新工作方式

2026-04-20

大神 Karpathy 说破了大模型的真相：不是智力不够，是垃圾数据太多

2026-04-20

光会调 API 不够了：推理时计算正在成为 AI 竞争的新战场

2026-04-20

做原型不用Figma了？Claude Design 实测，一句话出交互原型

2026-04-20

十个顶级 Claude Code Skills，装上就不想卸

2026-04-20

跟着Karpathy用 AI 搭一个不会烂尾的第二大脑

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Pencil：设计和写代码，以后就全让AI干了

2026-01-24

Claude Opus 4.7刚刚曝光！Claude Code一夜重构，7x24小时替你打工

2026-04-15

深度解析——为什么Claude code CEO Dario 如此反中？

2026-01-23

从0到1玩转Clawdbot：我花了40小时，把这些坑都踩完了

2026-01-26

刚刚Qwen 3.6 Plus上线预览：1M上下文，阿里Coding/Agent翻身战打响

2026-03-31

2026年国内如何注册 Claude 账号教程

2026-03-13

我装了 9 个 Skill，终于看懂了 Google Antigravity 的野心

2026-01-21

豆包 2.0 模型发布，全信息整理（全网最完整，另附 79 页 Model Card）

2026-02-14

Codex 独立 App 来了，这是一个新东西

2026-02-03

OpenAI 发布新的 Codex 桌面版，我现在不骂 Codex 难用了

2026-02-03

大家都在问

设计行业的“棺材板”，要被Claude Design盖上了？

2026-04-18

当所有人都不写代码了，谁来看懂代码？

2026-04-13

什么场景该用 AI Native？

2026-04-12

12MB的Go二进制，让AI操控浏览器只花800 tokens，PinchTab凭什么这么省？

2026-04-07

华为AI 49元/月！贵？不贵？

2026-04-01

为什么这波 AI 产品都开始抢着做 CLI ？

2026-03-31

Harness Engineering 来了，SDD 还有意义吗？

2026-03-31

OpenAI不会干黄了吧？

2026-03-22

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw