我要投稿

ChatGPT6，自主进化的大模型

发布日期：2025-10-16 21:37:11 浏览次数： 1643

作者：Kevin改变世界的点滴

微信搜一搜，关注“Kevin改变世界的点滴”

在计算机博士里，我日常除了创业与做产品工作，最大的时间花费就是看别人的论文了，其中我最近看到一篇文章，可以说是未来所有大模型的发展方向，以及实现方法。

其论文提到了在强化学习、监督学习之外，另外一种优化模型的方式，通过监督每次模型生成的机制（可以理解为prompt），从而对比结果，将结果好的prompt继续优化再来训练。

并且支持自己内容生成，将生成的内容可以用于做模型训练。

也就是AI模型的自我进化

在论文开头，论文就提到了一个比喻，模仿学生在考试前，通过碎片化的笔记本来复习考试，通过让自己记忆得到更准确的生成结果，就会用碎片化。

提到了一个举例，就是人类在考试之前都会自己记录笔记，在复习的时候都会通过阅读笔记来想起之前知识学习块，从而加深自己的记忆同时能够让考试更加容易答对通过。

依靠这种方式，AI模型也应该可以参考学生复习笔记的方式，将其零碎的知识内容首先可以自己组合、重建，并且去生成更加精准的内容。

每次内容生成后，可以判断内容效果，再来不断优化每一次的策略“prompt”，最终就实现了模型的进化。

在这篇文献里，他们也利用ARC方法（完成模型生成数据），将其碎片的数据进行组块、重建完整生成，再用模型校验自己的提示词是否最佳的，从而不断让模型具备不断优化提示词能力，也就是模型的自我进化与学习。

如上图是文章片段生成完整片段，并且用来评估。最终通过SEAL叫做自我学习大模型框架生成的准确度在仅有几块的情况下，可以达到和ChatGPT4.1的生成准确度。

相比以往的模型训练，这个模型框架最大的区别是如下图，可以理解为在生成策略的优化：Prompt

如下是文献李SEAL方法的实现效果，给出了模型输入内容之后，模型通过不断地重写，从而让模型自己提升自己，让每一次重写内容更准确。

其中第一次rewrite 和最后一次内容长度与质量都有显著的变化。

可想而知，这套框架用在图像模型也是可以的，让模型几乎0标注的进行自我训练，在用户任务完成一轮，就可以利用任务图片数据集完成训练自我提升。

这几乎就可用让医生、律师、甚至是产品经理以及写代码，可以完成自己熟悉领域越来越准，并且越来越达到自己的要求与目标范围。

在研究文献里，SEAL模型框架研究也有限制：灾难性遗忘

随着时间逐步前进，知识陈旧之后，模型拉起的准确度会越来越低，甚至是出现幻觉，所以模型会过渡拟合，以及过渡蒸馏。

现在AI模型的灾难性遗忘几乎是一个难题，曾经就有人做过实验，将一个图像利用通用模型不断的重复训练，反复把结果再来训练。

当训练超过几百次之后，就会得到女性二次元，这是因为大模型数据源采用海量数据，包含了海量女性角色、以及二次元图，所以最终过渡拟合就会成为二次元

如上图是rice university做的算法研究，将其一张图片反复训练，最终得到的结果是另外一个人物，甚至是性别都变了。

如何对过往的数据进行存储以及模型检索，是接下来这套算法需要做的衍生，在其论文里，给出了后续的研究计划，将会继续扩展到记忆的问题。

比如通过以往的数据整合与单独保存，以及过往数据调用策略的修改，从而让模型能够避免灾难性遗忘。

相比通用模型来说，SEAL模型其对于过往的数据灾难性遗忘程度要低的多，可以看见模型是有效果的。

如上图是论文里随着知识块增加，以及自己反复进化收敛，仍然会出现模型记忆丢失，在只有一段数据下，反复8次进化，从0.33变成了0.19的准确度，几乎不管是几段都会进行降低。

将其算法在不仅是prompt校准上的进化，而是对过往数据的精准度也要进行计算，从而让模型在实现自我进化的同时，不会出现遗忘，相信这就是未来ChatGPT7甚至是8的发展目标。

其实对于人类来说，到不会把以前记住的事情记错，而是会遗忘，让一个人记住以往时间的数据这一点也是很难，就想让我们现在想象小时候的记忆，我们仍然会觉得很难记得住，就是因为这些记忆碎片往往难以寻找，但是当我们找到了某一个记忆碎片或情景，就可以迅速记得到当时的更多片段情况。

这就是大脑记忆的数据检索，而目前AI模型在进化模型上，这一点反复进化会导致出现错误数据，也就是错误记忆这一点是现在团队要去做的。

ChatGPT6自我进化

从现在来看，这篇论文至少给了一个趋势，也就是一个AI大模型会包含进化能力，这样就不需要再给他数据训练了，而是自己通过日常的沟通与任务完成，他其实就在不断训练自己。

这篇文献的研究作者已经跳槽到OPENAI去了，这篇文章最大的意义就是让模型越来越聪明，甚至是对于用户来说，自己账户下的ChatGPT将会越来越懂你，并且知道你所了解的方向与知识，逐步成为超越或者完美契合你的灵魂伴侣。

让模型自我进化，而且模型的进化小到个人账户，大到整个模型基座，都是可以进化的，从而不用担心模型还需要人工来进行训练。

不再需要依靠开发者每次发版本一样release，用户就能体验到模型的新能力。

当然现在这种进化只是在模型的准确度与生成内容量，和模型在功能、多模态上还没有关系，也就是模型不能从文本模型变成图像模型，这一点进化还做不到。

以上就是这篇文献，我相信ChatGPT6以及后续模型将会更加“人”化。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-11-11

超越大小与热度：JIMDB“大热Key”主动治理解决方案深度解析

2025-11-11

Agent这把火，还是烧到了企业级市场里

2025-11-11

没人告诉你的真相：大模型应用开发靠的是经验，不是技术

2025-11-11

硅谷归来，万字长文解构美国AI发展现状！

2025-11-11

为什么说多模态是推荐系统破局的关键？来自饿了么一线的实战复盘

2025-11-10

AI 的慢思考：我们将会迎来一个“工程师”时代！

2025-11-10

一个没有 AI 的 AI Native 产品

2025-11-10

GPT-5.1 「马甲」泄露！现在免费就能用，年底 AI 一大波更新要来了

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek-V3.1 发布，迈向 Agent 时代的第一步

2025-08-21

DeepSeekV3.1 提到的 UE8M0 FP8 Scale 是什么？下一代国产芯片设计？

2025-08-21

DeepSeek V3.1 测评

2025-08-19

新版 GPT-5 刚刚发布，最卷 AI 连肝代码 7 小时，编程工具大洗牌开始了

2025-09-16

实测 Sora 2 ：AI视频的“ChatGPT时刻”来了？八大场景教你解锁各种玩法（附邀请码）

2025-10-02

AI大家说 | 下一代AI创业的机会在哪里？定价趋势是什么？

2025-09-08

阿里发布下一代企业级智能体开发框架AgentScope 1.0

2025-09-17

从需求场景出发的AI应用项目落地方法论

2025-09-19

DeepSeek突然更新V3.1：实测后才发现的亮点与槽点

2025-08-19

RagFLow v0.20.X全面解析！双向MCP、Agentic智能体...这次真的起飞了！（附长图）

2025-09-29

大家都在问

大模型一体机|“昙花一现”，还是必然趋势？

2025-11-10

95% 企业 AI 落地失败当下，另外 5% 的 CIO 在谈什么？

2025-11-09

火了大半年的Agent，还能整出啥新花样？

2025-11-09

打败GPT5的Kimi K2 Thinking，真就只会写代码吗？

2025-11-08

联手 OpenAI 发布 ACP，Stripe 是如何思考 Agent 支付的？

2025-11-06

🤯 终于搞懂了！LLM、RAG 和 AI Agents 到底是什么关系？

2025-11-06

如何为 AI 智能体定价？

2025-11-06

什么是CUDA？大模型推理过程中的计算为什么需要它？

2025-11-05

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB