我要投稿

大模型模仿人类记忆，迎来无限上下文时代

发布日期：2024-07-18 18:38:26 浏览次数： 6360

我们都知道，人类大脑在处理长时间的记忆和事件时表现出色。

而现有的大型语言模型（LLMs），虽然已经展现出了非凡的能力，但在处理广泛的上下文时仍然存在困难，这限制了它们在处理长序列时保持连贯性和准确性的能力。

这样的表现有限主要是因为：

- Transformer架构在遇到比它们训练时用的上下文更长的内容时，会变得不太灵活。

- 当序列很长时，注意力机制的效果会变得混乱和噪声化。

- 尽管像检索增强生成（RAG）这样的技术有一些进展，但在处理长上下文任务时，效果还是不够好。

相比之下，人类的大脑在组织和检索跨越一生时间尺度的事件体验方面非常出色。

在这项工作中，介绍了EM-LLM，这是一种新颖的方法，它将人类事件记忆和事件认知的关键方面整合到LLMs中，使它们能够有效处理几乎无限的上下文长度，同时保持计算效率。

EM-LLM（Episodic Memory，情景记忆）：使得LLM能够处理几乎无限长的上下文，同时保持计算效率。

EM-LLM通过在推理过程中基于惊奇水平（Bayesian surprise）对词序列进行分段，初步边界是动态确定的，随后通过图论度量进行优化。

这种方法不仅提高了模型的记忆检索效率，还模仿了人类记忆的时间动态，使得相关信息的检索既基于相似性也考虑时间连续性。

EM-LLM通过结合贝叶斯惊喜和图论边界细化的方式，将一系列标记组织成连贯的事件体验，并以在线方式进行。

当需要时，这些事件通过一个两阶段的记忆过程被检索，结合基于相似性和时间连续性的检索，以高效且类似人类的方式访问相关信息。

在LongBench数据集上的实验表明，EM-LLM的性能优于最先进的InfLLM模型，在各种任务中整体相对提高了4.3%，包括在PassageRetrieval任务上提高了33%。

此外，分析显示，EM-LLM的事件分割与人类感知的事件有很强的相关性，表明了这个人工系统和其生物对应物之间的桥梁。

这项工作不仅提升了LLM在处理扩展上下文方面的能力，还为探索人类记忆机制提供了一个计算框架，为人工智能和认知科学领域的跨学科研究开辟了新的途径。

未来研究可以探索更复杂的分段和聚类算法，以进一步提升EM-LLM的性能。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-06-24

别再把 RAG 当搜索框了：Bayer 这套 Agentic RAG，把上下文、反思、恢复和评测全焊进生产系统

2026-06-24

上生产GraphRAG的重活，SAG请外援解决了

2026-06-23

RAG之后，知识库开始自己长大

2026-06-23

AI 知识库开始分叉：LLM Wiki 和 GBrain 真正的差别

2026-06-23

谷歌发布OKF（Open Knowledge Format）规范，它与Karpathy的LLM-wiki是什么关系？

2026-06-23

RAG 的尽头，是 SQL？

2026-06-22

传统RAG已经落伍了？清华大神开源的这个 rag-skill，让知识库检索直接升维

2026-06-22

从个人知识库到企业级 RAG：我们最终选了 WeKnora

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

全网爆火的大模型AI知识库，保姆级教程来了

2026-04-06

Karpathy的LLM Wiki + 3.5 万Star的Graphify：企业级 RAG 缺的真是知识图谱？

2026-04-27

RAG进化了，深扒Claude Code源码中RAG高级技巧

2026-04-02

OpenDataLoader：PDF文档提取的一站式方案

2026-03-31

2026 年做搜索就是做 Agent Memory

2026-04-23

Codeindex · 让大模型更好地理解你的代码

2026-04-20

阿里云百炼「记忆库」正式上线，让龙虾真正记住你！

2026-04-09

YC CEO 的 AI 记住了 3000 个人

2026-04-12

专题解读 | 可更新的检索增强知识库发展方向及进展

2026-04-22

AI 答疑助手优化实践：从 RAG 到 LightRAG 的全链路升级

2026-04-10

大家都在问

谷歌发布OKF（Open Knowledge Format）规范，它与Karpathy的LLM-wiki是什么关系？

2026-06-23

RAG 的尽头，是 SQL？

2026-06-23

RAG运维如何用好Loop Engineering？Milvus 3.0 对它有什么价值？

2026-06-15

如何构建一个更“好”的知识库？

2026-06-10

企业 RAG 知识库落地，应如何设计实现？

2026-06-10

AIOps探索：给不能联网的客户做一个AI运维助手到底有多难？

2026-05-20

有多少人把Agent与RAG的检索策略，简化成了 if-else？

2026-05-18

到底是谁会相信RAG已死啊？

2026-05-11

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件 FDE AI+医疗 MaxKB Palantir Glean Openclaw