粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
今天我们来聊聊LLM Agent背后的记忆机制，特别是记忆的形式。你可能听说过，LLM就像一个厉害的不得了的聊天助手，它可以记住之前的对话内容，还能学习新知识。但你知道它是怎么做到的吗？这就要说到记忆的形式了。
记忆可以是文本形式的，就像我们平时说话那样，直接明了。这种方式的好处是易于理解和实现，而且读写速度都很快。但是，如果记忆太长，就会占用很多空间，影响处理速度。想象一下，如果你要记住一整本书的内容，那得多费劲啊！
文本形式的记忆可以进一步细分为几种类型：
至于用哪种类型，各有利弊，比如存储完整的交互信息可以保留所有细节，但可能会因为信息量太大而影响效率；而只存储最近的交互信息则可以快速访问，但可能会遗漏一些重要的历史信息。
下图为MemGPT研究中的示意图，分别体现出了短期和召回记忆；至于完整的交互记忆，大家经常使用的ReAct就是，在Qwen-Agent中，通过chatml特有的多轮的格式<im_start> <im_end>进行分割历史的会话，最后一轮才加上ReAct的prompt。
另一种形式是参数形式，这种方式更高级一些。它不是直接存储文字，而是把记忆转换成模型参数，就像是把知识压缩成精华。这样做的好处是不会受到文本长度的限制，而且存储效率更高。但是，这种形式的记忆在写入时可能需要更多的计算，而且解释起来也不如文本形式直观。
参数形式的记忆则涉及到一些更复杂的技术，比如fine-tuning和editing。微调可以帮助模型快速学习特定领域的知识，而知识编辑则可以精确地更新或删除某些记忆，避免影响其他无关的知识。
经典的Character-LLM: A Trainable Agent for Role-Playing，就是使用的微调的方式，如下图：
文本形式的记忆和参数形式的记忆同样也是各有千秋，它们适合不同的应用场景。比如，如果你需要快速回忆最近的对话，文本形式可能更合适；而如果你需要存储大量的知识，或者需要一个稳定可靠的知识库，参数形式可能更有优势。
同样这里提供一份经典的Agent系统，他们关于记忆的形式的汇总表格如下：
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-30
深度解析OpenAI和Google智能体白皮书及背后两种路线｜大模型研究
2025-04-30
MCP入门指南：大模型时代的USB接口
2025-04-30
通俗易懂的梳理MCP的工作流程（以高德地图MCP为例）
2025-04-30
一文说明 Function Calling、MCP、A2A 的区别！
2025-04-30
MCP很好，但它不是万灵药｜一文读懂 MCP
2025-04-30
旅行规划太难做？5 分钟构建智能Agent，集成地图 MCP Server
2025-04-29
10万元跑满血版DeepSeek，这家公司掀了一体机市场的桌子｜甲子光年
2025-04-29
谷歌大神首次揭秘Gemini预训练秘密：52页PPT干货，推理成本成最重要因素
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
2025-04-29
2025-04-29
2025-04-29
2025-04-28
2025-04-28
2025-04-28
2025-04-28
2025-04-28
回到顶部