当RAG遇上Agent记忆：为什么相似度检索会"塌方"？

推荐语

当RAG遇上Agent记忆，相似度检索为何失效？论文揭示传统方法在对话流中的致命缺陷，并带来突破性解决方案。

核心内容：
1. 传统RAG检索在agent记忆场景中的"塌方"现象分析
2. xMemory框架的四层记忆层次结构与自适应检索机制
3. 稀疏性-语义引导目标与两阶段检索的创新设计

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

传统RAG检索在Agent记忆场景下会返回大量冗余内容，而后处理剪枝又容易破坏证据链条。 这个看似矛盾的困境，正是当前agent记忆系统面临的核心挑战。

论文指出，标准的RAG(Retrieval-Augmented Generation，检索增强生成)管道是为大规模、异构语料库设计的，检索到的段落通常是多样化的。然而，agent记忆是一个有界且连贯的对话流，候选片段高度相关，经常是近似重复的。当检索依赖固定top-k相似度排序时，结果会"塌缩"到单一密集区域，返回冗余证据，无法区分"需要的"和"仅仅相似的"内容。

更棘手的是，常见的后处理剪枝方法同样存在问题。这些方法依赖局部相关性线索，而对话证据往往通过共指、省略和时间线依赖在时间上相互纠缠。结果是，剪枝可能删除证据链中的前置条件，而非真正去除冗余。

[Figure 1: 从相似度top-k到结构化检索] 论文展示了agent记忆形成连贯且高度相关的流，许多片段是近似重复的；相似度top-k检索因此会塌缩并检索冗余块。xMemory将记忆组织成完整单元的层次结构，执行结构感知检索以产生更短但更充分的上下文。

核心洞察：检索应该从相似度匹配转向对潜在组件的操作。 论文提出"解耦到聚合"的范式：将记忆分解为语义组件，组织成层次结构，然后利用这种结构驱动检索。

xMemory：四层记忆层次与自适应检索

论文提出的xMemory框架包含两个核心模块：记忆结构管理和自适应检索。

四层层次结构

xMemory构建从原始消息到抽象单元的四层层次：原始消息→情节(Episode)→语义(Semantic)→主题(Theme)。情节总结连续的消息块；语义节点从情节中提炼可复用的长期事实，以解耦高度相似的历史；主题聚合相关语义以实现高层访问。

这种层次结构在每个粒度保持完整的证据单元，保护时间关联的前置条件不被剪枝删除。

稀疏性-语义引导目标

论文引入一个引导目标函数来控制主题的分裂与合并：

f(P) = SparsityScore(P) + SemScore(P)

稀疏性分数量化主题分区的平衡程度，通过期望的主题内候选大小来衡量。语义分数则通过主题质心之间的最近邻相似度进行正则化：过于相似的主题增加冗余，而过于不相似的主题形成"语义孤岛"，阻碍跨主题导航。

[Figure 2: xMemory概览] 论文展示xMemory将记忆结构化与自顶向下检索相结合，以解决agent记忆与RAG管道之间的不匹配。它将连贯流组织成层次结构，将情节轨迹解耦为语义组件同时保持完整单元。

两阶段自适应检索

第一阶段在高层kNN图上进行查询感知的代表性选择。论文采用贪婪过程，在覆盖增益和查询相关性之间权衡，选择紧凑、多样且与查询相关的主题和语义节点。

第二阶段是不确定性自适应证据纳入。从选定的语义节点收集关联的情节作为完整证据单元，仅当情节能够充分降低读者的预测不确定性时才纳入；对于已纳入的情节，仅当进一步降低不确定性能够证明额外token开销合理时，才扩展到原始消息。

实验：跨三个最新LLM的一致提升

论文在LoCoMo和PerLTQA两个基准上进行评估，使用三个骨干LLM(Large Language Model，大语言模型)：Qwen3-8B、Llama-3.1-8B-Instruct和GPT-5 nano。

[Table 1: LoCoMo主要结果] 论文报告了每个问题类别的BLEU和F1分数以及平均值。Token/query表示每个查询的平均总token数（越低越好）。

LoCoMo结果

使用Qwen3-8B时，xMemory将平均BLEU从28.51提升到34.48，平均F1从40.45提升到43.98。在长程推理上的提升尤为明显，例如时间类问题的BLEU从23.60提升到29.58，F1从33.74提升到37.46。

使用GPT-5 nano时，xMemory将平均BLEU从36.65提升到38.71，F1从48.17提升到50.00，同时将每查询token使用量从9155降低到6581。

[Table 2: PerLTQA主要结果] 论文报告BLEU、F1、ROUGE-L和每查询token使用量。

PerLTQA结果

使用Qwen3-8B时，xMemory达到平均BLEU 36.24、F1 47.08、ROUGE-L 42.50，同时仅使用5087 token每查询。使用GPT-5 nano时，xMemory进一步达到F1 46.23和ROUGE-L 41.25。

深入分析：为什么RAG剪枝在agent记忆中失效？

[Figure 4: 按问题类别的证据命中分布] 论文展示检索块中1-hit、2-hit或multi-hit相对于答案内容token的比例，比较朴素RAG、带剪枝的RAG和xMemory。

论文比较了三种设置的证据密度：朴素RAG、带LLMLingua-2剪枝的RAG、以及xMemory结构化记忆检索。

结果显示，xMemory在各类别中产生更多证据密集的检索，2-hit和multi-hit比例显著高于两个RAG基线。相比之下，剪枝倾向于将质量从2-hit和multi-hit转移到1-hit，表明压缩经常移除答案相关细节。

[Table 3: 性能与证据覆盖效率] 论文报告端到端BLEU-1/F1、覆盖所有答案内容token所需的平均检索块数和token成本。

论文进一步评估证据覆盖效率。剪枝降低了覆盖的token成本，但需要更多块且准确率低于朴素RAG。相比之下，xMemory以更少的块和约一半的token覆盖证据，同时实现更高准确率。

[Figure 3: Qwen3-8B在LoCoMo上的消融实验] 论文报告BLEU和F1（左轴）以及Token/query（右轴，越低越好）。

消融实验

仅使用层次记忆结构已经比朴素RAG有大幅提升，平均BLEU从27.92提升到31.81，F1从36.42提升到40.77。添加代表性选择(RepSel)或不确定性纳入(UncSion)进一步提升性能，两者结合表现最佳。

[Figure 5: 结构可塑性与下游QA] 论文报告平均BLEU/F1和动态重分配比率。冻结高层重构产生0%重分配和较低准确率，而完整系统执行大量重分配(44.91%)并达到最佳性能。

回溯性重构的重要性

论文发现，禁用分裂和合并会冻结高层结构，产生0%重分配，并将平均F1降低到38.59。启用重构显著增加重分配和准确率，完整系统达到最高重分配比率(44.91%)和最佳平均F1(43.98)。

X写在最后

agent记忆检索需要从"找相似"转向"理结构"。 通过将高度相关的记忆解耦为语义组件，并在层次结构上自顶向下检索，xMemory在减少冗余的同时保持了时间关联的证据完整性。这一思路对于构建长期交互的agent系统具有重要参考价值。

论文标题: Beyond RAG for Agent Memory: Retrieval by Decoupling and Aggregation

论文链接: https://arxiv.org/abs/2602.02007

#无影寺