Graph RAG 迎来记忆革命：“海马体”机制如何提升准确率？

随着生成式 AI 技术的快速发展，RAG（Retrieval-Augmented Generation）和 Agent 成为企业应用大模型的最直接途径。然而，传统的 RAG 系统在准确性和动态学习能力上存在明显不足，尤其是在处理复杂上下文和关联性任务时表现不佳。近期，一篇论文提出了 HippoRAG 2，这一新型 RAG 框架在多个方面取得了显著进步，为企业级 AI 应用提供了更强大的解决方案。

1. HippoRAG 2 简介：模仿人类记忆的 RAG 框架

HippoRAG 2 是一种创新的检索增强生成框架，旨在提升大语言模型（LLMs）的持续学习能力。它通过模仿人类长期记忆的动态性和互联性，解决了现有 RAG 系统在 意义理解（sense-making） 和 关联性（associativity） 任务上的局限性。HippoRAG 2 在原始 HippoRAG 的基础上进行了多项改进，包括增强段落整合、上下文感知和在线 LLM 使用，从而在事实记忆、意义理解和关联性任务上表现出色。

2. 为什么长期记忆对提升 RAG 的准确率有显著影响？

长期记忆机制是 HippoRAG 2 的核心创新之一，它通过模仿人类大脑的记忆方式，显著提升了 RAG 系统回答问题的准确率。以下是长期记忆机制对 RAG 准确率提升的具体影响，并结合实际示例说明：

2.1 增强上下文理解能力

传统 RAG 系统通常依赖向量检索，难以捕捉复杂上下文中的隐含信息，导致回答问题时缺乏深度理解。长期记忆机制通过动态整合上下文信息，能够更好地理解查询的意图和背景，从而生成更准确的回答。

示例：

• 查询：“为什么特斯拉的股价在 2023 年大幅波动？”
• 传统 RAG：可能只检索到与“特斯拉股价”相关的孤立信息，忽略宏观经济、行业趋势等关联因素。
• HippoRAG 2：通过长期记忆机制，能够整合特斯拉财报、电动汽车行业动态、全球经济环境等多维度信息，生成更全面的回答。

2.2 提升多跳推理能力

多跳推理任务需要模型连接多个分散的知识片段，传统 RAG 系统在这方面表现较差。长期记忆机制通过知识图谱（KG）结构支持多跳推理，能够逐步推导出答案，显著提升复杂查询的回答准确率。

示例：

• 查询：“苹果公司创始人史蒂夫·乔布斯的第一份工作是什么？”
• 传统 RAG：可能只能检索到“史蒂夫·乔布斯”或“苹果公司”的孤立信息，无法连接“第一份工作”这一关键点。
• HippoRAG 2：通过知识图谱中的关联关系，能够从“史蒂夫·乔布斯”节点跳转到“早期职业生涯”节点，最终找到“他在 Atari 公司工作”的答案。

2.3 避免灾难性遗忘

传统 RAG 系统在引入新知识时容易遗忘旧知识，导致回答问题时出现不一致或错误。长期记忆机制能够动态更新知识图谱，同时保留旧知识，避免灾难性遗忘，确保回答的准确性和一致性。

示例：

• 场景：某公司的产品价格在 2023 年进行了调整。
• 传统 RAG：可能仍然使用 2022 年的价格信息，导致回答错误。
• HippoRAG 2：通过长期记忆机制，能够动态更新价格信息，并确保回答时使用最新的数据。

2.4 提升关联性任务的准确率

传统 RAG 系统在处理关联性任务时表现不佳，难以连接分散的知识片段。长期记忆机制通过知识图谱中的“包含”关系和“上下文边缘”连接相关段落和短语，能够更好地捕捉知识片段之间的关联性，生成更准确的回答。

示例：

• 查询：“量子计算对人工智能的发展有什么影响？”
• 传统 RAG：可能只能检索到“量子计算”或“人工智能”的孤立信息，无法连接两者之间的关系。
• HippoRAG 2：通过知识图谱中的关联关系，能够整合“量子计算加速机器学习算法”等相关信息，生成更准确的回答。

2.5 动态适应复杂查询

复杂查询通常涉及多个子问题或隐含条件，传统 RAG 系统难以全面解析。长期记忆机制能够分层次解析复杂查询，逐步拆解并回答每个子问题，同时通过上下文感知能力理解查询中的隐含条件，生成更符合用户意图的回答。

示例：

• 查询：“如果特斯拉在中国建厂，会对美国本土的就业市场产生什么影响？”
• 传统 RAG：可能只能回答“特斯拉在中国建厂”或“美国就业市场”的孤立信息，无法连接两者之间的关系。
• HippoRAG 2：通过长期记忆机制，能够整合“特斯拉全球供应链”、“中国制造业成本优势”、“美国就业市场数据”等多维度信息，生成更全面的回答。

3. HippoRAG 2 解决的问题：从持续学习到关联性捕捉

3.1 持续学习的挑战

大语言模型在持续学习方面面临两大挑战：

• 新知识的吸收：模型难以高效地整合新知识。
• 灾难性遗忘：模型在学习新知识时容易遗忘旧知识。

3.2 传统 RAG 的局限性

尽管 RAG 已成为向 LLMs 引入新信息的主流方法，但其依赖向量检索的方式存在以下问题：

• 意义理解不足：难以解析复杂上下文。
• 关联性捕捉有限：无法有效连接分散的知识片段。
• 信息整合能力弱：现有 RAG 方法在处理多段落信息时表现不佳。

3.3 结构化增强 RAG 的权衡

现有的结构化增强 RAG 方法（如 GraphRAG、RAPTOR 等）虽然提升了意义理解和关联性，但在基础事实记忆任务上往往表现不佳。例如，HippoRAG 在大规模语篇理解任务上表现下降，而 RAPTOR 在简单和多跳问答任务上因噪声引入而性能大幅下降。

4. HippoRAG 2 的解决方案：神经生物学启发的创新设计

HippoRAG 2 通过以下关键改进解决了上述问题：

4.1 密集-稀疏信息整合

HippoRAG 2 将概念和上下文信息无缝整合到一个开放的**知识图谱（KG）**中，增强了索引的全面性和原子性。具体来说，它将短语节点作为概念的稀疏编码，并将密集编码（段落）整合到 KG 中，通过“包含”关系连接段落和短语。

4.2 更深层次的上下文感知

HippoRAG 2 利用 KG 结构实现更上下文感知的检索，而不仅仅依赖命名实体识别（NER）。它采用“查询到三元组”方法，通过整个查询链接 KG 中的三元组，从而更全面地理解查询意图。

4.3 识别记忆

HippoRAG 2 引入了识别记忆机制，通过 LLM 过滤检索到的三元组，确保其相关性。这一过程分为两步：

1. 查询到三元组：使用嵌入模型检索 KG 中的 top-k 三元组。
2. 三元组过滤：使用 LLM 过滤三元组并生成最终的三元组集合。

4.4 神经生物学启发

HippoRAG 2 的设计灵感来自人类长期记忆的结构，其组件模拟了新皮层（LLM）、 海马旁区（PHR 编码器） 和 海马体（开放 KG） 的功能。

4.5 整体流程

HippoRAG 2 的流程分为两部分：

• 离线索引：从段落中提取三元组并构建 KG。
• 在线检索：将查询链接到 KG 元素，过滤三元组，并使用个性化 PageRank（PPR）进行上下文感知检索。

5. 出色的实验结果：全面超越现有方法

5.1 综合评估

作者在多个基准上进行了实验，包括：

• 事实记忆：NaturalQuestions、PopQA。
• 意义理解：NarrativeQA。
• 关联性：MuSiQue、2Wiki、HotpotQA、LV-Eval。

5.2 卓越性能

HippoRAG 2 在所有基准类别上均优于标准 RAG 和其他结构化增强 RAG 方法。具体来说：

• 在关联性任务上，HippoRAG 2 比标准 RAG 平均提高了 7 个百分点。
• 在事实记忆和意义理解任务上，HippoRAG 2 不仅没有性能下降，反而略有提升。

5.3 鲁棒性

HippoRAG 2 对不同检索器和 LLM 表现出极强的鲁棒性，无论是开源还是专有 LLM 均可灵活使用。

5.4 关键结果

• 问答性能：HippoRAG 2 在多个基准上取得了最高的平均 F1 分数。
• 检索性能：在检索任务上，HippoRAG 2 同样表现优异。

5.5 消融实验

消融实验证实，HippoRAG 2 的每个组件都对其性能提升有显著贡献。例如，更深层次的上下文感知链接方法显著提高了性能。

6. 结论：HippoRAG 2 的未来与应用

HippoRAG 2 不仅适用于问答系统和知识管理，还可以广泛应用于客户服务、智能推荐和研发辅助等领域。未来，随着更多企业数据的接入和模型的进一步优化，HippoRAG 2 有望成为企业 AI 基础设施的核心组件。