我要投稿

Anthropic RAG: 上下文检索技术

发布日期：2024-10-06 13:14:37 浏览次数： 2353

作者：NLP轻松谈

微信搜一搜，关注“NLP轻松谈”

RAG 系统通常用于增强 AI 模型的特定领域知识。传统 RAG 方法在编码信息时会丢失上下文,导致检索失败率较高。

"上下文检索" (Contextual Retrieval) 用于改进 RAG 系统中的检索步骤,通过结合语义嵌入和精确匹配技术,显著提高了 RAG 系统的检索准确性,从而提升了 AI 模型在特定领域任务中的表现。

1

传统 RAG 系统工作流程

将知识库分割成小块文本
使用嵌入模型将文本块转换为向量
将向量存储在向量数据库中
运行时,根据用户查询检索相关文本块
将检索到的文本块添加到提示中

BM25

BM25作为补充检索技术。BM25 基于词频-逆文档频率 (TF-IDF) 概念,能够进行精确的词语匹配,特别适用于包含唯一标识符或技术术语的查询。
BM25通过考虑文档长度并将饱和函数应用于术语频率来改进这一点，这有助于防止常用词在结果中占主导地位。

结合嵌入和 BM25 的改进 RAG 系统:

分割知识库为小块文本
为文本块创建 TF-IDF 编码和语义嵌入
使用 BM25 查找基于精确匹配的顶级块
使用嵌入查找基于语义相似性的顶级块
合并并去重(c)和(d)的结果
将顶级 K 个块添加到提示中

2

上下文检索

上下文检索通过在嵌入之前为每个块预置特定于块的解释上下文（“上下文嵌入”）并创建 BM25 索引（“上下文 BM25”）来解决这个问题。

文章使用 Claude 3 Haiku 来获取特定于块的上下文，prompt如下:

<document> 
{{WHOLE_DOCUMENT}} 
</document> 
Here is the chunk we want to situate within the whole document 
<chunk> 
{{CHUNK_CONTENT}} 
</chunk> 
Please give a short succinct context to situate this chunk within the overall document for the purposes of improving search retrieval of the chunk. Answer only with the succinct context and nothing else.

实验结果

上下文嵌入将前 20 个块的检索失败率降低了 35%
结合上下文嵌入和上下文 BM25 将前 20 个块的检索失败率降低了 49%

通过重排可以进一步提高性能。

Reranked 上下文嵌入和上下文 BM25 将前 20 个块的检索失败率降低了 67% （5.7% → 1.9%）。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-02-22

不用向量数据库的 RAG，居然跑得更准了？

2026-02-22

AIOps探索：做运维领域的RAG，如何做数据清洗

2026-02-21

Claude Code 每次都要重新探索代码？这个工具直接省下30%成本

2026-02-18

函数计算 AgentRun 重磅上线知识库功能，赋能智能体更“懂”你

2026-02-15

当RAG遇上Agent记忆：为什么相似度检索会"塌方"？

2026-02-15

查个问题还要全图跑一遍？DA-RAG说我只取一瓢

2026-02-14

OpenClaw 终于能"记住"事了！我花了 3 周折腾出的长期记忆系统

2026-02-13

深度解析 PageIndex：无向量 RAG 框架的技术实现与原理剖析

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

RAG 深度解读：检索增强生成如何改变人工智能

2025-12-04

2026 年你需要了解的 RAG 全解析

2026-01-15

大模型RAG入门宝典｜从AI搜索到实战搭建，小白&程序员必收藏的检索增强指南

2025-12-03

企业级 AI Agent规模化落地的避坑指南，就藏在这四大趋势里

2025-12-02

如何用NotebookLM，把枯燥的财报解读成精美的PPT？

2026-01-02

为什么Claude Code不用RAG？

2025-12-23

Embedding模型选型思路：相似度高不再代表检索准确（文末附实战指南）

2025-12-07

开源：我们复刻了OpenClaw的mem系统，为所有Agent打造透明、可控的记忆

2026-02-11

从 RAG 到 Context：2025 年 RAG 技术年终总结

2025-12-18

告别向量数据库！PageIndex：让AI像人类专家一样阅读长文档

2026-02-03

大家都在问

不用向量数据库的 RAG，居然跑得更准了？

2026-02-22

当RAG遇上Agent记忆：为什么相似度检索会"塌方"？

2026-02-15

Claude Cowork 真能替换 RAG ？

2026-02-04

使用 Agent Skills 做知识库检索，能比传统 RAG 效果更好吗？

2026-02-03

为什么 RAG 越用越慢？如何反向调优？

2026-01-19

NotebookLM如何在48小时内分析2万份论文？

2026-01-12

都有混合检索与智能路由了，谁还在给RAG赛博哭坟？

2026-01-08

如何用NotebookLM，把枯燥的财报解读成精美的PPT？

2026-01-02

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部