我要投稿

Anthropic RAG: 上下文检索技术

发布日期：2024-10-06 13:14:37 浏览次数： 2441

作者：NLP轻松谈

微信搜一搜，关注“NLP轻松谈”

RAG 系统通常用于增强 AI 模型的特定领域知识。传统 RAG 方法在编码信息时会丢失上下文,导致检索失败率较高。

"上下文检索" (Contextual Retrieval) 用于改进 RAG 系统中的检索步骤,通过结合语义嵌入和精确匹配技术,显著提高了 RAG 系统的检索准确性,从而提升了 AI 模型在特定领域任务中的表现。

1

传统 RAG 系统工作流程

将知识库分割成小块文本
使用嵌入模型将文本块转换为向量
将向量存储在向量数据库中
运行时,根据用户查询检索相关文本块
将检索到的文本块添加到提示中

BM25

BM25作为补充检索技术。BM25 基于词频-逆文档频率 (TF-IDF) 概念,能够进行精确的词语匹配,特别适用于包含唯一标识符或技术术语的查询。
BM25通过考虑文档长度并将饱和函数应用于术语频率来改进这一点，这有助于防止常用词在结果中占主导地位。

结合嵌入和 BM25 的改进 RAG 系统:

分割知识库为小块文本
为文本块创建 TF-IDF 编码和语义嵌入
使用 BM25 查找基于精确匹配的顶级块
使用嵌入查找基于语义相似性的顶级块
合并并去重(c)和(d)的结果
将顶级 K 个块添加到提示中

2

上下文检索

上下文检索通过在嵌入之前为每个块预置特定于块的解释上下文（“上下文嵌入”）并创建 BM25 索引（“上下文 BM25”）来解决这个问题。

文章使用 Claude 3 Haiku 来获取特定于块的上下文，prompt如下:

<document> 
{{WHOLE_DOCUMENT}} 
</document> 
Here is the chunk we want to situate within the whole document 
<chunk> 
{{CHUNK_CONTENT}} 
</chunk> 
Please give a short succinct context to situate this chunk within the overall document for the purposes of improving search retrieval of the chunk. Answer only with the succinct context and nothing else.

实验结果

上下文嵌入将前 20 个块的检索失败率降低了 35%
结合上下文嵌入和上下文 BM25 将前 20 个块的检索失败率降低了 49%

通过重排可以进一步提高性能。

Reranked 上下文嵌入和上下文 BM25 将前 20 个块的检索失败率降低了 67% （5.7% → 1.9%）。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-04-10

AI 答疑助手优化实践：从 RAG 到 LightRAG 的全链路升级

2026-04-09

阿里云百炼「记忆库」正式上线，让龙虾真正记住你！

2026-04-09

用Karpathy的设计哲学重构龙虾助手的知识库架构

2026-04-08

AI数据工程师在应用中如何"返璞归真"

2026-04-08

AIOps探索：分享一套保障100%准确率的告警知识检索方案

2026-04-06

全网爆火的大模型AI知识库，保姆级教程来了

2026-04-02

RAG进化了，深扒Claude Code源码中RAG高级技巧

2026-04-01

Claude Code 源码一夜流出：会看热闹的人很多，会读源码的人很少

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

2026 年你需要了解的 RAG 全解析

2026-01-15

深度解析 PageIndex：无向量 RAG 框架的技术实现与原理剖析

2026-02-13

使用 Agent Skills 做知识库检索，能比传统 RAG 效果更好吗？

2026-02-03

告别向量数据库！PageIndex：让AI像人类专家一样阅读长文档

2026-02-03

RAG 落地全干货深度分享：从“效果不理想”到生产级 RAG 系统的进化之路

2026-02-06

OpenViking：面向 Agent 的上下文数据库

2026-02-02

今天，分享Clawdbot记忆系统最佳工程实践

2026-01-28

告别“伪智能”代码：用 Spec + RAG 打造真正懂你的AI程序员

2026-02-06

从 RAG 到 Agentic Search，一次关于信任 AI 判断的认知升级

2026-02-05

效率神器 Claude-Mem：终结 AI “金鱼记忆”！自动保存上下文、可视化记忆流，开发体验提升 10 倍！

2026-02-06

大家都在问

企业AI落地三重门，用友如何破局？

2026-03-17

Embedding相似度虚高，如何用langchain+Milvus搭建CRAG解决？

2026-03-11

不用向量数据库的 RAG，居然跑得更准了？

2026-02-22

当RAG遇上Agent记忆：为什么相似度检索会"塌方"？

2026-02-15

Claude Cowork 真能替换 RAG ？

2026-02-04

使用 Agent Skills 做知识库检索，能比传统 RAG 效果更好吗？

2026-02-03

为什么 RAG 越用越慢？如何反向调优？

2026-01-19

NotebookLM如何在48小时内分析2万份论文？

2026-01-12

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部