推荐语
快速掌握RAG技术核心术语，深入了解检索增强生成的架构和应用。
核心内容：
1. RAG架构核心组成及其术语含义
2. Embedding与向量检索技术详解
3. 生成与上下文控制的关键术语
4. 相关技术与模式介绍
杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
RAG (Retrieval-Augmented Generation)，检索增强生成
一、RAG架构核心组成
| |
|---|
| Retriever（检索器） | 负责从外部知识库中查找与用户问题相关的文档或片段（如向量数据库中的Top-k检索）。 |
| Generator（生成器） | 通常是大型语言模型（如GPT、T5），利用检索到的信息生成最终回答。 |
| Index（索引） | 检索系统的核心数据结构，用于快速查找文档。一般为向量索引。 |
| Knowledge Base / Corpus（知识库 / 文档库） | 存储结构化或非结构化知识的内容集合，RAG系统会从中检索相关信息。 |
二、Embedding与向量检索
| |
|---|
| Embedding（嵌入表示） | |
| Dense Retrieval（稠密检索） | 使用语义向量（如DPR、BERT）进行文本检索，优于传统TF-IDF方法。 |
| Vector Store（向量数据库） | 用于存储文档向量的数据库，如FAISS、Pinecone、Milvus、Weaviate等。 |
| ANN（Approximate Nearest Neighbor） | 一种高效查找相似向量的算法，常用于大规模向量检索。 |
三、检索技术
| |
|---|
| DPR（Dense Passage Retrieval） | Facebook提出的稠密检索方法，训练了Query Encoder和Passage Encoder。 |
| BM25 | 一种经典的基于词频的稀疏文本检索算法，传统搜索引擎常用。 |
| Hybrid Retrieval（混合检索） | 同时结合稀疏检索（如BM25）和稠密检索（如DPR）结果，提高召回率。 |
四、生成与上下文控制
| |
|---|
| Context Window（上下文窗口） | |
| Chunking（分块） | 将长文档切分为小块（chunks）以适应检索与上下文窗口限制。 |
| Top-k Retrieval | |
| Prompt Engineering | 设计提示词，以更好地引导语言模型利用检索内容生成答案。 |
| Grounding | 保证生成内容基于真实检索结果，而非幻想（hallucination）。 |
五、相关技术与模式
| |
|---|
| Reranking（重排序） | |
| Query Expansion（查询扩展） | |
| Multi-hop Retrieval | |
| Fusion-in-Decoder（FiD） | Google提出的一种生成架构，融合多个检索文档到decoder中。 |
| Retriever-Reader Architecture | |
六、RAG部署相关
| |
|---|
| Cold Start | |
| Latency（延迟） | |
| Caching | |
| Incremental Indexing | |
粤ICP备14082021号
免费POC，
零成本试错
