支持私有化部署
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


RAG相关术语快速了解

发布日期:2025-05-30 06:41:46 浏览次数: 1546 作者:灵矩Lab
推荐语

快速掌握RAG技术核心术语,深入了解检索增强生成的架构和应用。

核心内容:
1. RAG架构核心组成及其术语含义
2. Embedding与向量检索技术详解
3. 生成与上下文控制的关键术语
4. 相关技术与模式介绍

杨芳贤
53A创始人/腾讯云(TVP)最具价值专家

RAG (Retrieval-Augmented Generation),检索增强生成

一、RAG架构核心组成


术语
含义
Retriever(检索器)
负责从外部知识库中查找与用户问题相关的文档或片段(如向量数据库中的Top-k检索)。
Generator(生成器)
通常是大型语言模型(如GPT、T5),利用检索到的信息生成最终回答。
Index(索引)
检索系统的核心数据结构,用于快速查找文档。一般为向量索引。
Knowledge Base / Corpus(知识库 / 文档库)
存储结构化或非结构化知识的内容集合,RAG系统会从中检索相关信息。


二、Embedding与向量检索


术语
含义
Embedding(嵌入表示)
把文本转化为向量,用于语义比较和检索。
Dense Retrieval(稠密检索)
使用语义向量(如DPR、BERT)进行文本检索,优于传统TF-IDF方法。
Vector Store(向量数据库)
用于存储文档向量的数据库,如FAISS、Pinecone、Milvus、Weaviate等。
ANN(Approximate Nearest Neighbor)
一种高效查找相似向量的算法,常用于大规模向量检索。


三、检索技术


术语
含义
DPR(Dense Passage Retrieval)
Facebook提出的稠密检索方法,训练了Query Encoder和Passage Encoder。
BM25
一种经典的基于词频的稀疏文本检索算法,传统搜索引擎常用。
Hybrid Retrieval(混合检索)
同时结合稀疏检索(如BM25)和稠密检索(如DPR)结果,提高召回率。


四、生成与上下文控制


术语
含义
Context Window(上下文窗口)
LLM能处理的最大输入长度,超出后会截断。
Chunking(分块)
将长文档切分为小块(chunks)以适应检索与上下文窗口限制。
Top-k Retrieval
返回与查询最相关的前k个文档块或片段。
Prompt Engineering
设计提示词,以更好地引导语言模型利用检索内容生成答案。
Grounding
保证生成内容基于真实检索结果,而非幻想(hallucination)。


五、相关技术与模式


术语
含义
Reranking(重排序)
对初步检索结果再次打分排序,提升质量。
Query Expansion(查询扩展)
通过添加同义词、上下义词等方式增强查询效果。
Multi-hop Retrieval
支持跨多个文档或查询步骤的复杂问题解答。
Fusion-in-Decoder(FiD)
Google提出的一种生成架构,融合多个检索文档到decoder中。
Retriever-Reader Architecture
检索器+阅读器的传统问答架构,是RAG的前身。


六、RAG部署相关


术语
含义
Cold Start
系统首次运行时缺少有效检索结果或嵌入表示的问题。
Latency(延迟)
检索+生成的总耗时,是RAG系统优化的重点之一。
Caching
将常见检索或生成结果缓存,提升性能。
Incremental Indexing
支持新增文档时无需重建整个索引的机制。



53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询