写在前面
在大模型应用开发领域，RAG技术栈在其中具有很重要的地位，本文主要通过介绍带大家了解一下什么是RAG技术，RAG技术栈的整体流程，希望对于想要学习RAG技术的你提供帮助。
什么是RAG
RAG，全称为Retrieval-Augmented Generation（检索增强生成），是一种结合了 “信息检索” 与 “生成式 AI” 的混合 AI 技术。它的核心目标是解决传统大语言模型（LLM，如 GPT、LLaMA 等）的两大关键局限 ——知识时效性不足和事实准确性偏差（幻觉），通过 “先检索外部权威信息，再基于检索结果生成回答” 的逻辑，让 AI 输出更精准、更具时效性和可信度的内容。
为什么需要RAG
传统 LLM（如 GPT、LLaMA）因自身特性，难以满足实际场景需求，具体局限如下：
- 1. 知识过时且固定：仅包含训练数据截止前的 “静态知识”，无法获取实时或者最新信息；
- 2. 易产生 “幻觉”：基于概率生成 “听起来合理” 的内容，可能编造事实、混淆信息，且无法验证回答准确性；
- 3. 无法对齐私有 / 场景化需求：训练数据是通用公开内容，无法调用企业内部文档、个人笔记、行业专属资料等 “私有知识”。
RAG的核心
| | | |
| 知识数据源 | | 结构化数据（MySQL、PostgreSQL）、非结构化数据（PDF、TXT）、API 接口（如新闻 API） | |
| 文档分割器（Chunkers） | | LangChain（RecursiveCharacterTextSplitter）、Haystack（SentenceSplitter） | |
| Embedding 模型 | | 闭源：OpenAI Embedding、Anthropic Embedding；开源：Sentence-BERT、BERT-Chinese | |
| 向量数据库 | | 闭源：Pinecone、Weaviate、Qdrant（托管版）；开源：FAISS（轻量）、Milvus（大规模） | |
| 大语言模型（LLM） | | 闭源：GPT-4、文心一言、通义千问；开源：Llama 3、Mistral、Qwen | |
RAG步骤
RAG大概分为两个步骤：知识库构建和知识库的使用，下面将对这两个步骤进行详细介绍。
1.知识库的构建
该阶段为后续在线响应做准备，核心是将原始数据转化为结构化、高检索效率的知识索引，避免在线时重复处理数据导致延迟，共 4 个关键步骤：
- 1. 数据采集与清洗：收集目标领域的知识源（如 PDF、文档、数据库表、网页文本等），去除冗余（重复内容）、修正错误（乱码、格式问题），保证数据质量；
- 2. 文档分割（Chunking）：按 “语义完整 + 适配 LLM 上下文窗口” 原则，将长文档拆分为片段（Chunk），常用策略包括 “固定长度分割（带前后文重叠）” 或 “语义分割（按段落 / 章节）”，避免语义断裂；
- 3. 文本向量化（Embedding）：用 Embedding 模型（如 OpenAI Embedding、Sentence-BERT）将每个 Chunk 转化为数值向量，把 “语义相似性” 转化为 “向量空间距离”，为检索做准备；
- 4. 构建向量索引：将所有 Chunk 的向量存入向量索引结构（如 FAISS、Milvus、Pinecone），替代 “暴力遍历”，实现毫秒级相似性检索。
2. 知识库的使用
该阶段是 RAG 与用户交互的核心，实时根据用户查询匹配知识并生成可靠答案，共 5 个关键步骤：
- 1. 用户查询理解：优化原始查询（如纠错、提取关键词、扩展同义词），明确检索目标（例：将 “2024 新能源车销量同笔增长” 修正为 “2024 中国新能源汽车销量同比增长”）；
- 2. 相似性检索：将优化后的查询转化为向量，通过向量数据库检索 “距离最近” 的 Top-N 个相关 Chunk（即与问题最匹配的外部知识），部分场景会结合关键词检索（如 BM25）做 “混合检索”；
- 3. 知识过滤与排序：二次筛选检索结果（去除重复、无关内容），并用轻量模型（如 Cross-Encoder）重新排序，提升知识精准度；
- 4. Prompt 构建：将 “用户查询 + 筛选后的相关 Chunk + 指令（要求答案仅来自参考知识）” 组合成 LLM 可理解的 Prompt；
- 5. LLM 生成与输出：将 Prompt 输入 LLM（如 GPT-4、Llama 3），模型基于检索到的外部知识生成答案，可选标注知识来源以提升可追溯性。
RAG相关的技术栈
1.知识源与数据处理层
该层负责将非结构化（文本、PDF 等）、半结构化（表格、JSON 等）数据转化为机器可理解的 “检索友好型” 格式，是 RAG 的 “知识储备基础”。
| | |
| 数据采集工具 | - 网络爬虫：Scrapy、Beautiful Soup、Selenium - 文档解析：PyPDF2、pdfplumber、Unstructured - 数据库连接：SQLAlchemy（关系型）、PyMongo（非结构化） | 从网页、本地文档（PDF/Word/PPT）、数据库中采集原始知识数据，解决 “知识从哪来” 的问题。 |
| 数据清洗与预处理 | - 文本清洗：NLTK、spaCy（去停用词、标点） - 格式标准化：LangChain DocumentLoader、LlamaIndex Reader - 数据去重：SimHash、MinHash | 去除噪声数据（如乱码、重复内容），统一数据格式，为后续分词、嵌入做准备。 |
| 数据结构化处理 | - 信息抽取：spaCy（实体识别）、AllenNLP（关系抽取）、LangChain StructuredTool - 表格处理：Pandas、Tabula（PDF 表格提取） | 将非结构化文本中的关键信息（实体、关系、事件）或半结构化表格转化为结构化数据，提升检索精度。 |
2.向量工程层
该层通过 “向量嵌入（Embedding）” 将文本转化为高维向量，再通过向量数据库存储和索引，是 RAG “快速找到相关知识” 的关键
| | |
| 向量嵌入模型 | - 通用模型：OpenAI Embedding（text-embedding-3-small）、Sentence-BERT（all-MiniLM-L6-v2） - 领域模型：BioBERT（医疗）、CodeBERT（代码）、ERNIE（中文） | 将文本（句子 / 段落）转化为语义向量，确保 “语义相似的文本向量距离近”，支撑语义检索（而非关键词匹配）。 |
| 向量数据库 | - 开源：Milvus、Chroma、FAISS（轻量）、Qdrant、Weaviate - 商业：Pinecone、Weaviate Cloud、Zilliz Cloud | 专门存储向量数据，提供高效的近似最近邻（ANN）检索能力（如 IVF、HNSW 索引），解决 “百万级向量快速匹配” 问题。 |
| 向量索引优化 | - 索引算法：HNSW（高召回）、IVF-Flat（高精度）、FAISS IVF-PQ（压缩存储） - 量化技术：Scalar Quantization、Product Quantization | 通过索引算法降低检索时间复杂度，通过量化技术减少向量存储占用，平衡 “检索速度” 与 “精度”。 |
3.检索策略层
该层负责设计 “从向量库中筛选相关知识” 的逻辑，不仅依赖语义向量，还通过多策略优化确保 “找得准、找得全”。
| | |
| 基础检索方法 | - 语义检索：基于向量数据库的 ANN 检索 - 关键词检索：Elasticsearch、Solr（倒排索引） - 混合检索：Elasticsearch + 向量插件（如 ES-HNSW） | 语义检索解决 “意图匹配”，关键词检索解决 “精确术语匹配”，混合检索结合两者优势（如 “糖尿病” 语义匹配 +“胰岛素” 关键词过滤）。 |
| 高级检索策略 | - 多轮检索（Multi-turn Retrieval）：LangChain RetrievalQAWithSourcesChain - 分层检索（Hybrid Hierarchical）：先粗筛文档→再精筛段落 - 重排序（Reranking）：Cross-Encoder（BERT-based）、Cohere Rerank API | 多轮检索通过用户追问迭代优化结果；分层检索降低计算成本；重排序对初筛结果二次打分（如 “相关段落排前”），提升精度。 |
| 检索过滤机制 | - 元数据过滤：LangChain MetadataFilters（按 “文档类型 / 发布时间” 筛选） - 权限过滤：Milvus Access Control、Weaviate Auth | 基于业务需求筛选知识（如 “只检索 2023 年后的医疗文献”），或控制知识访问权限。 |
4.生成与增强层
该层是 RAG 的 “输出端”，负责将检索到的知识与大模型结合，生成 “有依据、无幻觉” 的回答。
| | |
| 基础大模型（LLM） | - 开源模型：Llama 3（70B）、Mistral 8x7B、Qwen-72B - 闭源 API：GPT-4o、Claude 3、Gemini 1.5 | 提供 “理解检索知识 + 生成自然语言回答” 的核心能力，开源模型适合私有化部署，闭源 API 适合快速验证。 |
| 提示工程（Prompt Engineering） | - 提示模板：LangChain PromptTemplate、LlamaIndex Prompt - 思维链（CoT）：Few-shot CoT、Zero-shot CoT - 知识注入：将检索到的 “知识片段 + 来源” 嵌入 Prompt | 通过模板规范输入（如 “基于以下知识回答：{retrieved_context}\n 问题：{user_question}”），通过 CoT 引导 LLM 逻辑推理，减少 “幻觉”。 |
| 回答增强技术 | - 来源引用：LangChain CitationQATool、LlamaIndex CitationGenerator - 多模态生成：GPT-4o Vision（结合图片知识）、Gemini Pro（文本 + 图片） | 为回答添加 “知识来源标注”（如 “参考文档 1：XXX”），提升可信度；支持多模态知识（图片、表格）的生成融合。 |
5.系统集成与框架层
该层提供 “开箱即用” 的 RAG 全流程框架，封装数据处理、检索、生成等模块，简化工程落地难度。
| | |
| 全流程 RAG 框架 | - LangChain：最流行框架，支持 “DocumentLoader→Embedding→Retriever→LLM” 全链路，生态丰富（插件 / 工具多） - LlamaIndex：专注 “知识索引”，优化长文档检索（如自动分块），适合复杂知识图谱场景 - Haystack：模块化设计，支持 Pipeline 可视化，适合工业级部署 | 无需从零开发，通过调用框架 API 快速搭建 RAG 原型（如 LangChain 5 行代码实现基础 RAG）。 |
| 低代码 / 可视化工具 | - Flowise：LangChain 可视化拖拽平台 - LlamaIndex Chat Engine：开箱即用的 RAG 对话界面 - Steamship：托管式 RAG 平台，支持一键部署 | 非技术人员可通过拖拽配置 RAG 流程；托管平台减少服务器部署、模型运维成本。 |
| 多模态 RAG 框架 | - LlamaIndex MultiModalReader、LangChain MultiModalPromptTemplate - Florence-2（微软）、mPLUG-Owl（多模态理解） | 支持图片、音频、视频等非文本知识的检索与生成（如 “检索产品图片 + 生成使用说明”）。 |
6.评估与运维层
该层负责监控 RAG 系统的 “检索精度”“生成质量” 和 “运行效率”，持续优化系统性能。
| | |
| 效果评估指标 | - 检索评估：Recall@k（前 k 个结果是否包含正确知识）、Precision@k（前 k 个结果的准确率） - 生成评估：ROUGE-L（与标准答案的相似度）、BLEU（流畅度）、Faithfulness（无幻觉率，如 Factuality Score） | 量化 RAG 效果（如 “Recall@5=90%” 表示前 5 个检索结果 90% 包含正确知识），定位优化点。 |
| 评估工具 | - RAGAs（开源）：专门评估 RAG 的 “检索相关性、生成忠实度、回答有用性” - TruLens：监控 RAG 全链路（检索→生成），支持归因分析 - Hugging Face Evaluate：提供 ROUGE、BLEU 等标准化评估函数 | 自动化评估 RAG 系统，替代人工打分（如 RAGAs 可批量测试 1000 个问题的无幻觉率）。 |
| 运维与监控 | - 模型监控：Prometheus + Grafana（监控 LLM 响应时间、向量检索耗时） - 日志管理：ELK Stack（Elasticsearch+Logstash+Kibana） - 迭代优化：LangSmith（LangChain 生态，跟踪 Prompt / 检索结果迭代） | 实时监控系统响应速度、错误率；通过日志定位 “检索失败”“生成幻觉” 的原因；记录迭代历史。 |
粤ICP备14082021号
免费POC，
零成本试错
