RAG 知识库核心模块全解（产品视角 + 技术细节）

“关于知识库这块，你有什么能讲的吗？”我一脸懵逼，数据咋清洗，数据格式咋定的不是刚说完吗？？🤔复盘了一下，感觉应该是想问下面这些

🧱 1. 文档切分策略（切得好，才能召回准）

🌟 目标：

把长文档切成合适的语义段，既能保证上下文连贯，又不超出 token 限制。

📌 常见策略：

🧰 推荐做法：

用 langchain.text_splitter 中的 RecursiveCharacterTextSplitter（递归+分隔符）：

from langchain.text_splitter import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=500, chunk_overlap=100,
    separators=["\n\n", "\n", ".", " ", ""]
)
chunks = splitter.split_text(your_text)

💡 坑点：

• chunk 太短 → 表达不完整
• chunk 太长 → embedding稀释，token溢出
• overlap 必须控制好，100左右比较稳

🧬 2. 向量生成（embedding）

🌟 目标：

把文本片段转化为模型能理解的向量（embedding），进入语义空间。

📌 常见 embedding 模型：

🛠️ 示例代码：

from sentence_transformers import SentenceTransformer
model = SentenceTransformer("bge-base-zh")

emb = model.encode("鼠标断连怎么解决")

🔥 记得用 BGE 模型要加 prompt：“为这个句子生成表示以用于检索相关文档：xxxx”

🔍 3. 向量库选择（存储+召回）

🌟 目标：

将 embedding 存入可快速近似搜索的数据库中，用于后续查询。

📌 常见库：

🛠️ 示例：FAISS 本地构建

import faiss
import numpy as np

index = faiss.IndexFlatIP(768)  # 余弦相似度
index.add(np.array([vec1, vec2, vec3]))  # vec 是 np.array 的向量

D, I = index.search(np.array([query_vec]), top_k)

🎯 4. 检索策略：向量、关键词、混合召回

🌟 目标：

提高召回的准度和覆盖率。

📌 召回方式对比：

📌 混合召回核心是：关键词召回召不准 → 靠语义补；语义召回太泛 → 靠关键词兜底

🧠 常用组合：

• 关键词召回 top30 + 向量召回 top30 → 合并 → rerank top10

🧠 5. Rerank 排序（二次排序）

🌟 目标：

提高最终召回片段的相关性排序，降低误召回风险。

📌 推荐模型：

🛠️ 示例伪代码：

score = reranker(query, [chunk1, chunk2, chunk3])
ranked = sorted(zip(score, chunks), reverse=True)

🧩 6. Prompt 拼接策略（上下文注入）

🌟 目标：

将检索到的内容+用户问题组织成 Prompt 喂给 LLM。

📌 模板示例：

你是某品牌客服助手，以下是产品说明文档内容：

【知识片段】
1. 鼠标若断连，请检查电量或更换接收器
2. 鼠标灯不亮通常为电池电量低

用户提问：
鼠标今天怎么又断连了？

请基于上方知识内容回答。

🧠 控制点：

• 控制 token 长度：太多片段 LLM 会截断
• 用 CONTEXT_WINDOW = 3500 控制拼接字数
• 多段知识片段要用编号或分隔符 ---，降低混淆

❌ 7. 检索失败处理机制（没命中咋办）

🌟 目标：

保证系统在没有命中知识时，不答错，不胡说。

📌 建议处理方式：

end