在基于大模型进行智能问答的场景中，RAG已经成为当今的主流架构，而且经过这两年的发展RAG系统也经过多次迭代升级；但等到真正投入使用后才发现，智能问答系统好像并没有想象中的那么好用；即使接入了最好的模型，但效果依然不够理想，其生成结果依然不尽人意。
但事实上大模型作为一个可插拔的组件，虽然对生成结果有一定的影响，但并不是主要原因，主要原因在于文档召回率不足，以及对召回的文档没有做好处理。
大家可以想象一下，在一场历史的开卷考试中，你带了一本数学参考资料，这个开卷对你来说还有意义吗？RAG也是如此。
所以，我们今天就来深入探讨一下召回率的本质，以及如何构建一个结构化，内容丰富且高质量的知识库；以显著提升RAG系统的召回效果，从而增强问答系统的准确性和使用性。
什么是召回率？
在RAG检索增强系统中，召回率是指在真正相关的问答中，能够检索回来多少相关文档。
召回率计算公式:召回率 = 检索到的相关内容文档数量 ➗ 所有相关内容文档
举例来说以企业问答为例，假设你做了一个企业问答类的系统，知识库中是关于企业基本介绍，产品，营销等方面的文档。
然后用户咨询，你们公司是做什么的？
这时实际上与公司经营高度相关的内容可能有五条，但RAG系统只返回了三条，这时召回率就是百分之六十。
在RAG系统中，召回率是一项非常关键的指标，这玩意就类似于公司客服对企业越了解，用户咨询时才能回答的更好；因为大模型能不能“答对”，很大程度取决于有没有拿到相关内容。召回率越高，LLM 在生成答案时能参考的有效信息就越多，回答的质量和准确性也就越有保障。
事实上在RAG系统中，有很多种优化方案，包括问题改写，历史消息，重排序等；但事实上对RAG系统影响最大的一点还是知识库的构建，高质量的知识库能够大大增强系统的召回率，并减轻后续工作量。
因此，知识库构建才是RAG系统中最根本，也是最核心的基础设施。
召回率低，主要有以下几个原因：
知识覆盖不足：知识来源单一，不能全面覆盖业务所需的内容；以及过期知识不能及时删除，新知识不能及时更新等问题。
内容理解偏差：RAG系统需要对文档进行分块，语义化处理；但由于分块不合理，数据组织混乱，导致语义理解不清晰等问题。
结构策略粗糙：在构建知识库时不能合理规划元数据，缺少上下文信息等导致召回率不足。
那怎么提升知识库的质量，以此来间接提升召回率呢？
提高数据覆盖率
首先要提升知识库文档的覆盖率，召回准不准确先不说，如果都没有就不用谈召回问题了。
具体做法有：
汇聚多渠道的内容：介绍，产品说明，FAQ，工单等
支持多种接入方式：数据库，API，本地文档等
建立数据清理和更新机制：数据是有时效性的，因此过期的数据需要清除和更新
提升内容理解质量
分块策略合理
分块（Chunking） 是指将长文档切割成适合 RAG 检索的、更小的文本单元：
- 若分块太大：Embedding 过于抽象，无法命中具体问题。
在具体实践中，应考虑：
- 支持 Chunk Overlap，每块有一定重叠，如每 300 个 Token 滑动切，同时根据语义分段，召回命中率更高。
并且在适当的场景中可以选择多模态技术，以及知识图谱等新技术。
结构化向量数据
很多人在刚开始做RAG时，认为只需要把内容分块，但传统向量检索仅依赖 Embedding 相似度，虽具备语义匹配能力，但仍存在明显短板：向量相似但语义不相关的内容易被误召回。
结构化向量数据可以通过给向量库添加元数据的方式，如根据时间，部门，业务类型等对数据进行逻辑隔离；以及对文档内容进行标签提取，可有效补充传统的文档上下文不足等问题。
并且对于非结构化数据，可以使用markdown或html等这种半结构格式进行统一处理，防止多种格式带来的复杂问题。
并且，在后续过程中还可以根据这些元数据进行精准检索，过滤，排序等操作。
总之，在RAG系统中并不只是简单的把文档切割，embedding嵌入就可以实现一个高召回率的智能问答系统。做一个智能问答系统很简单，但想做好一个问答系统很不简单。
粤ICP备14082021号
免费POC，
零成本试错
