RAG的产品形态

随着RAG技术的发展和演变，RAG产生了Naive RAG、Advanced RAG、Modular RAG。

Naive RAG

Advanced RAG 

Modular RAG

RAG产品建设路径

RAG整理业务链路划分为5个步骤：知识生产加工、query改写、数据召回、后置处理以及大模型生产；

第一阶段：可运行

• 知识生产与加工：

• 支持问答对类型；‍‍‍
• 支持长文本类型：先按照固定字符切分，预留冗余字段保证语义不被截断；

• query改写：结合上下文，使用大模型理解能力，更好回答用户问题；
• 数据召回：实现向量召回，找到契合的embedding模型和向量数据库。
• 数据后置处理：设置符合业务预期的阈值筛选数据，主要是文本匹配度和召回数；

第二阶段：提效果

• 知识生产与加工：

• 按照语义进行切分，将上下文联系紧密的句子切分成一个片段；
• 根据数据索引情况，分析索引噪音，制定降噪策略；

• query改写：

• 根据用户query生成多相似query检索数据；
• 多任务query抽取，将用户的query拆解为多个任务query；

• 数据召回：

• 根据业务场景探索向量、分词、图谱召回的能力；

• 数据后置处理：

• 数据去重合并；
• 多路召回结果重排能力；

第三阶段：高扩展

• 功能模块化建设：

• 建设通用模块能力，方便业务接入组合不同的RAG检索系统，满足业务效果。

• 回答能力建设：

• 问答的调试预览；
• 回答过程白盒化；
• 基于问题和回答的问题推荐；

• 数据质量差导致检索效果差：检索阶段的输出影响生成阶段的输入和最终的输出质量。RAG数据库中存在大量的错误信息并检索到，可能导致模型生成的错误，即使在检索阶段做大量工作，可能对结果的影响也微乎其微。
• 数据向量化的信息缺失：数据向量化缺失可能会导致一定程度的信息损失，文本数据的复杂性和多样性很难用有限的向量来完全表达，导致向量化后可能会缺失一些文本数据的细节和特征，从而影响文档检索的准确率。
• 语义搜索的不准确：语义检索利用向量空间中的距离和相似度来进行检索，准确率无法100%保障。

结语‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

RAG问答系统搭建做出来比较容易，但想做好比较难的，流程中的每一个步骤都有可能对最终效果产生影响。在RAG中需要做大量的探索如不同文档的切分方式、query改写策略、数据如何找回等等。面向企业的知识更有很多难点需要解决，企业中有不同的部门，同一个部门有不同的角色，对应的知识的权限不同，以及还涉及到外部合作伙伴的权限，在不同的权限交互下，处理起来非常复杂。因此做好一个企业内部的RAG智能问答任重而道远。