我们是不是拿着公司的项目预算做了两年所谓的技术研究？？

是的，两年前，GenAI刚爆发的时候，微调 / 向量 / 知识库这些词缀就已经进入大家的视野了，然而两年过去了，AI技术确实也越来越成熟了，我想问问大家，你们的RAG知识库项目建好了吗？效果超过基于上一代全文检索技术的知识库了吗？得到客户认可了吗？

在经手几个企业级RAG项目的优化咨询后，我开始怀疑：我们是不是集体掉进了一个概念性的技术陷阱？我们默认了GenAI时代一定要用与之匹配的技术，RAG（Retrieval-Augmented Generation，检索增强生成），直接抛弃了基于搜索技术的成熟知识库，因为：所有应用都值得用AI重做一遍[手动狗头]

但是，两年了，RAG真的有多少一线落地应用了？多少达到了项目的预期效果的？我们在做技术选型和工程落地的时候，可能需要更冷静的思考，我们真的需要基于RAG的知识库吗？他真的能达到用户的投入回报预期吗？

以下自测表，大家自行入座：

1. 「文档里明明白白写着的答案，你的RAG能命中几次？」

2. 「查询新冠/Covid-19/SARS-CoV-2...能搞得明白它们都是一个意思么？」

3. 「公司Q1和Q2的财报给你，能算出环比增长率吗？」

4. 「对比公司的产品A和产品B的性能参数，能给用户做推荐吗？」

5. 「提升了5%的准确率，你们烧了多少GPU？耗了多少人天？维护成本几何？」

我先旗帜鲜明的把观点放在这里：

RAG知识库，只是一个还不太成熟的技术实验室原型!! 而不是适合工程落地的成熟解决方案！！

我们最初对RAG知识库的预期是什么？
首先是，垂类的知识库，能补充大模型在特定领域的知识；
其次，我们期望它能将知识库的内容“内化”并进行更深层次的推理、比较和生成。以财报解读为例，我们期望的是我们存入RAG的知识就像是人阅读理解后并记入脑中，甚至进一步自动的对财报中的关键信息，例如收入、成本、利润、资产、负债、现金流等进行理解，并舍弃其中的众多无关紧要的干扰信息。

事实上，你一定已经沮丧的发现，它根本做不到！！

1. 1. 让人沮丧的命中率，明明知识库里面有的内容，它却总告诉你不知道不存在；
2. 2. 关联思维是根本不存在的，你说Covid19，希望它能把Covid19和新冠相关的信息都找出来，但是臣妾做不到啊！
3. 3. 你以为花了几倍的token消耗去应用GraphRAG，建立了知识图谱，这个问题应该可以解决了吧？还是一副死鱼样子……
4. 4. 于是你翻遍社区，有人告诉你要怎么去优化文档切片/语义分块，又突然看到可以拿用户实际的常用问题去做匹配性微调提高命中率，你一路试下来，不能说完全没有效果，只能说你又看到了一丝丝希望；
5. 5. 跑了一段时间，你拿着用户常见偏差场景的问答数据去做微调优化，由于你承担不起670b满血模型的微调成本，于是折中选择了70b，在踩了一堆坑，烧了一堆算力之后，看上去这些问题的命中率确实更好了，但很快用户开始抱怨以前还比较满意的回答，现在非常弱智；
6. 6. 回到最初的期望，当你的问题需要跨越多个文档片段、多个实体进行关联和推理才能得出答案（所谓的多跳问答），或者需要对知识进行复杂的比较、分析、总结甚至创造性地整合，你会发现RAG系统几乎完全失效。

一顿操作猛如虎，结果它还是一个笨拙的资料查找员，而不是一个能理解并利用资料进行思考的研究助理。所以你到底折腾落地了个啥？

这时候你告诉我，你这所谓的RAG比传统成熟基于全文检索的知识库方案高级在哪里？
高级在投入了大量的时间、算法专家、工程师以及硬件资源搞科研？还是为解决就业问题做出了卓越贡献？
还是高级在写PPT时，一句靓丽的我们应用了最先进的GenAI技术以及RAG知识库？

所以，你在你折腾了2年之后，是不是该回顾反思下，到底RAG是个正确的选择吗？你到底是在做科研还是做工程项目？你公司的技术团队是不是拿着项目预算在为社会做公益技术研究？

真相是什么？

其实吐槽的是狭义RAG，也就是基于向量RAG的方案，之所以会出现这些问题，其实是我们对向量数据库+大模型的组合产生了不切实际的技术幻觉。
向量数据库，它是基于语义匹配和向量相似度的数据存储方式，它的优势在于能够理解含义上的接近，即使使用的词汇完全不同（同义词、近义表达、上下位词等），不用像全文检索那样基于字符串匹配。

但从根本上而言，无论是全文检索知识库，还是向量知识库，都只是文档检索技术：根据条件去提供匹配的信息而已。而大家期望的深度理解，分析，推理能力，这些都是基于大模型的，而不是基于知识库的能力。向量数据库提供的那点语义匹配能力，远远无法做到匹及大家预期的深度理解和推理能力。

让你优化RAG效果的时候，你以为你要优化的只是向量数据库，但其实你做了一大堆，都是在给大模型的能力找补，很多巨头公司整个业界都未能解决好的问题，这么说你能理解你的投入和收效差异那么大了么？

当下比较靠谱的方案是什么？

其实，对于很多企业知识库问答、客服助手等场景，用户的需求往往是获取特定信息、理解某个概念或解决某个具体问题。能够准确、简洁地从已有知识中提取并呈现答案，通常就足够了。

而复杂的推理、多文档关联分析、创造性生成等，并非普遍需求，或者当下阶段并不是企业高投入回报比的项目选择。
对于这类更为普遍的场景，我推荐的是：基于大模型的问题预处理 + 全文检索知识库 + 基于大模型的案生成模块。

全文检索知识库，已经有快20年的技术沉淀，无论是算法还是工程解法方面都非常成熟，意味着更低的成本和更确定的收益预期。

1. 1. 基于大模型的问题预处理，该模块其实是对用户的原始请求做语义拆解。可以利用ReAct模式，对问题的原始问题进行处理，比如做意图识别，实体提取（识别和提取关键实体，如：产品名称、型号、零件号、日期、地点、人名等），进一步做关键词/约束提炼，进而生成多组搜索关键字。这个过程其实是模拟人在基于搜索引擎时代的思考过程。
2. 2. 全文检索知识库，这部分可以是企业内部的私域知识库，也可以是通用的搜索引擎，如Google，Baidu之类，也可以是行业垂类知识库，比如我曾用过美国国家医学图书馆的PubMed来对接AI医生，效果就非常好。
3. 3. 基于大模型的案生成模块，收集所有检索返回的资料作为上下文，再结合用户的问题进行回答，可以根据企业业务的自身场景诉求再进一步优化。
4. 4. 也可以基于历史常见问题，在问题预处理阶段进行有针对性的优化，干预检索的准确性，而不需要去做微调训练，同样能达到较好的结果。

而且在实际应用中，基于向量数据库的方案，通常更倾向于返回精准匹配的；而全文检索系统最初的设计初衷是为了找到文档，所以通常会返回整个文档或大段落或页面，因此在实际效果方面，甚至会显著优于基于向量数据库方案（当然也可能带来更多的干扰信息）

展望

我其实不是质疑RAG是一条错误的方向，这是一条值得整个业界尤其是大公司去探索的正确方向，但绝对不是当下合适的工程落地方案。从趋势而言，全文检索和向量数据库结合已经成为趋势，被称之为Hybrid Search，而真正要实现我们预期的深度理解、分析和推理能力，这可能要借助Agent模式的介入，即Agentic RAG：任务分解 -> 知识检索 -> 信息整合 -> 思考与行动规划 -> 结果评估与优化，其实目前业界各家都在推出的DeepRearch就是这样的方案了，但企业真的需要这样的知识库吗？