Dify 基础篇| 深度解读 RAG：为什么需要混合检索？

推荐语

深入解读RAG混合检索技术，探索AI的奥秘！

核心内容：
1. RAG架构与向量检索技术原理
2. 向量检索技术优势与应用场景
3. 混合检索的概念、优势和实践应用

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

在 RAG（Retrieval-Augmented Generation）架构中，检索环节的核心方法之一是向量检索。向量检索的技术原理是通过将外部知识库中的文档切分成语义完整的段落或句子，并将这些段落通过嵌入（Embedding）转化为计算机可以理解的多维向量，接着也将用户提出的问题进行相同的转化处理。然后，通过计算语义相似度，系统可以高效地匹配出最相关的文本段落。

这种基于向量检索的方式，尤其擅长处理复杂的语义关系。举个例子，若用户查询“猫追逐老鼠”，系统能够识别到与之语义相关的句子，比如“猫捕猎老鼠”，它们之间的语义相似度较高。而与“猫追逐老鼠”相比，像“我喜欢吃火腿”这种语句的相关性就远远低得多。将相关度最高的文本内容检索出来后，RAG 系统会将这些信息作为上下文提供给大模型，以帮助模型做出更精确的回答。

向量检索技术在许多应用场景中展现出了显著的优势，比如：

• 相近语义理解
  能够处理诸如“老鼠”和“捕鼠器”、“奶酪”，以及“谷歌”和“必应”等具有近似语义的词汇，甚至能理解一些同义词之间的关系。
• 跨语言理解
  支持多语言的检索，例如可以通过中文查询来获取英文文档中的相关内容。
• 多模态理解
  不仅支持文本，还能实现图像、音频、视频等多模态信息的相似性匹配。
• 容错性
  能够处理拼写错误或模糊的描述，减少因表达不清导致的检索失败。

尽管向量检索在许多情境中表现卓越，但也有其局限性，特别是在面对一些具体的检索需求时，效果不尽如人意。例如：

• 搜索专有名词或产品名称
  （如“伊隆·马斯克”、“iPhone 15”）。
• 搜索缩写或短语
  （如“RAG”，“RLHF”）。
• 搜索 ID 或版本号
  （如“gpt-3.5-turbo”，“titan-xlarge-v1.01”）。

这些场景恰恰是传统的关键词检索所擅长的。传统的关键词检索技术具备以下优势：

• 精确匹配
  在检索人名、产品名、代码等情况下，关键词检索能够进行准确的匹配。
• 处理少量字符的匹配
  当用户输入的查询仅为几个关键词时，向量检索往往难以找到相关性较强的文档，而传统的关键词检索则能够轻松应对。
• 匹配低频词汇
  低频词汇通常承载着更深层次的语义信息。例如，在句子“你想跟我去喝咖啡吗？”中，“喝”和“咖啡”承载的意义显然比“你”“想”“吗”更为重要，而关键词检索擅长捕捉这些关键的低频词汇。

由此可见，虽然向量检索和关键词检索各有其擅长的领域，但单一依赖其中一种技术会导致系统在某些情景下的表现不尽如人意。为了发挥这两种方法的优势，同时弥补它们的不足，混合检索应运而生。

混合检索的概念与应用

混合检索指的是将不同的检索技术结合使用，在同一检索任务中充分发挥各个技术的优势。例如，在 RAG 系统中，我们可以将向量检索与关键词检索结合起来，使系统在检索时同时考虑到语义匹配和精确匹配的优点。这种方式能够在更广泛的检索场景中取得最佳效果。

具体来说，混合检索的实现通常需要在数据库中预先建立两种索引：向量索引和关键词索引。在用户输入查询时，系统分别通过这两种检索方式检索出最相关的文本。接着，系统将从这两种检索结果中进行整合，输出最符合用户需求的答案。这种结合方式不仅能保证检索到的内容精准度高，还能确保语义上的相关性。

为什么需要混合检索？

尽管单独的向量检索和关键词检索各有所长，但它们并不能完美应对所有检索需求。混合检索通过将两者结合起来，弥补了两种方法的缺点，充分发挥了各自的优势。具体来说：

1. 弥补精确匹配的不足：对于专有名词、缩写词、ID等关键词，向量检索可能因为无法进行精确匹配而失效。通过引入关键词检索，系统能够确保这些精确匹配的检索需求得到准确回应。

2. 提高查询精度：对于一些含有低频词或长尾关键词的查询，向量检索能有效理解语义上的相似性，但精度可能不如关键词检索。通过结合两种技术，混合检索能保证高精度的语义理解，并且保留关键词匹配的强大能力。

3. 覆盖更多复杂情境：在某些场景下，仅仅依赖单一的检索方法可能无法应对复杂的查询需求。通过引入多种检索算法，混合检索能够更好地适应多种检索情境。例如，若一个查询涉及到复杂的实体关系，可以结合知识图谱与向量检索，进一步提升检索效果。

混合检索的实现与挑战

实现混合检索并非没有挑战。首先，系统需要在数据库中同时维护两种索引（向量索引和关键词索引），这会增加存储和计算的成本。其次，如何有效融合两种检索结果，确保最终的输出符合用户需求，也需要精心设计排序和加权机制。

此外，混合检索的效果不仅依赖于两种检索技术的优劣，还与数据的质量、检索任务的复杂度、用户的查询方式等因素密切相关。因此，设计和实现混合检索系统时，需要考虑多种因素，确保其在实际应用中的表现。

写在最后

总的来说，混合检索是结合向量检索与关键词检索的优点，以弥补两者各自的不足，从而提升大模型在复杂检索任务中的表现。在实际应用中，混合检索不仅能够提高检索准确度，还能提升系统的灵活性和适应性，尤其在面对多样化、复杂化的查询任务时，展现出其巨大的优势。随着人工智能技术的不断进步，混合检索将在更多领域发挥重要作用，成为推动智能搜索和问答系统发展的关键技术之一。

“混合检索”实际上并没有明确的定义，本文以向量检索和关键词检索的组合为示例。如果使用其他搜索算法的组合，也可以被称为“混合检索”。比如，可以将用于检索实体关系的知识图谱技术与向量检索技术结合