理解 RAG 第一部分：为什么需要它

自然语言处理(NLP) 是人工智能(AI)的一个领域，旨在教会计算机理解人类的书面和口头语言，并运用这些语言与人类互动。虽然传统的 NLP 方法已研究数十年，但近年来出现的大型语言模型(LLM) 几乎主导了该领域的所有发展。LLM 通过将复杂的深度学习架构与能够分析语言中复杂模式和相互依赖关系的自注意力机制相结合，彻底改变了 NLP 和整个人工智能领域。LLM 能够处理广泛的语言生成和语言理解任务，并具有广泛的应用范围，例如对话聊天机器人、深度文档分析、翻译等等。

LLM 的能力和局限性

各大人工智能公司推出的大型通用语言模型（LLM），例如 OpenAI 的 ChatGPT 模型，主要专注于语言生成。也就是说，给定一个提示——用户用人类语言提出的查询、问题或请求——LLM 必须逐字逐句地生成该提示的自然语言响应。为了完成这项看似艰巨的任务，LLM 需要基于极其庞大的数据集进行训练，这些数据集包含数百万到数十亿个文本文档，涵盖任何你能想到的主题。通过这种方式，LLM 能够全面学习人类语言的细微差别，模仿我们的沟通方式，并运用所学知识生成自己的“类人语言”，从而实现前所未有的流畅人机交流。

毫无疑问，大语言模型（LLM）在人工智能发展和视野方面迈出了一大步，但它们也并非没有局限性。具体来说，如果用户在特定情境下（例如，最新消息）向大语言模型（LLM）询问精确的答案，模型本身可能无法提供具体准确的答案。原因在于：大语言模型（LLM）对世界的认知受限于它们接触的数据，尤其是在训练阶段。除非频繁地接受训练（坦白说，这是一个成本极其高昂的过程），否则大语言模型（LLM）通常无法感知最新消息。

更糟糕的是，当LLM缺乏基础信息来提供精确、相关或真实的答案时，他们很可能会生成看似令人信服的答案，即使这意味着答案完全建立在虚构的信息之上。LLM中经常出现的这种问题被称为“幻觉”：生成不准确且毫无根据的文本，从而误导用户。

RAG 的诞生

即使是市场上规模最大的语言模型（LLM）也在一定程度上遭遇了数据过时、昂贵的再训练和幻觉问题。科技巨头们也深知，当这些模型被全球数百万用户使用时，它们会带来风险和影响。例如，早期 ChatGPT 模型中幻觉的发生率估计约为 15%，这对使用这些模型的组织的声誉产生了深远的影响，并损害了整个人工智能系统的可靠性和信任度。

这就是RAG（检索增强生成）应运而生的原因。RAG 无疑是 LLM 出现后自然语言处理领域的重大突破之一，因为它有效地解决了上述 LLM 的局限性。RAG 的核心理念是将搜索引擎常用的信息检索技术的准确性和搜索能力与 LLM 的深度语言理解和生成能力相结合。

广义上讲，RAG 系统通过在用户查询或提示中融入最新且真实的上下文信息来增强 LLM。这些上下文信息是在 LLM 主导的语言理解和后续响应生成过程之前的检索阶段获得的。

RAG 可以解决 LLM 中常见的上述问题，具体如下：

• 数据过时：
  RAG 可以通过检索和整合来自外部来源的最新信息来帮助克服数据过时问题，从而使响应反映最新的可用知识
• 再培训成本：
  通过动态检索相关信息，RAG 减少了频繁且昂贵的再培训的必要性，使 LLM 无需完全再培训即可保持最新状态
• 幻觉：
  RAG 通过将反应建立在从真实文档中检索到的事实信息上，帮助缓解幻觉，最大限度地减少缺乏真实性的虚假或虚构反应的产生