我要投稿

RAG通识

发布日期：2024-06-17 06:36:50 浏览次数： 3270

作者：明知AI

微信搜一搜，关注“明知AI”

RAG，即检索增强生成（Retrieval-Augmented Generation），是一种结合了信息检索（Retrieval）和文本生成（Generation）的人工智能技术。RAG是GenAI领域的重大进展，它通过整合外部知识源来增强传统的大语言模型 (LLM)。

这种方法拓宽了人工智能的视野，使其能够访问和利用除初始训练数据之外的大量信息。可以将RAG 想象为一位学者，除了拥有自己的知识外，还可以即时访问到一座全面的图书馆。

01、RAG工作流程

上图展示了RAG架构的工作流程，整体分为五步：

1. 用户向Chatbot（LLM应用）提出问题

2. 根据问题在向量数据库(提前将知识库的文档向量化)检索匹配相关的上下文段落信息

3. 将检索结果的top_k条段落进行排序,，将提示词和组装的段落以及用户问题三者形成最终的提示词prompt

4. 将prompt提交给大模型

5. 大模型生成输出并返回给Chatbot，进而返回给用户

02、RAG的优势

1. 提高答案准确性：通过引用外部知识库中的信息，RAG可以提供更准确的回答

2. 增加用户信任：用户可以通过引用的来源来验证答案的准确性

3. 便于知识更新和引入特定领域知识：RAG通过结合LLM的参数化知识和外部知识库的非参数化知识，有效地解决了知识更新的问题

4. 减少幻觉问题：RAG能够减少语言模型中的幻觉问题，使生成的响应更准确、可靠

03、RAG的应用场景

1. 问答系统：在问答系统中，RAG通过检索大量信息并生成精准、详细的答

案，提高了回答的准确性和信息的丰富度

2. 内容创作：RAG可以根据给定的主题或关键词生成丰富且有深度的文章，

节省大量的时间和人力资源

3. 数据分析与挖掘：RAG能够在大规模数据集中快速检索信息，为数据分析提供了一个强大的工具

RAG技术通过结合最新的大语言模型和外部知识库，为AI在自然语言处理领域的应用提供了新的可能性，尤其是在需要处理大量信息和提供准确回答的场景中。

04、关于Graph RAG

在RAG的技术发展中，从技术角度，呈现出以下几种范式：

我们重点介绍一下第四种：Graph RAG。

Graph RAG（Graph Retrieval-Augmented Generation）是一种结合知识图谱和图数据库的检索增强技术。它通过构建图模型的知识表达，将实体和关系之间的联系用图的形式进行展示，并利用大语言模型（Large Language Model, LLM）进行检索增强。Graph RAG的核心在于将知识图谱等价于一个超大规模的词汇表，其中实体和关系对应于单词，使得在检索时能够将实体和关系作为单元进行联合建模。

Graph RAG的处理流程划分为两个主要阶段：

1. 第一阶段，Index in time。该阶段中系统不仅将知识以图谱的形式进行存储，以便于后续的检索和引用，同时还会执行传统 RAG 流程中的 Split & Embedding操作。

2. 第二阶段，Query Time。Split & Embedding 的操作带来的最大益处在于能够迅速锁定与查询最为相关的知识点。此外，通过利用知识图谱（KG）中知识点之间的关联关系或语义链接，系统可以快速地识别出在语义层面上相关或接近的知识。这些知识点随后被提供给大语言模型，从而使其能够生成更为贴切的答案。

同时，这一过程也有助于防止语言模型产生虚假或不合逻辑的回答，提高了结果的可靠性。

Graph RAG的主要特点：

1. 知识图谱集成：Graph RAG利用知识图谱来增强语言模型的理解能力，使得模型能够更好地理解实体间的关系和上下文信息。

2. 检索增强：通过结合图数据库的查询能力，Graph RAG能够提供更准确、相关和多样化的信息来满足用户的需求。

3. 上下文学习：Graph RAG支持In-Context Learning，即在向模型提出问题时，提供相关的上下文信息作为背景知识，从而生成更符合预期的响应。

4. 处理复杂查询：Graph RAG特别适合处理复杂或多义词查询，因为它能够利用知识图谱中的结构化信息来解决歧义问题。

5. 表达和推理能力提升：通过图技术构建的知识图谱，Graph RAG能够帮助大语言模型更好地理解实体间的关系，提升模型的表达和推理能力。

6. 适应性强：Graph RAG技术可以适配不同的大语言模型框架，如Llama\Index、LangChain等，使得开发者可以专注于LLM的编排逻辑和pipeline设计。

Graph RAG作为一种新兴的技术，正在逐渐展现出其在信息检索和处理领域的潜力，尤其是在需要处理大量结构化数据和复杂上下文信息的场景中。随着技术的进一步发展，Graph RAG有望在更多领域得到应用和推广。