提升 Dify 应用 RAG 召回质量的实践

推荐语

解锁Dify应用RAG召回质量提升秘籍，AI网关助力突破内置引擎局限。

核心内容：
1. Dify内置RAG引擎存在的三大关键问题分析
2. 通过AI网关对接专业RAG引擎的解决方案架构
3. 实际效果对比与最佳实践指南

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

    01  dify 内置 RAG 引擎的局限 

    02  通过 AI 网关帮助 Dify 应用 “开挂”

    03  实操指南与效果展示

    04  总结与展望

Dify 是一款开源的 AI 应用开发平台，旨在帮助开发者和非技术人员快速构建和运营基于生成式 AI 的应用。截至目前，Dify 开源 Star 数量已经突破 11 万，具有庞大的用户群体，已成为构建生成式 AI 应用的热门选择之一。

然而，随着 Dify 在实际生产实践中持续落地，根据云上客户以及社区反馈，其内置的 RAG 引擎逐渐暴露出复杂文本分块处理能力低、检索功能薄弱、配置不够简洁智能等问题，这些问题直接导致 Dify 内置 RAG 的召回质量不理想，进而影响了大模型生成内容的准确性与可靠性，难以满足企业级生产环境对高精度知识检索的需求。

为解决上述云上客户以及社区用户反馈的问题，Higress AI 网关通过提供关键桥梁作用，支持 Dify 应用便捷对接业界成熟的 RAG 引擎。通过 AI 网关将 Dify 的高效编排能力与专业 RAG 引擎的检索效能结合，企业可在保留现有 Dify 应用资产的同时，有效规避其内置 RAG 的局限，显著提升知识驱动型 AI 应用的生产环境表现。

01

Dify 内置 RAG 引擎的局限

通过分析 Dify 开源社区近几个月的 Issue，同时结合云上客户以及内部的 Dify 生产实践，尽管目前 Dify 提供了开箱即用的内置 RAG 引擎，但在实际落地中，依然会遇到一些问题，其中被云上以及社区客户反馈比较多的问题包括：

这些问题导致 Dify 内置 RAG 引擎和业界被广泛认可的高质量 RAG 引擎相比，仍存在一定的提升空间。从开源视角来看，Dify 内置 RAG 能力的提升，是一项需要持续迭代和优化的过程。

02

通过 AI 网关帮助 Dify 应用 “开挂”

目前，市面上的 RAG 引擎层出不穷，但易用性和运行效果上也良莠不齐，想要构建一套优秀的 RAG 引擎，并不仅仅是向量化、向量存储与向量匹配那么简单，还需要优质的内容理解与处理算法以及检索优化策略，并且持续不断的调优。

好在市面上已经逐渐涌现了许多优秀的 RAG 引擎，逐渐得到越来越多的开发者认可。例如阿里云百炼知识库以其配置简洁、开箱即用的特性，加之以底层持续调优，其 RAG 效果也得到越来越多企业用户的认可；以深度文档理解能力著称的 RagFlow，作为一款开源的专业 RAG 引擎，得到许多对数据存储有安全和隐私性要求用户的青睐，目前能够通过阿里云 SAE 一键部署高可用的 RagFlow 实例，极大降低自部署和运维的成本。

为了突破 Dify 内置知识库的限制，Higress AI 网关支持 Dify 应用快速对接外部优质 RAG 引擎，以更高质量的 RAG 能力替代其原生功能，从而实现让用户在使用 Dify 强大的Workflow、Agent 编排能力同时，获得更专业的文本处理与信息检索体验。

根据用户对检索结果处理方式的不同需求，Higress AI 网关提供了两种灵活的集成方案：

• 方案一：RAG 检索代理。Higress AI 网关仅做检索并返回给用户，由用户自主处理检索结果，并更新到 Context 中。适用于场景相对复杂，用户对信息整合有自定义诉求的场景。
• 方案二：自动检索注入。在调用 LLM 的链路中，Higress AI 网关自动执行 RAG 检索结果并将接入注入到 Context 中。适用于场景相对简单，用户只关注 LLM 调用结果，无信息自主处理的场景。

方案一：RAG 检索代理

基于 Dify 外部知识库扩展功能，通过 Higress AI 网关代理，能够实现在 Dify 知识库中创建并连接 RagFlow 以及百炼知识库。对于 Workflow，可以使用知识检索节点选择对应外部知识库获取检索结果；对于 Agent，可以直接选择对应外部知识库实现检索。详细介绍请见 AI RAG 检索代理【1】。

这种方式专门针对 Dify 应用设计，更符合 Dify 的标准用法，通过 Dify 知识库扩展的能力实现了对外部知识库的访问，同时能够便捷的通过 Dify 内置的观测能力观察知识检索节点的输入输出信息。

方案二：自动检索注入

Dify 应用访问 LLM 时，使用 Higress AI 网关的 Model API 代理，Higress AI 网关在发起 LLM 调用前，自动执行 RAG 检索并把结果写入到调用模型的 Context 中。其中，Context 的写入方式包括：追加新的系统提示词；添加到用户指定的 Prompt 模版位置中。详细介绍请见 AI 检索增强生成（加强版）【2】。

这种方式能够实现对应用开发者透明，无需手动实现复杂的知识库检索步骤，只需直接调用模型即可自动获得开箱即用的 RAG 能力。此外，该方式同样适用于 Spring AI Alibaba、N8N 等不同平台或框架。

03

实操指南与效果展示

接下来，本文将分别以使用 RAG 检索代理方案打通 Dify 与百炼知识库、使用自动检索注入方案打通 Dify 与 RagFlow 为例，详细介绍上述两种方案的操作方式，并展示实际效果。

实践案例一：Dify 知识检索节点访问百炼知识库

本节将以 Dify 应用打通已经存在的百炼知识库为例，介绍 RAG 检索代理方案的操作方式与实际效果。

实践案例二：模型调用前自动检索 RagFlow 

接下来，本节以 Dify 应用打通已经存在的 RagFlow 知识库为例，介绍自动检索注入方案的操作方式与实际效果。

04

总结与展望

由于 Dify 内置 RAG 引擎在生产实践中的效果局限，许多 Dify 应用开发者期望能便捷的为 Dify 系统打通更多外部知识库，丰富 RAG 系统的选型。Higress AI 网关提供了快速打通外部 RAG 引擎的方案，将 Dify 的高效编排能力与专业 RAG 引擎的检索效能结合。通过帮助 Dify 应用“开外挂”，主要带来以下增益：

1. 效果跃升：通过集成 RAGFlow、百炼知识库 等专业引擎，显著提升知识分块质量与检索准确性。
2. 无缝增强：配置化实现，无需改造 Dify 应用代码即可获得高阶 RAG 能力，0 开发成本。
3. 灵活适配：支持开源引擎私有化部署或 SaaS 化服务的 RAG 引擎选型，满足多样化场景需求。

目前，该能力已经上线至阿里云云原生 AI 网关【4】中，除此以外，Higress AI 网关还提供了安全、高可用治理等其他丰富能力，提升 Dify 应用安全性和可用性。在 RAG 方面， Higress AI 网关将持续深化 RAG 能力，在多模态、生态扩展、场景扩展等方面持续探索，帮助 Dify 等 AI 应用从“可用”走向“高精度、高可靠”的企业级知识中枢。