翻开任何一份企业文档，你会发现知识从来不只是文字。产品说明书中有实拍图，技术报告附带架构图，各类培训手册和操作指南也包含大量截图。这些视觉内容承载的信息量往往不亚于文字本身。
尽管多模态 Embedding 能力早已出现，真正将其落地到知识库产品中的方案并不多见。企业要么自行构建复杂的跨模态处理链路，将图片与文本分开处理后再尝试融合；要么暂时搁置图片，仅依赖文本检索。两种方式都有明显局限。
现在，dify 知识库正式支持多模态能力。文本与图片能够被统一理解、共同检索，并直接用于 Workflow 应用的构建。AI Agent 从知识库获取的上下文不再局限于文字，而是可以看见图片内容、理解其中的信息，并据此作出回答。
从 Dify v1.11.0 开始，我们引入统一语义空间的多模态向量，让图片和文本 Embedding 具有共同的语义坐标体系，使得“以图搜文、以文搜图、以图搜图”成为现实，提升用户检索准确度。
技术价值
为什么 RAG 离不开 Embedding 与 Rerank 的协同？
在广义的 RAG 架构中，信息历经“切片-索引-召回-重排-生成”的完整路径后，实现了从散落文档到精准信息流的转化，这一过程体现了 RAG 的本质：信息的精准筛选与深度理解，在这个过程中，Embedding 与 Rerank 缺一不可：
可以把多模态内容映射到向量空间里，用信息相似度完成第一轮快速召回匹配，这决定了你的问题能否被精准匹配到相关知识库内容，同时在面对海量内容，要怎么快速定位到相关内容。
在召回基础上，进一步评估文本与图片的相关性，确保关键图文证据排在最前，让 LLM 拿到最匹配的上下文。
用户可以使用自然语言描述需求，上传真实场景图片，使其实现 “检索-识别-分析-回答”的一体化流程。
2. 知识库配置：
选择带有 VISION 标识的多模态 Embedding 模型以及 Rerank 模型，可以看到此时预览区已将图片做了初步处理
在本次更新中，我们在知识库面板中增加多模态标识 VISION，提升了标签管理
3. 检查图片解析情况：
在知识库中，图片可在分段级别进行管理与编辑，用户还可以上传自定义图片作为附件补充内容。
4. 测试召回效果：
我们使用一张产品真实照片做了一次召回测试：
直接上传耳机实拍图作为查询条件，系统从产品使用手册中召回了多个高度相关的分块，不仅命中了对应章节的文字说明，还将手册里相关的结构示意图、配件图一起召回出来，验证了多模态 Embedding 图片索引能力，并借助多模态 Rerank 保证最相关的图文结果排在最前。
Step 2：搭建 Workflow 实现流程化查询
构造 Workflow 以实现以图搜图，本篇内容以用户上传实际用处场景，借助 LLM 进行实际问题分析。
用户输入进行分支判断
设置用户输入节点，接收用户问题描述和图片信息，并用分支节点做一个简单判断：如果问题属于知识库可覆盖的范围，就走“检索 + 分析”的路径；否则走其 LLM 逻辑，进一步补充信息，也可以增加新的节点选择，比如连接到工单系统，提示人工处理。
知识检索节点
如果说 LLM 是整个流程的“大脑”，那么知识检索就是流程中的“小抄”，在这个步骤中，我们引入用户输入变量，让 Workflow 根据用户问题从知识库里找回最相关的图文分块，为分析提供补充依据，同时相关的图片信息也会在日志中体现。
配置 LLM 节点
对于整个流程的“大脑”，多模态功能的增加让 Workflow 的可用性极大提高：只需开启 Vision 模式，选择图片上传变量，LLM 就能从你上传的图片中提取关键信息，并结合任务需求进一步分析与定位问题。
变量聚合以及结果输出
最后，我们采用变量聚合节点把前序检索结果以及 LLM 分析结论汇总，输出为一条结构清晰、可执行的答案。
多模态知识库的上线，标志着 Dify 功能正在从单一的文本知识检索工具，迈向一个更完整的企业知识理解与自动化平台。
它不再仅仅是“看懂”一张图，而是将视觉信息转化为流程上下文，在此基础上参与推理，无论是查询技术实践、下发自动通知，还是驱动复杂的业务 Workflow，让你的 Agent 不再只是被动回答问题，而是基于真实世界的信息做出判断、分析并执行任务，成为企业中真正可落地、可信赖的智能执行体。
粤ICP备14082021号
免费POC，
零成本试错
