RAG越来越不准？从Dify和ima知识库看元数据与标签如何让大模型更懂你

推荐语

在信息过载时代，如何让大型AI模型更精准地理解用户需求？这篇文章带你探索元数据和标签在提升RAG系统准确性中的关键作用。

核心内容：
1. 元数据和标签在信息检索中的重要性
2. 元数据的分类及其在资源发现和管理中的应用
3. 标签的特点及其在内容组织和检索中的作用

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

你是否有这样的经历：”知识库文档越来越多，知识库问答却越来越不靠谱，RAG检索到的都是一堆不相关的内容。“

在这个信息爆炸的时代，我们不缺资料，缺的是找到"对的资料"的能力。

元数据和标签看似普通，却能很大提升RAG能力。

这篇文章聊一聊它们如何辅助RAG系统真正理解用户意图，精准找到需要的信息。

元数据（Metadata）简单理解为"描述数据的数据"。

想象一下，你手里拿着一本书。书名、作者、出版日期、页数——这些都是元数据。它们虽然不是书的主要内容，却能帮你快速了解这本书的基本信息，决定是否值得一读。

根据《Understanding Metadata: What is Metadata, and What is it For?》（2017年）中的内容，元数据可以细分为以下几类：

看完这个表格，是不是想说，原来元数据可以这么多类型...

与元数据相比，标签（Tag）的概念我们可能相对熟悉很多。

每当我们刷抖音、看B站、浏览知乎时，那些带#号的关键词就是标签。

百度百科是这样定义标签的：

标签(Tag)是一种互联网内容组织方式，是相关性很强的关键字，它帮助人们轻松地描述和分类内容，以便于检索和分享。标签将内容的组织权利从网站管理者下放到用户手中，充分体现了web2.0自下而上，用户参与的特点。

简单来说，标签就是用户自己贴上的"便利贴"，帮助内容被更好地找到和分类。

标签本质上是“描述型元数据”的一种。但与其他元数据不同，标签更加自由、开放：

• 元数据通常有严格的结构和规范，而标签不需要遵循预定义的结构

• 元数据多由系统或专业人员添加，标签则可以由普通用户自由创建

• 元数据倾向于客观描述，标签则可以包含主观判断和个人理解

这就像是官方档案与个人笔记，两者都有价值，只是应用场景不同。

dify作为面向开发者的大模型应用开发平台，大概两个月前，加入元数据的支持。

在Dify中，元数据分为两类：

内置元数据（自动提取，不可删改）：

• 文件名、文件类型、上传人、上传时间、更新时间、文件来源、文件大小、字数等

自定义元数据（用户添加，可删改）：

• 内容摘要、文件类别(合同、报表、手册等)、适用行业、适用区域、适用期限、适用实体等

Dify允许在知识库层面统一配置元数据类型，然后在该知识库下的所有文档中设置对应的元数据值。这种设计使得元数据可以在知识库内部统一管理。

比如，开发者可以在”知识检索“节点上，手动设置权限控制、文件类别等元数据过滤，确保用户的问题被约束在指定的知识范围内，从而提升检索的安全性和相关性。

另外，Dify也支持让大模型自动识别用户问题中可能包含的元数据信息，只需要将手动模型改为自动模式，然后选择一个大模型即可（不过自动模式好像看不到实际提取的元数据的日志，所以不能方便的知道是否生效）。

关于dify的元数据，再补充3点：

1. 如果知识检索节点上添加了多个知识库，元数据选择功能将不可用
2. Dify的元数据没有开放给应用侧的实际用户使用（如在问答页面）
3. Dify还支持通过标记语言型元数据（如分段标识符）来优化文档分段，让RAG的粒度控制更精准。

再来看ima，ima是一个以知识库为核心的智能工作台，更注重终端用户体验，将标签的能力直接交到用户手中。

ima分为五个主要版块：笔记、个人知识库、共享知识库、知识库广场和首页。根据使用场景不同，ima提供了灵活的标签和知识库选择机制：

• 在笔记/首页：可以通过@选择多个知识库，但不能选择标签

• 在知识库内：可以通过@选择多个标签，但不能选择其他知识库

这种设计看似限制，实则是深思熟虑的用户体验考量：

1. 不同场景下用户意图明显不同（笔记中关注"从哪些库获取"，知识库中关注"找哪类信息"）
2. 避免跨知识库标签不一致导致的检索失效,因为较少有一个文档同时打上不同知识库里的标签，所以可能经常检索不到文档
   
3. 减轻用户同时思考两个维度（知识库和标签）的认知负担

此外，ima还支持了结构型元数据（文件夹），让用户可以通过直观的层级结构组织文件，提供了另一种检索维度。

Dify允许应用开发者和管理员通过描述型和管理型元数据限定RAG检索范围，允许用户通过标记语言型元数据，对文件段落进行标记，从而得到更好的分段；

ima允许应用的终端用户通过描述型元数据(标签)限定RAG检索范围、通过结构型元数据(目录)组织知识库中的文件。

结构型元数据，Dify没用到，ima用来组织知识库里的文件，但不清楚是否在RAG层面用到。

既如此，如果在RAG上使用结构型元数据会如何？比如，目录。

目录的层次化特点与标签的扁平化形成鲜明对比。

试想，用户提问的时候，并不总是会主动设定标签，那么如何在无标签情况下提升检索精准度？                            

一个思路是：将当前知识库目录结构与用户问题一起给大模型，让大模型选择最相关的目录分支，然后仅在这些分支下的文件中RAG。

就像你不会直接在整本书中逐页寻找信息，而是先看目录，找到可能包含所需信息的章节，然后重点查看那些章节。

目录的层级关系比离散的标签能提供更丰富的语义信息，也比让AI从零开始提取标签更加可靠。

以上，元数据可以通过以下四种方式显著提升RAG效果：

1. 利用描述型元数据约束RAG检索范围

让用户手动选择标签、文件类型等元数据，将检索限定在特定范围内。

例如，用户想了解"A部门本周的工作情况"，可以选择"A部门"、"周报"这两个标签，并将"提交日期"设为本周，然后提问"帮我总结一下本周A部门的工作情况"。

2. 利用结构型元数据增加RAG召回路径

通过目录结构引导AI识别最相关的内容分支，优化检索范围。

比如，用户问"新员工入职流程是什么？"时，AI可以首先识别出最相关的目录是"人力资源/招聘流程"，然后仅在这个目录下的文档中检索，大幅提高准确性。

3. 利用管理型元数据实现RAG权限控制

为文件标注权限级别，确保用户只能检索到自己权限范围内的知识。

例如，公司内不同文档设置不同权限级别（全体员工、管理层、特定部门等），系统会根据用户身份自动过滤检索范围。

4. 利用标记语言型元数据优化文档分段

通过特殊标记提升文档分段效果，让RAG能够更准确地定位文本分段。

例如，系统可以让用户在在线预览中对分段效果不佳的内容进行标记，然后系统重新分段。

写在最后

在这个信息爆炸的时代，我们面临的不再是获取信息的难题，而是如何从海量信息中找到准确的，够用的内容。

对于知识，不仅仅是用知识库去管理，更是要用我们的认知去经营。

别继续幻想大模型+RAG就可以搞定知识库，我们需要带着元数据、标签、用户，一起参与进来。

当再遇到RAG的问题，先思考一下，元数据和标签，准备好了吗？