基于Dify 知识库的实验demo：从0到1构建智能商品分类系统

推荐语

从0到1构建智能商品分类系统，揭秘如何用Dify知识库实现高效RAG方案，解决商品自动分类难题。

核心内容：
1. 商品自动分类的初始挑战与失败尝试
2. 检索增强生成(RAG)技术的突破性应用
3. 知识库动态更新与系统优化实践

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

一、最初的挑战：为成千上万的商品自动“安家”

想象一下，你面对着成千上万个商品，需要为它们精准地打上三级分类标签，比如把“新款纯棉透气T恤”分到“服装 > 男装 > T恤”下。手动操作不仅枯燥，还容易出错。于是，我们自然想到了用 AI 来自动化这个过程。但问题也随之而来：商品分类体系太庞大了，AI 如何才能准确、高效地完成任务呢？

二、弯路与启示：两次失败的尝试

在找到最佳方案前，我和团队也踩了不少坑。这里分享两个典型的“弯路”，希望能帮大家在未来的项目中少走一些。

弯路一：简单粗暴的“一步到位”法

我们最开始的想法很简单：把商品名和所有三级分类的列表一起扔给大模型，让它直接选。想象很美好，现实很残酷，结果呢？模型直接“罢工”了。因为几万条分类数据远远超出了大模型的上下文长度限制。这就像让一个人一口气背下整本字典再去查字，根本不现实。

弯路二：层层递进的“逐级问询”法

既然一次性不行，那就分步走。我们尝试先让模型判断一级分类，再判断二级，最后确定三级。这个方法虽然能跑通，但体验极差：

• 成本高：一次分类要调用三次模型，令牌（Token）消耗飞涨。
• 速度慢：三次串行请求，用户等待时间太长。
• 不稳定：任何一步出错，后面就全错了，像多米诺骨牌一样。

这两次尝试让我们明白，单纯依赖大模型的“蛮力”是行不通的。

三、真正的突破口：“检索”与“生成”的黄金组合

在反思之后，我们找到了真正的突破口——这正是 Dify 知识库的核心价值所在，即**检索增强生成（RAG）**。

说白了，就是我们不再强迫大模型去“背诵”所有知识，而是给他一本“开卷”的参考书，让他根据问题快速“查阅”并作出判断。

我们的“智慧优选”方案分为两步：

1. 第一步：向量检索
   我们将所有的三级分类名称和描述存入 Dify 知识库。当输入一个商品名时，系统会利用向量检索，快速从知识库中找出语义上最相似的一小撮候选分类（比如10个）。
2. 第二步：大模型精选
   然后，我们把商品名和这10个候选分类一起交给大模型，让它在这个小范围内做个“优中选优”的决策。任务难度大大降低，准确率自然飙升。

这个方案不仅速度快、成本低，而且效果出奇地好，成为了我们的最终选择。

当然在实践过程中，实际也踩了很多坑，单纯导入商品名称到知识库中，召回率也比较低。后来把类目属性名称也一并导入到知识库中，在检索前使用大模型对检索词进行改写，获得了非常不错的效果。

四、让系统“活”起来：知识库的动态更新

商品分类不会一成不变，总会有新增、修改或废弃。如果知识库不能同步更新，AI 的判断就会慢慢“过时”。

为此，我们专门在 Dify 中编排了一个专用的数据管理工作流。这个工作流通过 API 接口，实现了对知识库中三级分类数据的自动化管理：

• 新增分类
  当业务后台增加一个新品类时，自动调用 API 将其添加入知识库。
• 更新分类
  当某个分类的描述或名称变更时，自动调用 API 更新知识库中的对应条目。
• 删除分类
  当某个分类被废弃时，自动调用 API 将其从知识库中移除。

通过这种方式，我们的知识库与业务系统实现了实时联动，变成了一个能自我进化的“活”系统，保证了AI决策的时效性和准确性。

五、利其器善其事：我的模型推荐清单

工欲善其事，必先利其器。在“智慧优选”方案中，Embedding 模型和 Rerank 模型的选择至关重要。

1. Embedding 模型

它的任务是把文本转成向量，决定了我们能“捞”回多少相关的候选者。

• 开源首选
  BAAI/bge-large-zh-v1.5。目前中文语义理解的佼佼者，追求极致效果的首选。

2. Rerank 模型

它能对召回的候选集进行二次排序，把最匹配的那个推到最前面。

• 开源首选
  BAAI/bge-reranker-large。与 bge-embedding 是“黄金搭档”，配合使用效果拔群。

大家可以根据自己的业务需求和技术栈，选择合适的模型组合进行测试。

结语

回顾整个过程，从最初的屡屡碰壁，到最终找到“检索+生成”并结合动态数据维护的验证demo，我深刻体会到：构建一个强大的人工智能应用，关键在于巧妙地组合利用工具，而不是迷信单一技术。

当然从demo走向生产，还有很长的路要走。