大家好，我是 dify 实验室的阿亚。最近接到了一个新的任务，就是实现一个商品自动分类的功能，根据商家提供的商品名称，实现商品的自动归类，本篇文章记录了各种踩坑的过程，直到实现一个验证可行demo的实验过程。一、最初的挑战：为成千上万的商品自动“安家”
想象一下，你面对着成千上万个商品，需要为它们精准地打上三级分类标签，比如把“新款纯棉透气T恤”分到“服装 > 男装 > T恤”下。手动操作不仅枯燥，还容易出错。于是，我们自然想到了用 AI 来自动化这个过程。但问题也随之而来：商品分类体系太庞大了，AI 如何才能准确、高效地完成任务呢？
二、弯路与启示：两次失败的尝试
在找到最佳方案前，我和团队也踩了不少坑。这里分享两个典型的“弯路”，希望能帮大家在未来的项目中少走一些。
弯路一：简单粗暴的“一步到位”法
我们最开始的想法很简单：把商品名和所有三级分类的列表一起扔给大模型，让它直接选。想象很美好，现实很残酷，结果呢？模型直接“罢工”了。因为几万条分类数据远远超出了大模型的上下文长度限制。这就像让一个人一口气背下整本字典再去查字，根本不现实。
弯路二：层层递进的“逐级问询”法
既然一次性不行，那就分步走。我们尝试先让模型判断一级分类，再判断二级，最后确定三级。这个方法虽然能跑通，但体验极差：
- 成本高：一次分类要调用三次模型，令牌（Token）消耗飞涨。
- 速度慢：三次串行请求，用户等待时间太长。
- 不稳定：任何一步出错，后面就全错了，像多米诺骨牌一样。
这两次尝试让我们明白，单纯依赖大模型的“蛮力”是行不通的。
三、真正的突破口：“检索”与“生成”的黄金组合
在反思之后，我们找到了真正的突破口——这正是 Dify 知识库的核心价值所在，即**检索增强生成（RAG）**。
说白了，就是我们不再强迫大模型去“背诵”所有知识，而是给他一本“开卷”的参考书，让他根据问题快速“查阅”并作出判断。
我们的“智慧优选”方案分为两步：
- 第一步：向量检索我们将所有的三级分类名称和描述存入 Dify 知识库。当输入一个商品名时，系统会利用向量检索，快速从知识库中找出语义上最相似的一小撮候选分类（比如10个）。
- 第二步：大模型精选然后，我们把商品名和这10个候选分类一起交给大模型，让它在这个小范围内做个“优中选优”的决策。任务难度大大降低，准确率自然飙升。
这个方案不仅速度快、成本低，而且效果出奇地好，成为了我们的最终选择。
当然在实践过程中，实际也踩了很多坑，单纯导入商品名称到知识库中，召回率也比较低。后来把类目属性名称也一并导入到知识库中，在检索前使用大模型对检索词进行改写，获得了非常不错的效果。
四、让系统“活”起来：知识库的动态更新
商品分类不会一成不变，总会有新增、修改或废弃。如果知识库不能同步更新，AI 的判断就会慢慢“过时”。
为此，我们专门在 Dify 中编排了一个专用的数据管理工作流。这个工作流通过 API 接口，实现了对知识库中三级分类数据的自动化管理：
- 新增分类当业务后台增加一个新品类时，自动调用 API 将其添加入知识库。
- 更新分类当某个分类的描述或名称变更时，自动调用 API 更新知识库中的对应条目。
- 删除分类当某个分类被废弃时，自动调用 API 将其从知识库中移除。
通过这种方式，我们的知识库与业务系统实现了实时联动，变成了一个能自我进化的“活”系统，保证了AI决策的时效性和准确性。
五、利其器善其事：我的模型推荐清单
工欲善其事，必先利其器。在“智慧优选”方案中，Embedding 模型和 Rerank 模型的选择至关重要。
1. Embedding 模型
它的任务是把文本转成向量，决定了我们能“捞”回多少相关的候选者。
- 开源首选
BAAI/bge-large-zh-v1.5。目前中文语义理解的佼佼者，追求极致效果的首选。
2. Rerank 模型
它能对召回的候选集进行二次排序，把最匹配的那个推到最前面。
- 开源首选
BAAI/bge-reranker-large。与 bge-embedding 是“黄金搭档”，配合使用效果拔群。
大家可以根据自己的业务需求和技术栈，选择合适的模型组合进行测试。
结语
回顾整个过程，从最初的屡屡碰壁，到最终找到“检索+生成”并结合动态数据维护的验证demo，我深刻体会到：构建一个强大的人工智能应用，关键在于巧妙地组合利用工具，而不是迷信单一技术。
当然从demo走向生产，还有很长的路要走。
粤ICP备14082021号
免费POC，
零成本试错
