知识库优化之路（三）

新的一篇总算来了，大家久等了，我们继续聊知识库。

这是《知识库优化之路》系列的第三篇。

这个系列主要是面向普通小白用户，在资源条件、技术条件有限的情况下，如何仅仅从用户侧，做一些基本的知识库优化工作，希望能给大家带来一些帮助。

之前的两篇，我们已经介绍过，为了让AI更好地理解知识库中的资料，可以使用工具把文件转换为Markdown和JSON格式。

知识库优化之路（一）：把PDF文件转成Markdown格式

知识库优化之路（二）：喂给AI最喜欢的数据格式JSON

但是，只做这些是远远不够的。如果你看过我之前关于知识库基本原理的介绍（泼冷水：CherryStudio+本地知识库，没你想的那么简单），应该明白创建知识库需要用到嵌入模型。

不同的嵌入模型，有着不同的算法、参数、性能，实际使用效果也会有差异。

这一篇，我们就重点探讨如何选择一个更好的嵌入模型。

什么是嵌入模型

当你把各种资料文件塞进知识库时，计算机其实看不懂这些文字。它只会机械地匹配关键词，比如搜“苹果”可能同时出现水果价格和手机说明书，这样的效果就不是很好。

为了解决这个问题，就需要使用嵌入模型。它首先把各种资料拆分成片段，再转换成数字向量，比如“忘记密码怎么办？”会被转换成类似 [0.3, -0.8, 1.5…] 的数字串，而语义相近的“账号被锁定如何处理？”会生成非常接近的数字串。

所有文档转换成数字后，会被存入向量数据库中，计算机就能按语义相似度自动归类。譬如把“密码问题”和“登录故障”的资料放到同一个隐形区域，哪怕它们的文字描述完全不同。

当用户提问时，嵌入模型直接将问题转为数字向量，在向量数据库中快速匹配最近的结果。比如员工问“输错密码被锁了怎么办？”，即使知识库里只有“重置密码流程”文档，也能精准关联；用户说“登不进去了”，模型也能绕过字面差异，直接指向密码相关的解决方案。

这种技术让混乱的文档变成结构化的数字网络，计算机不再依赖关键词，而是真正理解语义。就像给知识库装上了GPS，输入模糊描述也能导航到正确答案。

因此，嵌入模型的性能好坏，直接决定了知识库的检索质量和整体表现。

有哪些表现比较好的嵌入模型

1. BGE系列

BGE系列有很多个嵌入模型，但是我们最常用的就是bge-m3，这是一个多功能、多语言、多粒度的文本嵌入模型。
另外还有bge-large-zh-v1.5 ，这是一个大型中文文本嵌入模型，很明显更加适合纯中文资料；bge-large-en-v1.5 更适合英文资料。

2. gte-qwen2系列

这个系列主要有gte-Qwen2-7B-instruct 和 gte-Qwen2-1.5B-instruct 两个模型，整体性能都非常不错，当然7B肯定是比1.5B更强的。

3. gemini-embedding-exp-03-07

这是谷歌推出的嵌入模型，目前高居嵌入模型排行榜第一名。

4. nomic-embed-text

这是Ollama平台上排名第一的嵌入模型，很多本地化部署用的都是它。

5. multilingual-e5-large-instruct

这也是一个排名计较靠前的嵌入模型。通过名字就可以看出，特色就是对多语言的支持比较好。

6. jina-embeddings-v2-base-zh

这个模型能够流畅应对中英文双语内容，对于长文本比较友好。

7. xiaobu-embedding-v2

一款中文语义嵌入模型，在多项自然语言处理任务中表现出色。

中文嵌入模型排行榜

其实，上面提到的那些嵌入模型，只是一部分。

如果你想了解更多的嵌入模型，可以关注开源平台Hugging Face ，上面提供了包含100多个嵌入模型的排行榜MTEB。

网址：https://huggingface.co/spaces/mteb/leaderboard

需要注意的是，这个页面默认显示的所有嵌入模型的排名，如果你只想看中文嵌入模型的排名情况，需要在Prebuilt Benchmarks 那里选择语言 cmn，也就是普通话的意思。

然后你就可以看到最新的中文嵌入模型的排名情况。

你也可以点击下面的“Download Table”按钮，把整个表格下载下来。

如何使用这些嵌入模型

上面提到的这些嵌入模型，并不是每一个都适合普通用户，因为它们的使用方式和难度是不一样的，大概分为几种情况。

1. 通过CherryStudio直接使用

在CherryStudio里面，默认已经添加了一些嵌入模型（名字后面带有“嵌入”标记的），可以直接使用，这是最简单的。

譬如硅基流动就带有很多嵌入模型，点击“管理”后，你想使用哪个，需要先点一下嵌入模型后面“➕”。

然后当你新建知识库时，它就会出现在选择列表里。如果这里不点“➕”，是没法选择使用的。

另外，无问芯穹和Gemini也提供了一些嵌入模型，如果你之前配置过API，就可以直接使用。

2. 通过手动配置添加

还有一些服务平台，虽然有嵌入模型，但是还没有被添加进CherryStudio，需要手动配置一下。

譬如，很多朋友都在使用的火山方舟，在它的模型广场里可以看到有一个豆包的嵌入模型doubao-embedding-large。

如果想在CherryStudio使用的话，需要首先开通服务。

然后在CherryStudio 手动添加一下，就可以使用了。

3. 通过Ollama本地部署

还有很多模型，不能直接通过上面介绍的方法直接使用，可以考虑通过本地部署的方式，最简单的就是使用Ollama来安装部署。

首先确认你想要使用的嵌入模型名称，譬如gte-Qwen2-1.5B-instruct，然后在ollama官网搜索，找到以后，直接复制安装命令

然后通过命令行执行安装就可以了。

安装完成后，在CherryStudio模型服务里选择Ollama，点击“添加”

输入完整的模型名称就可以了。如果你不确定模型名称是什么，可以在命令行通过“ollama list”来查看。

需要注意的是，如果你在CherryStudio里面创建知识库时，选择的嵌入模型是通过Ollama部署在本地的，那么当你在使用对话中使用这个知识库时，要确保Ollama软件是在正常运行状态。如果Ollama关闭或退出了，知识库也就不能正常使用。

4. 创建知识库

通过上面几种方式，当你成功地把需要的嵌入模型添加进CherryStudio以后，就可以直接创建知识库了。

嵌入模型那里，可以选择你之前添加的模型。如果没有出现，可能是没有添加成功，可以再检查确认一下。

另外，你可能也已经注意到了，现在新的CherryStudio（版本1.1.8）在创建知识库时，已经支持添加重排序模型了。至于重排序模型该如何选择，这会在下一篇“知识库优化之路（四）”中进行探讨。

总结

这一篇，主要介绍了一些优秀的嵌入模型和使用方法，可能对于不同的用户来说，使用难度也不太一样。需要大家根据自己的情况，选择适合自己的嵌入模型和使用方式。

如果你在使用中有什么问题，可以在评论区探讨交流。也可以通过公众号菜单，查看加群二维码，进群交流。

因为最近CherryStudio最新升级后知识库支持了rerank（重排序）功能，所以下一步知识库优化的方向就是它了。