免费POC, 零成本试错
AI知识库

AI知识库

学习大模型的前沿技术与行业落地应用


收藏

长期知识库怎么维护?WeKnora 维护机制拆解与Milvus 接入实测

发布日期:2026-09-09 21:47:45 浏览次数: 1799
作者:Zilliz

微信搜一搜,关注“Zilliz”

推荐语

长期知识库维护难题?WeKnora 维护机制拆解+Milvus 接入实测,解决框架修改与向量数据库切换痛点。

核心内容:
1. WeKnora长期知识库维护核心能力(可编辑chunk、Wiki版本管理及企业级协作设计)
2. WeKnora多元数据库架构与Milvus接入背景(向量存储独立组件,新增Milvus作为后端)
3. Milvus接入实测:从pgvector切换到Milvus的过程及迁移问题

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
给一个需要长期维护的知识库做数据库选型,通常会碰到两类问题:内容持续更新以后,框架能不能方便修改和回退;数据量和负载上来以后,底层向量数据库能不能根据需求切换。
关于这个话题,腾讯去年发布的WeKnora 不妨一看,一方面,它的产品设计中参与检索的 chunk 和 Wiki 页面可以编辑、diff、回滚,VectorStore 也被拆成独立组件。另一方面,它所支持的数据库类型也比较多元,并且在今年,WeKnora 又加入了 Milvus 作为向量检索后端。
接下来,本文将会对WeKnora 长期知识库维护的思路做深度拆解,并演示从默认 pgvector 切到 Milvus,以及实际接入和迁移时会碰到什么。

01 

WeKnora 是如何做长期知识库维护的?

WeKnora 有三大主要能力: RAG 问答、ReAct Agent 和 Wiki。
单看问答和 Agent,和现在不少开源知识库框架大同小异。它比较特别的一点,是入库后的知识并不是只读的。
文档导入以后,参与检索的 chunk 可以直接编辑,也可以查看历史版本、做 diff 和回滚。修改 chunk 后,WeKnora 会重新建立对应的索引。
这是在维护长期运行知识库时比较重要的一个设计:生产里“常会出现某个段落过期了、解析结果切错了、一个 chunk 里混入了错误信息。重新跑整个文档当然可以,但如果真正需要修的只是其中一小段,更合理的操作是定位、修改、重新索引,而且要知道之前是什么。
Wiki 模式则会从原始文档生成互相链接的 Markdown 页面和知识图谱。页面同样保留 revision history,支持行级 diff、手动修改和回滚。
这样一来,自动生成的内容有问题时,可以直接定位到具体页面或 chunk 修改;人工修订以后,原来的版本仍然保留。
多人维护时,WeKnora 还提供 Workspace RBAC、异步任务和 Langfuse tracing,把权限、后台任务和调用追踪也放进了同一套系统。这些都是一个作为企业级产品的关键设计。

02 

向量数据库什么时候需要从 pgvector 切到 Milvus

长期维护解决之后,第二个问题是底层数据库的选型如何跟随业务发展周期做更新?
WeKnora 没有把向量存储写死。默认环境配置是 RETRIEVE_DRIVER=postgres,同时支持 Milvus、Elasticsearch、OpenSearch、Qdrant、Weaviate、Doris、Tencent VectorDB 等后端。每家在源码 retriever/ 下有独立实现,含仓储、过滤、测试,是代码级实现。
其中,Milvus 从 WeKnora 0.3.x 开始已经进入正式支持列表。
有多个后端可选的好处,是不需要在项目一开始就把检索架构定死,给了我们很大的架构灵活性。
如果团队已经熟悉 PostgreSQL 或 Elasticsearch,前期完全可以继续沿用现有基础设施。后面数据和请求量上来,再看现有后端是否还能满足要求。
通常来说,等到知识库从几万块涨到百万级,pgvector 单机的检索延迟和写入吞吐会扛不住,这时候就需要分布式扩展、独立扩缩容、资源隔离,Milvus会是一个比较好的选择。
实践中,我们可以重点观察下面几项指标:
  • p95 / p99 检索延迟是否已经接近业务 SLA;
  • 持续导入是否明显影响在线查询;
  • 索引构建和重建窗口是否还能接受;
  • 向量检索是否需要和事务数据库做资源隔离;
  • 检索服务是否需要独立扩缩容。

03 

实测:把 WeKnora 的检索后端切到 Milvus

这次测试主要确认两件事:
第一,WeKnora 所谓的 vector store 可插拔表现究竟如何;第二,把一个正常运行的 WeKnora 接到外部 Milvus,需要处理哪些额外状态。
这次测试环境:macOS(Apple Silicon)+ Docker,外部 Milvus 2.6.x,本机 Ollama 跑 qwen3.5:4b 和 nomic-embed-text(768 维)。
核心配置如下(SSRF_WHITELIST_EXTRA 和这次 Docker 容器访问宿主机 Milvus 的网络拓扑有关,其他环境不一定需要相同配置。):
RETRIEVE_DRIVER=milvusMILVUS_ADDRESS=127.0.0.1:19530MILVUS_METRIC_TYPE=IPSSRF_WHITELIST_EXTRA=...,127.0.0.1:19530,host.docker.internal
配置本身很简单。但为了确认不是连上 Milvus 就算成功,我继续跑了完整全流程:先导入文档,确认向量确实写进 Milvus;再发起问答,看检索和引用是不是从这批数据返回;最后重传、删除文档,检查旧 chunk 会不会继续被搜到。
沿着这条链路跑下来,一共遇到四个卡点。
第一,换 embedding 维度,WeKnora 会直接换一套 collection。
我用的是 768 维 nomic-embed-text,WeKnora 最后创建出来的 collection 是:
weknora_embeddings_768
这是 WeKnora Milvus adapter 的设计:它会把 embedding 维度放进 collection 名。
这就导致,如果后面换成另一个维度的 embedding model,已有知识需要重新生成 embedding,对应的 Milvus collection 也会跟着变化,并重建索引。
第二,文档进入处理流程,不代表索引已经可以查询
第一次并发导入文档后,我马上开始查询,其中一部分请求报错:
there is no vector index on field: [content_sparse]
WeKnora 接 Milvus 时同时会建 dense 和 sparse retrieval 所需要的字段和索引。这次测试里,查询已经发出来了,但 content_sparse 的 index 还没有准备好。
等文档状态变成 completed 后再查,检索恢复正常。
这是WeKnora 和 Milvus 初始化阶段的时序问题。在使用时要注意,批量导入以后,要等文档处理完成再开始查,不要文件刚上传就马上发查询。
第三,LLM推理流假超时。
问答测试时,Milvus 已经正常返回了检索结果,但页面一直没有最终答案,看起来像请求超时。最后发现问题来自于 qwen3.5:4b 的 thinking。它会先生成比较多 thinking token,客户端还在等最终输出,所以页面看起来像卡住了。
对应配置在 config.yaml:
conversation:  summary:    thinking: false
关掉以后,问答正常返回。
第四,删除文件后,旧 chunk 不会同步退出检索。
我修改模型配置后重新上传了测试文档,并删除旧版本。删除操作完成以后马上再查,旧 chunk 还会短暂出现在结果里。过一段时间再查,旧数据才消失。
这里可能至少有两层状态:
WeKnora 自己要处理文档删除、chunk 清理和重新索引;Milvus 这边,刚发生的写入和删除什么时候能被查询看到,又和 consistency 设置有关,不同设置会影响最新数据对查询的可见性。
如果业务要求“删完马上不能搜到”,就要针对这两项做完整的优化。
最终,10 份测试文档全部写入 Milvus 的 768 维 collection。文档写入、向量检索、答案生成和 citation 都能正常完成,引用可以回到对应的原始文档。

04 

多库并行怎么用于迁移

前面验证的是把一个知识库放到 Milvus 后,整条 RAG 链路能不能正常工作。
已经在生产运行的系统还会遇到另一个问题:如果现在已经有很多知识库放在 PostgreSQL 上,要不要一次全部搬到 Milvus?
逐步迁移可能是一个更稳妥的方案。
WeKnora 支持把 VectorStore 作为独立资源管理。创建知识库时可以指定 vector_store_id,不同知识库可以绑定不同的向量存储;一次查询覆盖多个知识库时,再分别到对应的 store 检索并合并结果。
这意味着 PostgreSQL 和 Milvus 可以在同一个 WeKnora 部署中并存。
例如,原来的 KB A、B、C 可以继续使用 PostgreSQL,新建的 KB D、E 则显式绑定到 Milvus。先用少量真实知识库把导入、索引、检索、引用、内容更新和删除等完整链路跑通,再扩大 Milvus 的使用范围。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅