我要投稿

蔚来知识平台的建设与应用

发布日期：2025-01-06 13:26:20 浏览次数： 2852

作者：DataFunTalk

微信搜一搜，关注“DataFunTalk”

导读本文将分享蔚来知识平台的建设与应用。

主要内容包括以下几大方面：

1. 背景介绍

2. 整体架构设计

3. 挑战与解决思路

4. 未来展望

5. Q&A

分享嘉宾｜唐海东蔚来汽车知识平台技术负责人

编辑整理｜马同学

内容校对｜李瑶

出品社区｜DataFun

背景介绍

在相当长的一段时间里，蔚来公司内部存在多个类似的知识库系统。这些系统之间缺乏互通性，形成了一种数据孤岛的状态，因此带来了知识查找困难、使用不便等问题。用户不知到去何处获取知识，同时即便找到相关资料，也无法确认其完整性和准确性。

在上述背景下，我们设立了一个知识项目，旨在构建一个公司级别的知识平台，以实现以下目标：

以公司级视角来指导与整合各业务方的知识资产；
建设一个好用且具备足够弹性的知识管理工具；
形成一套公司级的知识资产管理规范；
建立一套高效的知识应用推广方案；
支持大模型知识、语料。

整体架构设计

第一部分如下图所示，是知识平台的整体架构。整体架构看似复杂，但分层理解后就很清晰了。

从最底层开始，我们称之为“原始材料层”。这一层包括公司内部各类知识库系统所提供的原始语料。正如前文所述，这些知识库系统在过去以数据孤岛的形式存在，彼此之间缺乏互通性。它们作为知识平台的基础资料来源，涵盖了生产、研发、质量等领域的知识数据。

在这些原始资料的基础上，我们建立了一套统一的知识生产运营工具，涵盖知识接入、生产加工等功能。通过这套工具，各种原始材料（如飞书文档、富文本文档、PDF 和 Word 文件等）被整合并接入知识平台。知识生产加工过程包含编辑、审核、加工和分析等一系列功能，旨在将分散的原始材料转化为统一的知识资产。

根据知识的密级，我们将公司级知识资产划分为两大类：公开知识与企业内部知识。公开知识进一步细分为结构化和非结构化两类；而企业内部知识则涉及培训、产品研发、销售、质量管理和生产制造等领域。

在此基础上，我们搭建了一系列知识服务，其中包括内容服务和为大型模型提供的语料服务。具体内容服务包括知识查找、查看以及相关交互功能。我们提供了多种知识查找方式，如全文检索、内容检索、向量检索、目录索引和重点推送等，并支持富文本内容查看和推荐内容展示。此外，知识服务平台还包括与用户互动的部分，确保知识的有效传递和应用。

经过上述流程，最终形成成品知识库，包括客服产品、销售产品等成品知识库，类型涵盖问答库、成品推文及操作手册等。基于这些成品知识，我们可以构建多样化的知识应用，例如知识门户、知识管理后台和 AI 应用等。同时，整个知识平台还支持全公司范围内智能化服务的建设，如 NIO APP、Nomi 和客服系统等，由底层知识平台提供支持，用于构建与知识相关的智能化应用。

此外，知识平台也为大型模型提供服务，通过提供语料支持其训练和微调，在基座大模型上进行扩展，构建成各领域的专业模型。这部分工作包括为企业内外部的不同需求提供语料服务，促进大模型的应用和发展。

最后，我们设立了一条反馈链路，用以处理知识在应用过程中发现的问题，如知识错误或过期等。这些问题将通过该链路反馈到原始生产环节，进行二次生产和加工，以解决问题。同时，我们有一套完善的权限管理体系，包括用户角色设定等安全措施，确保知识平台的安全性和防止信息泄露。

第二部分是异构知识的结构化加工系统架构，知识的形式多种多样，从各种非结构化的信息到最终可直接应用的知识，其间需经历一个复杂且链路较长的知识加工过程。

上图中，纵向列出了整个知识加工的具体步骤，而横向则展示了知识加工流程以及为此配套建设的知识工具。首先，从知识需求分析开始，明确所需的知识内容，并据此建立需求地图。随后，进入知识生产运营阶段，在此阶段，平台提供编辑、审核等一系列功能支持。为了实现这些功能，我们开发了相应的生产运营工具。

经过上述流程生产的知识及统一集成的知识将被整合入知识平台。为了达成这一目标，我们采用多种集成方式，如通过 HTTP、MR、数仓等手段，将公司内部各个知识孤岛中的知识资源进行全面集成。知识的载体可以是 PDF 文档、飞书文档、代码或网页。形态包括文本、图片、表格、视频等形式。为了支持这一结构化加工过程，我们开发了一套统一的结构化加工工具。该工具能够将知识转化为文字形式，并进行模块化处理，随后执行切分和信息抽取等操作。具体而言，文本将根据一定规则被切分为多个片段，再进行标注和摘要生成，最终统一录入数据库。其中会用到多种切分方法和信息抽取技术。

最终，我们的知识平台实现了多方面的应用消费功能，如知识搜索和知识问答，这些功能依据知识空间的不同分别实施问答和搜索能力。应用消费环节产生的反馈信息将回流至知识需求模块，更新需求地图，从而形成一个完整的闭环。

第三部分是企业内部知识智能检索架构，即传统意义上的 RAG（Retrieval-Augmented Generation）。

如上图所示，蔚来汽车的知识平台在实现 RAG 时采用了以下方法：首先，对于每次知识文档更新，系统会进行内容抽取服务，提取文档中的文本部分。随后，执行知识切片服务，并对切片后的内容进行向量化处理，最终存储至向量数据库中。

进入在线服务阶段，当用户提出问题时，系统首先会对查询进行改写，然后将改写后的问题向量化，与向量数据库中的知识切片进行匹配。匹配到的相关知识点会被重新排序，以确定最相关的信息。最后，通过大模型的提示词工程，使用企业专属的大模型生成最终答案，包括答案文本及其引用的知识点，形成完整的回答返回给用户。

在整个知识语料加工过程中，除了向量数据库的存储外，这些资料还用于支持大模型的服务，例如语料微调和评估，从而构建出我们企业专属的大模型。

传统方式下，用户输入问题后需搜索并逐一查看相关知识文档，以获取所需信息；而采用 RAG 流程，用户提问后直接获得答案及相关的知识点，显著节省了时间。这一时间节省主要归因于大模型能够提供高度满足需求的回答，减少了用户进一步查阅详细知识的需求。因为用户对初始答案不满意并需要进一步搜索或点击链接查看文档的比例较少，整体计算下来可以大约可以节省 40% 的时间，明显提升了用户查找知识的效率。

挑战与解决思路

在这一章节中，将介绍实际运行过程中遇到的问题、挑战以及解决方案。

第一个挑战是知识问答系统的准确性。目前，我们的知识问答系统在公司内部测试中已达到 90% 以上的准确率。这一成就得益于我们将公司内的知识问答划分为三大类别：专业问题、敏感问题以及普通问题，针对不同类别的问题制定不同的策略，如下图所示。

对于专业问题和敏感问题，我们采取关键词检索的方式来处理。由于 RAG（Retrieval-Augmented Generation）技术对专业术语的理解可能存在局限，会导致回答不够精准或答非所问的情况。因此，对于需要高度专业性的问题，直接通过关键词检索引导用户至具体的知识点更为有效。同样地，对于敏感问题，如销售政策等容错率为零的场景，也采用关键词检索方式，确保回答准确。

除了上述两类之外的所有问题被归为普通问题，进一步细分为三种处理类型：当向量检索后发现知识库中有充足的相关信息时，系统将正常生成答案；若在向量检索过程中发现相关信息不足，即匹配度较低或得分值不高的情况下，系统会发出风险提示，告知用户该回答可能存在误差，请谨慎判断；对于完全无法从知识库中检索到相关信息的问题，系统将退化为使用大模型进行普通回答，并明确提示用户，指出这是基于大模型的能力而非知识库内容生成的答案。

通过这种分类处理的方法，我们构建了一套完整的知识问答体系，旨在提高回答的准确性和用户的满意度，同时确保敏感信息的处理符合高标准要求。

第二个挑战是知识点的访问权限控制。企业内部的知识问答与公开的大模型问答（如 chat-gpt）不同，企业内的知识点访问需要是受到严格的权限管理。这意味着，对于同样的问题，公开的大模型可能会对 1000 个用户给出相同或相似的答案；而在企业内部环境中，因为每位员工的知识访问权限可能各不相同，1000 名员工针对同一问题可能得到 1000 个不同的答案。

如上图所示，为了应对这一挑战，我们采用了基于角色的权限控制方案（Role-Based Access Control, RBAC）。我们建立了一个权限配置后台，通过用户角色和权限设置来管理访问控制。每个用户根据其职位和职责被赋予特定的角色，而每个角色则关联一定的权限范围。

在此基础上，我们构建了一套权限服务体系，该服务负责查询用户当前的角色及其所拥有的权限。在知识搜索和问答场景中，系统会依据用户的当前角色，在向量数据库中匹配其权限范围内允许访问的知识内容。仅使用这些有权限访问的知识进行智能检索和问答，确保回答的内容严格限制在用户有权访问的知识范围内，从而保证数据的安全性和保密性。

通过这种方式，我们的权限控制系统不仅支持个性化的知识访问，还有效防止了敏感信息的泄露，保障了企业内部信息的安全性。

第三个挑战是多领域的智能问答服务。对于蔚来的公司级知识平台而言，其核心任务是支持整个公司范围内的知识使用场景。每个知识使用场景，包括知识问答场景，都有其独特的个性化需求。如何通过一个统一的智能问答系统来满足全公司的几乎所有场景的需求？我们采用了一种特定的链路来实现这一目标，下面以智能问答为例进行说明。

如上图所示，在每个问题提出的过程中，提问者会在其特定场景下限定自己的知识库范围。正如前文所述，知识平台上建立了多个独立的知识库，研发、生产、销售等各个领域均拥有各自的独立知识库。例如，当研发领域的智能助手提出问题时，检索和回答仅限于研发知识库内进行，然后会进入全公司范围内统一的智能回答链路，最后在将答案提供给用户之前，我们会根据特定领域的特性对回答风格进行调整，确保其符合该场景的要求。以研发领域为例，我们会设定一种符合研发风格的回答模式，使最终的回答既准确又贴合实际需求。

通过限定知识库范围和定制化回答风格，可以满足不同领域的个性化要求。同时，利用统一的智能问答服务，我们实现了广泛的复用性，避免了重复建设，从而提高了效率和资源利用率。

第四个挑战是高并发问题。在智能问答场景中，显卡资源消耗显著，且因为计算量庞大，计算耗时较长，每个回答通常需要数秒时间，对于特别复杂的问题可能需要数十秒。这使得智能知识问答服务难以嵌入到生产、销售等领域的关键系统中，大多数场景无法接受如此长的响应时间。此外，在某些场景下，智能问答工具的访问量非常大，这对本身已消耗大量资源的智能问答服务构成了挑战。

鉴于上述背景，我们增加了对高并发的处理，旨在使智能知识问答服务能够覆盖更多场景并支持更多用户。如下图所示：

首先，我们引入了一个知识生产流程，该流程包含知识变更的影响问题计算。当知识点更新时，我们计算哪些问题的回答会受到影响，并对这些问题的答案进行统一更新。这一过程遵循传统的 RAG（Retrieval-Augmented Generation）流程，确保答案的准确性和一致性。更新后的智能问答服务结果会被存入知识问答缓存数据库。此数据库存储问题及其对应答案，一旦命中缓存中的问题，用户可在极短时间内获得答案，无需再次计算。由于我们有实时更新的机制，缓存库中的答案基本保持最新，延迟控制在秒级。

基于此知识问答缓存服务，我们设计了三类智能问答机器人：No Cache、Only Cache 和 Cache First。

No Cache：这种模式下，智能问答服务直接提供正常答案。其特点是回答覆盖面广但速度较慢，不支持高并发，因此应用场景有限。

Only Cache：在这种模式下，提问时直接查询缓存服务。如果找到答案，则立即返回；若未找到，则返回空值表示无法回答。这种方式的特点是速度快但问题覆盖率低，适用于对响应时间和性能要求极高的场景。

Cache First：这是我们的主要推荐模式，适用于绝大多数场景。提出问题后，首先查询缓存。如果缓存中有答案，则立即返回；如果没有，则进入正常的智能问答流程获取正常答案。这种方式结合了快速响应和广泛覆盖的优点，平均吞吐量可增加 30% 以上，尤其在命中缓存的情况下，响应时间几乎可以忽略不计，显著提升了系统的并发处理能力。

综上所述，通过构建知识缓存数据库和支持不同模式的智能问答机器人，我们实现了对高并发的支持，既提高了系统的响应速度和效率，又保证了广泛的问答覆盖范围。

未来展望

最后是对未来工作的展望。在当前平台建设的基础上，我们计划推进以下几个方面的工作。

1. AI 辅助知识理解

目前，我们在知识平台中已经引入了 RAG（Retrieval-Augmented Generation）流程，实现了智能知识检索和问答服务，使用户能够便捷地获取所需信息。然而，当直接的回答无法完全满足用户需求时，用户仍需查阅详细的正文内容。为了改善这一情况，我们将增加 AI 辅助知识理解功能。具体而言，在用户浏览知识详情时，系统将利用AI能力自动生成文档摘要，减少用户的阅读时间，并提供术语解释服务，帮助用户理解文档中的专业名词。这种AI辅助理解功能旨在优化知识浏览和消费体验。

2. AI 辅助知识创作

在知识生产过程中，尽管目前仍以人工为主，但我们计划引入 AI 辅助知识创作工具。这些工具可以帮助撰写新文档或在现有知识基础上进行扩展和续写，从而提高知识创作的速度和效率，扩大整个知识平台的知识储备量。

3. 多模态能力

除了传统的文本形式，我们还计划研究并开发多模态知识处理能力。虽然数据存储方面已支持图片、视频等多种格式，但在智能问答领域，我们希望进一步拓展其功能，例如通过上传图片提问，并基于图片内容生成回答。此外，我们还将探索图文混合等多模态交互方式，以增强系统的智能化水平。

4. 知识类型扩展

现有的知识类型涵盖了 PDF、网页等多种格式，但并未涵盖所有可能的形式。未来，我们将考虑在此基础上扩展支持更多种类的知识资源，确保任何类型的知识都能融入到我们的知识平台中进行加工、治理和管理，从而进一步丰富平台的知识储备，提升其全面性和适用性。

综上所述，通过引入 AI 辅助知识理解、AI辅助知识创作、多模态能力和知识类型扩展，我们将持续优化和完善知识平台的功能和服务，以更好地满足用户需求并提升平台的整体价值。

Q&A

Q1：如果问题是专业问题或敏感问题，并且没有进行语言模型（LLM）推理，那么是基于全文检索吗？

A1：是的，对于专业问题和敏感问题，系统会退化为基于全文检索。这类问题不适合通过语言模型进行推理处理，因此采用全文检索以确保回答的准确性和安全性。

Q2：缓存库中的答案为何能够保持准确？是否需要人工专家标注？

A2：缓存库中的答案之所以准确，是因为其依赖于三个不变的因素：用户提出的问题、知识库的内容以及背后的大模型。具体而言，在问答背后的大型模型和问题本身没有变化时，唯一可能影响答案准确性的是知识库的更新。然而，在知识点发生变化的情况下，我们会及时更新缓存中的答案，以确保其准确性。因此，无需每次依赖人工专家标注，而是通过自动化机制保证缓存答案的正确性。

以上就是本次分享的内容，谢谢大家。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业