智能运维新时代：如何打造你的专属知识库

推荐语

智能运维知识库的构建秘籍，助力企业数字化转型。

核心内容：
1. 智能运维知识库的重要性与构建难点
2. 运维知识库构建的步骤与技术路径
3. 大语言模型在运维知识库中的应用优势

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

构建一个传统知识库包括以下步骤：

• 确定知识库的范围和目标；

  
  

• 收集、整理知识 资料；

  
  

• 组织知识结构和分类；

  
  

• 选择合适的知识库工具与平台；

  
  

• 设计用户界面和搜索功能；

  
  

• 建立知识库维护机制；

  
  

• 进行迭代和持续改进。 

在运维领域，运维知识库通常包含与系统运行、管理和维护相关的各类信息。例如， 系统架构和拓扑图、配置文档、操作手册、故障排除指南、备份与恢复策略、性能优化建议、更新与维护日志、常见问题解答等。这些信息可帮助运维团队理解系统架构、配置及运行状况，亦可指导处理常见问题与故障。

构建运维知识库的难点 

1）知识整理和分类：对大量知识进行组织与分类是一项复杂的任务，需要建立合理的分类标准与体系，以便用户便捷地获取所需的知识。 

2）知识更新和维护：知识库需定期更新和维护，包括新增知识、更新旧有知识、删除过时知识等，并建立有效机制，以确保知识的时效性与质量。 

3）用户体验和搜索效果设计：用户友好的界面和搜索功能是关键，需要考虑用户习惯和需求，提供便捷的搜索和导航功能，确保用户能够快速找到所需的知识。 

4）知识保护和安全：针对某些敏感或内部知识，应充分考虑知识保护与安全问题，建立适当的权限管理与访问控制机制，确保知识的安全性与保密性。 

运维知识库与大语言模型结合的优势 

将运维知识库与大语言模型结合，可以通过对大规模文本数据的训练，获得强大的语言理解与生成能力，主要用于自动问答、文本摘要、语义分析等任务。因此，将大语言模型与知识库结合，相较于传统运维知识库，具有以下几方面优势。 

• 自动化知识提取和分类：大语言模型可以通过对大量文本语料的训练，自动抽取和提取知识。它可以识别文本中的实体、关系和概念，帮助构建知识库的分类结构和标签。

• 自动问答和问题解答：基于大语言模型的语言理解和生成能力，可以用于自动回答用户的问题，提供直接的知识查询和解答。这在运维知识库中可以用于快速定位和获取特定知识点。

• 文本摘要和知识提炼：大语言模型可以自动进行文本摘要和知识提炼，从大量的文本中提取出关键信息和主 要观点，帮助运维人员快速了解和获取知识。 

• 聚类和关联分析：大语言模型可以对文本进行聚类和关联分析，识别文本之间的相似性和关联性。这可以用于知识库中的相关推荐和知识关联分析，帮助运维人员发现更多相关的知识。

  
  

• 知识增强和补充：知识库可以结合大语言模型进行知识增强和补充。通过与大语言模型的交互，可以把模型生成的知识与人工整理的知识相结合，提高运维知识库的覆盖范围和质量。 

许多头部企业在运维知识库建设过程中，积累了海量且高质量的运维数据集，涵盖了运维领域中的多个常见领域，包括信息安全、应用程序、系统架构、软件架构、中间件、 网络、操作系统、基础设施和数据库等。在每个领域的数据集中，还包含多个任务，如运维知识问答、部署、监控、故障诊断、性能优化、日志分析、脚本编写、备份和恢复等。 在这些高质量运维数据的基础上，结合企业内部的私域运维数据，可帮助企业快速搭建基于大语言模型的运维知识库，提升运维人员解决运维问题的能力。

运维知识库的整体建设方案 

运维知识库的建设方案包括以下 4 个步骤，如图 1 所示。

1）需求分析：明确知识库的目标、范围及受众群体。

2）数据收集：收集和整理企业内外部的文档，包括各种来源的数据。

3）制定运维知识库方案：进行数据预处理，对文档进行拆分和存储，以便大语言模型更好地理解文档信息；部署大语言模型并协调调度计算资源，充分利用现有资源。 

4）知识库的迭代与更新：定期评估和优化运维知识库。

文档结构化拆解算法 

在构建运维知识库时，大部分的数据都是以文档的形式存在的。常见的文档格式包括 docx、pdf、txt、csv 等，而这些文档数据样式多变、质量参差不齐，怎样处理这些文档是保障知识库问答效果的关键。为此，需要通过文档结构化拆解的算法，充分识别并理解文档的语义和结构信息。 

通常情况下，选择从标题层级进行精确分割，同时保留文本的上下文和结构信息，这 种方法特别适合处理报告、教程等结构化文档，有助于提升文本向量化的效果。当构建运维知识库时，面对海量知识，文档结构化拆解算法需要考虑整体上下文和文本内部句子与短语之间的关系，从而产生更全面的向量表示，捕获文本的更广泛含义和主题，相关的文档拆解步骤如图 2 所示。

此外，考虑到多步推理的需求，人们也在探索是否可以动态选择那些高频、典型、重要的路径，这些路径很可能是后续问答中会用到的。基于这种思考，产生了基于路径的剪枝方法，通过这种方式，我们可以在空间和计算资源上取得更好的平衡。

在构建知识库阶段，利用结构化拆分算法对用户上传的各类文档（如 docx、pdf、txt 等）进行切分与存储，并使用一个 embedding 小模型对拆分后的文档片段进行向量化处理，随后将信息存储于向量数据库中。 

在知识库的问答阶段，对用户输入的问题首先会进行“ Query 增强”处理，利用大语 言模型对用户的问题进行扩充增强，目的是检索到更多的与用户问题相关的文档片段，并基于结构化拆分算法，查找对应文档片段的上下文信息。在得到充分的文档片段后，还会经过一个精排模型对文档片段进行筛选排序，过滤一些干扰信息。这样得到的文档片段， 再结合知识库的问答提示词（Prompt）的拼接，去调用大语言模型得到最终的回答返还给用户。 

在对接存量知识库时，利用外部知识库检索接口的特点，对用户输入进行实体识别（使用 NER 模型），提取其中主要的关键词信息，然后调用存量知识库的检索接口，获取对应的文档内容。

智能运维知识库的构建意义重大，虽历经构建难点，但融合大语言模型优势，借由合理的整体建设方案与精细的文档结构化拆解算法，让蓝图落地，重塑运维生态，整合知识实现智能交互。展望未来，它将随技术、业务发展持续进化，深化与前沿技术协同，拓展知识边界、预判问题，助力运维人员创新，推动企业数字化发展迈向新高度。