企业 AI 知识库卡壳在文件解析？开源框架优劣全解析

推荐语

企业AI知识库建设的关键一步：如何高效解析PDF/Word文档？开源框架优劣对比帮你避坑。

核心内容：
1. 企业AI知识库建设中PDF/Word文档解析的三大痛点
2. Markdown格式在文档处理中的独特优势与应用场景
3. 主流开源解析框架的功能对比与选型建议

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

• PDF、Word文档应该清洗成什么格式比较好

• 有哪些开源框架可以做，优势劣势是什么？

PDF、Word文档应该清洗成什么格式比较好

我们企业里面常见的两种文档格式是pdf和word两种文档格式，但是这两种文档格式对于上传到知识库的时候，如果不做处理，经常会出现各种问题。出去切分不完整，识别不完整的问题，导致进入到知识库的内容不完整，或者知识片段，断断续续，导致rag召回率低而且是错误的。如下图所示，是将一个PDF的文档上传到dify里面，选择的自由切分的内容，它切出来其中应该是一个表格的内容，但是切出来的内容效果不好，特征标识也不对，如下图所示，特征标识就是关键词，它识别出来的关键词都是毫无意义。

这里总结一下有如下几个问题：

1、切分的知识片段，零碎，毫无意义

2、切分的知识片段不完整

3、特征工程或者提取的关键词毫无意义

优势

简洁易学：Markdown 的语法简单又直观，学习门槛很低，人们只要掌握一些基本的标记语法，就能快速上手使用。

纯文本格式：Markdown 文件属于纯文本格式，在任何文本编辑器里都能打开和编辑，不需要额外的软件支持。这一特点让 Markdown 在跨平台使用时极为方便，不会出现版本兼容方面的问题。

易于版本控制：因为 Markdown 文件是纯文本格式，所以能轻松实现版本控制和协作编辑，方便多人共同处理文档。

代码可读性好：Markdown 支持代码块功能，这使得代码的呈现更加清晰，可读性大大提高。

精准格式控制：虽然 Markdown 不是所见即所得的编辑工具，但它凭借简单的标记语法，能够实现精准的格式控制，让生成的文档保持原有的排版和格式。

劣势

复杂排版和高级功能欠缺：和 Word 相比，Markdown 不适合用于需要复杂排版和高级功能的文档编辑，像专业报告、合同等。而 Word 提供了更多的排版选项和高级功能，更适合处理复杂的文档内容。

视觉效果不足：Markdown 主要侧重于文本内容的创建和排版，在布局和视觉效果的设计方面并不专注。所以对于需要丰富视觉效果的文档来说，HTML 可能是更合适的选择。

因此除了专业报告或者合同，以及视觉丰富的文档以外，其它文档都可以转化成 Markdown格式。提升知识库的rag的正确切分和关键词生成的结果。

有哪些开源框架可以做，优势劣势是什么？

Marker 工具

Marker 是一款基于深度学习模型的 PDF 转 Markdown 工具，其原理是利用深度学习模型检测页面布局和阅读顺序，然后格式化文本块并对完整文本进行处理。它的优势显著，在处理复杂公式时，虽然不能保证将所有公式完全转换为 LaTeX，但相比其他工具，在识别和转换公式方面具有较高的准确率，特别适合处理书籍和科学论文。它还支持全语言转换，能移除页眉、页脚及其他冗余元素，使转换后的 Markdown 文档更加简洁明了 。在格式化表格与代码块方面表现出色，能较好地保持原有的排版结构，提取并随 Markdown 保存图像，方便用户在 Markdown 文档中使用原 PDF 中的图片。而且支持 GPU、CPU 或 MPS 运行，可根据不同的硬件环境进行转换，大大提高了转换效率。但它也存在一定局限性，比如无法保证将所有公式完全转换为 LaTeX，表格格式化时文本可能会出现在错误的列中，空白与缩进可能无法完全保留，并非所有行或段落都能被正确连接 。

Pandoc 工具

Pandoc 是一款跨平台的、用 Haskell 编写的命令行界面标记语言转换工具，堪称文档转换领域的 “瑞士军刀”。它支持的输入输出格式极为广泛，涵盖了 Markdown 的多种变体、HTML、LaTeX、DocBook、EPUB、Microsoft Word 的 DOCX 等常见格式，能够轻松实现这些格式之间的相互转换。比如，科研人员可以将 LaTeX 格式的学术论文转换为 Markdown 格式，方便在 Markdown 编辑器中进行进一步编辑和整理 。它集成了 CiteProc 系统，这使得用户在处理学术写作时，可以使用 BibTeX、BibLaTeX、CSL JSON、CSL YAML 和 RIS 等格式的文献数据，并自动转换为 APA、芝加哥或 MLA 等多种引用样式，极大地方便了学术论文的撰写和格式规范。还支持使用 Lua 编写的自定义格式插件，用户可以根据自己的特定需求创建文档格式，比如为期刊文章标签套件（JATS）创建导出工具，以满足特定的出版要求。不过，Pandoc 是命令行工具，对于不熟悉命令行操作的用户来说，上手门槛较高，需要花费一定时间学习相关命令和参数的使用 。

MarkItDown 开源 Python 工具库

MarkItDown 是微软开源的一款强大的 Python 工具，能够将多种常见文件格式转换为 Markdown。在处理 Office 文档（如 Word、Excel 和 PowerPoint）时，它能快速准确地将其转换为 Markdown 格式，并且尽可能保留文档中的核心内容和格式，如标题层级、列表格式、表格结构、超链接等，极大地提高了文档处理的效率和灵活性 。它支持 OCR 文字识别，对于包含文字的图像或扫描的 PDF 文件，能准确识别其中的文字并转换为 Markdown 文本；支持语音转文字，可将音频文件中的语音内容转换为文字形式的 Markdown 内容；还能从图片中提取 EXIF 元数据，从音频文件中提取元数据，为文档处理提供更丰富的信息。它提供了简易 API，方便开发者在 Python 项目中集成和使用，进行文档转换，也支持命令行转换、批量处理和流式处理等多种转换方式。但在处理一些复杂格式的文件时，可能会出现格式丢失或转换不准确的情况 。

docling 开源框架库

docling 是一个开源的文档解析和转换工具，能高效地将多种格式的文档，包括 PDF、DOCX、PPTX、图片和 HTML，解析并导出为 Markdown 或 JSON 格式。它采用模块化设计，将整个 PDF 文档处理流程拆解为一系列连续的操作步骤，每个步骤都由专门的模块来执行，这不仅提升了执行效率和准确率，还极大增强了模型的扩展性和灵活性 。具备对 PDF 文档的高级理解能力，包括准确识别页面布局、阅读顺序和表格结构。比如在处理一份包含复杂表格和多种布局的 PDF 文档时，docling 能够精准地分析出表格的行列结构，以及文本、图片等元素在页面中的位置和阅读顺序 。支持光学字符识别（OCR），能识别扫描 PDF 中的文字，从而可以处理扫描或手写的文档，还易于与 LlamaIndex 和 LangChain 等工具集成，为 RAG（检索增强生成）/QA（问答）应用提供支持 。

各框架优势对比

为了更清晰地了解这些开源框架的特点，我们从多个维度对它们进行详细对比：

总结一下，如果你是普通用户，只是偶尔需要将 PDF 或 Word 文档转换为 Markdown，对转换效果要求不是特别高，且希望操作简单易上手，那么 MarkItDown 的在线版本或可视化界面可能更适合你，它无需复杂安装和配置，能满足基本的转换需求 。如果你是开发者，需要在项目中集成文档转换功能，MarkItDown 提供的简易 API 可以方便地与 Python 项目集成；docling 虽然安装配置复杂，但它强大的 PDF 解析能力和扩展性，对于需要处理大量 PDF 文档并进行深度分析的项目可能是更好的选择 。对于学术人员，Marker 工具在处理科学论文时对公式和图片的处理能力，以及 Pandoc 工具在学术引用样式转换方面的功能，都能为学术写作和论文处理提供很大帮助，可根据具体需求选择 。