微信扫码
添加专属顾问
我要投稿
复旦开源OpenOCR,0.1B参数的OpenDoc解析速度超MinerU 6倍,小模型也能又快又准! 核心内容: 1. OpenDoc两阶段解析架构:版面分析+内容解析 2. 两大技术创新:分层监督训练与语义解耦分词器 3. 轻量化设计在文档解析领域的性能突破
OpenDoc跟MinerU非常类似,同样是Pipeline多阶段的解析模式.
可见在文档解析领域,即要快,又要准的的情况下,小参数模型pieline模式,比大参数端到端的模型更具有竞争力。
二者最重要的区别在于,MinerU是一个缝合怪,每个独立阶段的连接处,都有很多小技巧,来弥补上下游误差的损失,一旦用自己训练的垂直领域的模型,替换中间某个模型,就很容易放大这些误差,导致垂直领域的解析效果变差。
OpenDoc虽然也是Pipeline模式,但是它只有两个阶段:先做版面分析,后做解析。
两阶段的文档解析,就不会放大每阶段的误差,微调UniRec-0.1B就可以。
传统的序列生成模型将文档内容视为扁平的token序列,忽略了文本固有的层级结构(行内关系、段落边界)。
这种简化限制了模型对空间布局表征的学习能力。
例如,一个段落内的多行文本之间存在明确的阅读顺序和紧密的语义关联,而段落之间的分割则意味着主题转换。
<|ln|>(Line Break Token):表示段落内的换行,用于分隔同一段落中的不同文本行<|pn|>(Paragraph Break Token):表示段落结束,用于分隔不同段落 在训练阶段,这些特殊token作为监督信号强制模型预测结构边界;在推理阶段,<|ln|>被移除,<|pn|>被替换为两个换行符\n\n,从而准确重建文档的段落结构。HST能够有效捕获跨行、跨段落的结构依赖,尤其对复杂布局文档效果显著。
现有方法(如Dolphin Tokenizer)通常在混合语料上训练单一的BPE分词器,导致文本token与公式token共享嵌入空间。
例如:字符串"sum"、"infty"、"frac"在文本语境中是普通词汇,在公式语境中则是命令词,但耦合分词器赋予它们相同的embedding。
对于大模型,这种歧义可通过上下文消歧;但对于0.1B参数的小模型,容量限制使其难以有效区分,导致严重的语义混淆和识别错误。
SDT采用完全分离的训练策略:
在SDT中,"sum"、"infty"等词在文本和公式模态下拥有独立的embedding向量,从根本上消除了跨模态语义纠缠。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2026-06-17
GLM-5.2 技术解读:智谱百万上下文的新一代旗舰模型
2026-06-16
26.1%的AI编程技能有漏洞:NVIDIA开源 SkillSpector 能扫出什么?
2026-06-12
当 AI Coding Agent 成为基础设施:我们为什么要开源 LoongSuite Pilot
2026-06-09
CPU 跑得比 Whisper GPU还快的开源语音识别,本地部署
2026-06-09
别再问我什么是爱马仕!
2026-06-09
Open Design:开源界的 Claude Design 替代品,61.7K Star,21+ Agent 都能跑,本地第一
2026-06-08
我开源了 PPT-Library:让历史 PPT 变成 AI 可复用资产
2026-06-08
knowledge-work-plugins:Anthropic 官方开源的知识工作插件集,19,000+Star
2026-03-30
2026-04-09
2026-04-03
2026-03-23
2026-04-01
2026-03-31
2026-03-30
2026-04-18
2026-04-18
2026-03-31
2026-06-16
2026-05-30
2026-05-16
2026-04-22
2026-04-21
2026-04-15
2026-04-09
2026-04-01