微信扫码
添加专属顾问
我要投稿
复旦开源OpenOCR,0.1B参数的OpenDoc解析速度超MinerU 6倍,小模型也能又快又准! 核心内容: 1. OpenDoc两阶段解析架构:版面分析+内容解析 2. 两大技术创新:分层监督训练与语义解耦分词器 3. 轻量化设计在文档解析领域的性能突破
OpenDoc跟MinerU非常类似,同样是Pipeline多阶段的解析模式.
可见在文档解析领域,即要快,又要准的的情况下,小参数模型pieline模式,比大参数端到端的模型更具有竞争力。
二者最重要的区别在于,MinerU是一个缝合怪,每个独立阶段的连接处,都有很多小技巧,来弥补上下游误差的损失,一旦用自己训练的垂直领域的模型,替换中间某个模型,就很容易放大这些误差,导致垂直领域的解析效果变差。
OpenDoc虽然也是Pipeline模式,但是它只有两个阶段:先做版面分析,后做解析。
两阶段的文档解析,就不会放大每阶段的误差,微调UniRec-0.1B就可以。
传统的序列生成模型将文档内容视为扁平的token序列,忽略了文本固有的层级结构(行内关系、段落边界)。
这种简化限制了模型对空间布局表征的学习能力。
例如,一个段落内的多行文本之间存在明确的阅读顺序和紧密的语义关联,而段落之间的分割则意味着主题转换。
<|ln|>(Line Break Token):表示段落内的换行,用于分隔同一段落中的不同文本行<|pn|>(Paragraph Break Token):表示段落结束,用于分隔不同段落 在训练阶段,这些特殊token作为监督信号强制模型预测结构边界;在推理阶段,<|ln|>被移除,<|pn|>被替换为两个换行符\n\n,从而准确重建文档的段落结构。HST能够有效捕获跨行、跨段落的结构依赖,尤其对复杂布局文档效果显著。
现有方法(如Dolphin Tokenizer)通常在混合语料上训练单一的BPE分词器,导致文本token与公式token共享嵌入空间。
例如:字符串"sum"、"infty"、"frac"在文本语境中是普通词汇,在公式语境中则是命令词,但耦合分词器赋予它们相同的embedding。
对于大模型,这种歧义可通过上下文消歧;但对于0.1B参数的小模型,容量限制使其难以有效区分,导致严重的语义混淆和识别错误。
SDT采用完全分离的训练策略:
在SDT中,"sum"、"infty"等词在文本和公式模态下拥有独立的embedding向量,从根本上消除了跨模态语义纠缠。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2026-02-02
一分钟部署OpenClaw+QQ,国内最爽的一键启动!
2026-02-02
这家字节系AI初创,推出首个开源Agent Skills Builder!对话Refly.AI李锦威:大多数Agent都停留在专业用户层面,没有做到真正的普惠
2026-02-02
月之暗面发布 Kimi K2.5:一个模型,百个智能体,重新定义 AI 协作效率
2026-02-02
Google重磅开源!用AI读懂你的“天书”,LangExtract让非结构化文本瞬间结构化!
2026-02-02
火爆全网的OpenClaw 有汉化发行版了
2026-02-02
教你零成本使用满血 Clawdbot,并手把手带你集成飞书和Telegram
2026-01-31
安利一个Moltbot Skills技能库,GitHub上线一天狂揽2.7k+Star
2026-01-30
打造Jarvis,OpenClaw很野,但Agent Studio简直变态
2025-11-19
2026-01-27
2025-12-22
2025-12-10
2025-11-17
2026-01-12
2025-11-07
2025-12-23
2026-01-06
2026-01-26
2026-01-28
2026-01-26
2026-01-21
2026-01-21
2026-01-20
2026-01-16
2026-01-02
2025-12-24