我要投稿

Alibaba出品:OmniParser通用文档复杂场景下OCR抽取

发布日期：2024-12-17 12:33:03 浏览次数： 2555

作者：CourseAI

微信搜一搜，关注“CourseAI”

本公众号主要关注NLP、CV、LLM、RAG、Agent等AI前言技术，免费分享业界实战案例与课程，助力您全面拥抱AIGC。

三大OCR任务统一抽取

文本识别
关键信息提取
表格识别

Omniparser框架以及核心思想

作者采用基于文本中心点的连贯输入和输出模式，在两个阶段，将同一文本划分为三个部分：

在stage1阶段：

结构中心点序列化（Structured points）:即标记重要信息区域的中心位置，并打上标签

在stage2阶段：

多边形区域序列化（Polygon）：定位Structured points，得到文本的多边形区域
文本内容序列化（content）：定位Structured points，得到文本内容

通过两阶段、三种序列方式可以有效地压缩原始的长序列。

此外，该框架使用空间和字符导向的窗口提示，增强对文本空间排列和单词语义的理解。

通过上图表格解析任务，我们可以知道omniparser的OCR解析流程。

首先，对图片进行编码(image encoder)
然后，在stage1，利用视觉模型对表格、文本内容、重要信息进行中心点定位
接着，在stage2，将定位的区域，经过区域解码（region decoder），得到polygon Sequence
同时，在stage2, 将定位的重要信息，进行文本内容序列化解码（content decoder），得到文本内容content sequence
最后，综合polygon Sequence和content sequence二者的信息，生成文本的定位信息（text spotting）、表格的序列信息（table recognition）和重要信息（key information extraction）

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-04-27

一个神奇的视频生成 Skills，实测，狂喜

2026-04-26

你的一人公司品牌部，带着Image-2模型的lovart中文版来了

2026-04-22

MNN-Sana-Edit-V2：端侧运行的图像漫画风编辑大模型

2026-04-22

刚刚！Codex 居然能直接画图了，OpenAI 凌晨甩出 Image 2.0

2026-04-21

PaddleOCR 3.5 发布：Web 端直用、文档一键转 Markdown，生态交互新体验

2026-04-21

用Claude Code剪视频，自动去口癖、加字幕、调色，完全免费开源

2026-04-15

刚刚，李飞飞最新成果发布，手机也能跑亿级粒子的 3D 世界了｜附体验地址

2026-04-09

豆包「打电话」升级 Seeduplex：周围再吵，只认准你的声音

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

刚刚！Codex 居然能直接画图了，OpenAI 凌晨甩出 Image 2.0

2026-04-22

震惊！即梦推出 CLI，Agent 一行命令生成 Seedance 2.0 视频，AI 视频井喷

2026-04-01

零帧起手 Codex × Figma 双向工作流实操

2026-03-05

Seedance 2.0 正式发布

2026-02-12

NanoBanana 2.0 来了，对比前一代和即梦 5.0 lite，它依旧强的离谱

2026-02-27

Seedance 2.0上线火山方舟体验中心，API即将开放

2026-02-12

全解读｜智谱 GLM-5V-Turbo 发布，多模态 Coding 基模

2026-04-02

Google 发布首个全模态 Embedding 2 模型，文本图片音视频 PDF 统一到一个向量空间

2026-03-11

GLM-OCR技术细节全公开

2026-03-18

“思考”更深，生成更准｜Seedream 5.0 Lite 发布

2026-02-13

大家都在问

Gemini Embedding 2把多模态信息整合同一向量空间了，还需要多向量列吗？

2026-03-12

一篇文章讲清楚：到底什么是NotebookLM？除了PPT，它还能做啥？

2025-12-31

GenAI的多模态数据智能平台如何构建？

2025-08-04

本地AI对话神奇，ChatWise到底有什么用？

2025-05-26

什么是基于知识图谱的多模态推理？

2025-05-13

AI数字人领域重大突破：告别拼凑式合成，阿里OmniTalker能否开启音视频一体化新时代？

2025-04-08

Midjourney V7全面测评：50组多风格提示词实测，是否还有领先优势?

2025-04-05

如何结合多模态RAG和异步调用实现大模型内容理解？

2025-03-30

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部