MinerU的magic pdf部署: 高质量pdf转markdown 布局,公式,结构检测(MacOS)

01

• 支持多种前端模型输入
• 删除页眉、页脚、脚注、页码等元素
• 符合人类阅读顺序的排版格式
• 保留原文档的结构和格式，包括标题、段落、列表等
• 提取图像和表格并在markdown中展示
• 将公式转换成latex
• 乱码PDF自动识别并转换
• 支持cpu和gpu环境
• 支持windows/linux/mac平台

  

pip install magic-pdf
cp magic-pdf.template.json ~/magic-pdf.json
magic-pdf pdf-command --pdf "pdf_path" --model "model_json_path"

• 布局检测：使用LayoutLMv3模型进行区域检测，如图像，表格,标题,文本等；
• 公式检测：使用YOLOv8进行公式检测，包含行内公式和行间公式；
• 公式识别：使用UniMERNet进行公式识别；
• 光学字符识别：使用PaddleOCR进行文本识别

pip3 install -r requirements+cpu.txt

pip install https://github.com/opendatalab/PDF-Extract-Kit/raw/main/assets/whl/detectron2-0.6-cp310-cp310-macosx_11_0_arm64.whl

 File "/Users/linyu/ai/PDF-Extract-Kit/modules/layoutlmv3/layoutlmft/models/layoutlmv3/modeling_layoutlmv3.py", line 71, in forward
    position_embedding = F.interpolate(position_embedding, size=(Hp, Wp), mode='bicubic')

NotImplementedError: The operator 'aten::upsample_bicubic2d.out' is not currently implemented for the MPS device. If you want this op to be added in priority during the prototype phase of this feature, please comment on https://github.com/pytorch/pytorch/issues/77764. As a temporary fix, you can set the environment variable `PYTORCH_ENABLE_MPS_FALLBACK=1` to use the CPU as a fallback for this op. WARNING: this will be slower than running natively on MPS.

import os
os.environ['PYTORCH_ENABLE_MPS_FALLBACK'] = '1'

02