微信扫码
添加专属顾问
我要投稿
MinerU:开源文档解析神器,助力AI开发者高效处理多模态PDF与网页内容。 核心内容: 1. MinerU的核心组件与多模态文档处理能力 2. 智能清理与结构化输出的技术优势 3. 跨平台部署指南与系统配置建议
在大语言模型和RAG应用蓬勃发展的今天,高质量的文档解析工具成为构建知识库的关键一环。本文将为您详细介绍由上海人工智能实验室开发的开源工具MinerU,带您了解其部署流程和使用方法,助力您的AI应用开发。
MinerU是一款一站式、开源、高质量的数据提取工具,由上海人工智能实验室OpenDataLab团队开发,诞生于InternLM大模型的预训练过程中。它主要包含两个核心组件:
作为一款为RAG(检索增强生成)应用场景量身打造的工具,MinerU能够将包含图片、表格、公式等复杂元素的多模态PDF文档转化为结构化的Markdown或JSON格式,极大地提升了AI语料准备的效率。
# 创建名为MinerU的Python 3.10环境
conda create -n MinerU python=3.10
# 激活环境
conda activate MinerU
# 安装CPU版本(适合快速测试)
pip install magic-pdf[full-cpu] --extra-index-url https://wheels.myhloli.com -i https://pypi.tuna.tsinghua.edu.cn/simple
# 验证安装版本
magic-pdf --version
⚠️ 注意:请确保安装的版本不低于0.6.x,如果版本较低,可能需要更新pip源或提交issue反馈。
方法一:从Hugging Face下载(国际用户推荐)
pip install huggingface_hub
curl -o download_models_hf.py https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/scripts/download_models_hf.py
python download_models_hf.py
方法二:从ModelScope下载(国内用户推荐)
pip install modelscope
curl -o download_models.py https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/scripts/download_models.py
python download_models.py
提示:下载完成后,系统会自动在用户目录下生成magic-pdf.json配置文件,并记录模型存储位置。
在用户目录中找到magic-pdf.json文件,确保正确配置模型路径:
{
"models-dir": "C:/Users/用户名/.cache/modelscope/hub/models/opendatalab/PDF-Extract-Kit-1___0/models",
"device-mode": "cpu"
}
⚠️ 重要提示:Windows系统中路径需要使用正斜杠"/"而非反斜杠"",否则会因转义问题导致配置文件语法错误。
如果您拥有NVIDIA显卡(显存≥8GB),可以配置CUDA加速:
# 安装支持CUDA 11.8的PyTorch版本
pip install --force-reinstall torch==2.3.1 torchvision==0.18.1 --index-url https://download.pytorch.org/whl/cu118
然后修改配置文件中的device-mode:
{
"device-mode": "cuda"
}
# 处理单个PDF文件
magic-pdf -p "your_file.pdf" -o "output_directory" -m auto
# 查看帮助
magic-pdf --help
-p, --path
:输入文件路径或目录(必需)-o, --output-dir
:输出目录(必需)-m, --method
:解析方法,可选值为ocr、txt或auto(默认)-l, --lang
:指定OCR语言-s, --start
:起始页码-e, --end
:结束页码image_writer = DiskReaderWriter(local_image_dir)
image_dir = str(os.path.basename(local_image_dir))
jso_useful_key = {"_pdf_type": "", "model_list": model_json}
pipe = UNIPipe(pdf_bytes, jso_useful_key, image_writer)
pipe.pipe_classify()
pipe.pipe_parse()
md_content = pipe.pipe_mk_markdown(image_dir, drop_mode="none")
s3pdf_cli = S3ReaderWriter(pdf_ak, pdf_sk, pdf_endpoint)
image_dir = "s3://img_bucket/"
s3image_cli = S3ReaderWriter(img_ak, img_sk, img_endpoint, parent_path=image_dir)
pdf_bytes = s3pdf_cli.read(s3_pdf_path, mode=s3pdf_cli.MODE_BIN)
jso_useful_key = {"_pdf_type": "", "model_list": model_json}
pipe = UNIPipe(pdf_bytes, jso_useful_key, s3image_cli)
MinerU在RAG(检索增强生成)应用中扮演着关键角色,它能够:
对于研究人员,MinerU可以:
在企业环境中,MinerU能够:
与市面上其他PDF解析工具相比,MinerU在以下方面表现突出:
MinerU作为一款开源工具,正在持续发展中。未来可期待的方向包括:
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-07-18
MinerU | 高精度文档解析工具:从PDF到结构化数据的智能桥梁
2025-07-18
看了这个开源的可以操作手机电脑的Agent框架,感觉AI黑灯办公室也马上出现了。
2025-07-18
00 后天才团队,发布全球首个 A 股金融博弈智能体应用
2025-07-17
基于Dify动态解析异构银行流水:架构拆解→风控报告生成
2025-07-17
亚马逊最新编程智能体Kiro系统提示词揭秘
2025-07-16
Kimi这把 “干翻”了 GPT-4?别闹,它们压根没在一个酒局!
2025-07-16
百度开源了文心4.5,我想说点实话
2025-07-16
微软开源 NLWeb,掘了数万伪AI创业者的坟
2025-06-17
2025-06-17
2025-04-29
2025-04-29
2025-07-14
2025-04-29
2025-05-29
2025-07-12
2025-05-12
2025-05-14
2025-07-16
2025-07-15
2025-07-13
2025-07-08
2025-07-04
2025-07-03
2025-06-28
2025-06-25