我要投稿

用一张12GB 显存的显卡本地部署 DeepSeek-OCR

发布日期：2025-12-27 12:20:41 浏览次数： 2246

作者：Engineering Ibuprofen

微信搜一搜，关注“Engineering Ibuprofen”

运行环境配置

NVIDIA GeForce RTX 3080 Ti（12G）
Ubuntu 20.04 + CUDA 11.8 + PyTorch 2.6.0

这种配置在许多开发者手中都很常见，无需专业服务器即可上手。

源码安装步骤

1. 克隆仓库：

git clone https://github.com/DeepSeek-ai/DeepSeek-OCR.git

2. 创建并激活虚拟环境：

conda create -n deepseek-ocr python=3.12.9 -y

conda activate deepseek-ocr

3. 安装 vLLM（指定版本 0.8.5）：
从GitHub Releases下载对应轮子文件：

https://github.com/vllm-project/vllm/releases/tag/v0.8.5

pip install vllm-0.8.5+cu118-cp38-abi3-manylinux1_x86_64.whl

4. 安装依赖：

pip install -r requirements.txt

pip install flash-attn==2.7.3 --no-build-isolation -v

模型下载

官方模型地址：
https://huggingface.co/deepseek-ai/DeepSeek-OCR/tree/main

国内用户可加速下载：
https://modelscope.cn/models/deepseek-ai/DeepSeek-OCR/files

使用 vLLM 进行推理

进入 vLLM 推理目录：

cd DeepSeek-OCR/DeepSeek-OCR-vllm

编辑配置文件`config.py｀：

对于12GB 显存的显卡，必须将 `IMG_SIZE` 设置为 512（最小值），否则容易出现显存溢出问题。

启动推理脚本：
python run_dpsk_ocr_pdf.py

运行过程中，显存占用保持在合理范围内，能平稳处理任务。

实际解析效果展示

包含主标题、副标题和正文文本的文档：

模型准确识别了层级标题和段落结构，输出清晰有序。

带有图片、图片说明、副标题和文本的复杂页面：

DeepSeek-OCR 成功区分了图像区域、捕获了图片下方说明文字，并完整提取了周围正文。

从这些测试看，即使在有限算力下，模型对多元素 PDF 的版面理解能力表现出色，标题、文本、图像、表格等要素都能被精准分离和识别。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-06-16

RapidOCR: 从 setup.py 迁移到 pyproject.toml 打包实践

2026-06-12

PaddleOCR 3.7 正式接入ONNX Runtime，一个参数换后端，轻量部署新选择

2026-06-11

本地部署OCR，可能是AI进单位的第一道门

2026-06-08

正式推出 Gemma 4 12B: 一款统一、免编码器的多模态模型

2026-05-30

还在用 MinerU 解析 PDF？这个 2B 小模型直接把 olmOCR-bench 刷到 87.6%，速度还快 3.68 倍

2026-05-30

Qwen-VLA：迈向通用具身智能的统一动作框架

2026-05-25

罗福莉说的“伪多Agent”，我试了OmniWork后发现，真全干专家长这样

2026-05-19

从画稿到代码，AI Agent 正在吃掉产品设计的中间环节

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

刚刚！Codex 居然能直接画图了，OpenAI 凌晨甩出 Image 2.0

2026-04-22

震惊！即梦推出 CLI，Agent 一行命令生成 Seedance 2.0 视频，AI 视频井喷

2026-04-01

全解读｜智谱 GLM-5V-Turbo 发布，多模态 Coding 基模

2026-04-02

让“龙虾”帮你自动赚钱！OpenClaw Seedance 2.0 视频生成全攻略

2026-03-29

用Claude Code剪视频，自动去口癖、加字幕、调色，完全免费开源

2026-04-21

一个神奇的视频生成 Skills，实测，狂喜

2026-04-27

豆包「打电话」升级 Seeduplex：周围再吵，只认准你的声音

2026-04-09

千问发布Qwen3.5-Omni全模态模型，超越Gemini3.1 Pro？附实测~

2026-03-31

刚刚，李飞飞最新成果发布，手机也能跑亿级粒子的 3D 世界了｜附体验地址

2026-04-15

GLM-5V-Turbo：多模态Coding，图像即代码

2026-04-02

大家都在问

Gemini Embedding 2把多模态信息整合同一向量空间了，还需要多向量列吗？

2026-03-12

一篇文章讲清楚：到底什么是NotebookLM？除了PPT，它还能做啥？

2025-12-31

GenAI的多模态数据智能平台如何构建？

2025-08-04

本地AI对话神奇，ChatWise到底有什么用？

2025-05-26

什么是基于知识图谱的多模态推理？

2025-05-13

AI数字人领域重大突破：告别拼凑式合成，阿里OmniTalker能否开启音视频一体化新时代？

2025-04-08

Midjourney V7全面测评：50组多风格提示词实测，是否还有领先优势?

2025-04-05

如何结合多模态RAG和异步调用实现大模型内容理解？

2025-03-30

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件 FDE AI+医疗 MaxKB Palantir Glean Openclaw