我要投稿

DeepSeek等8种大模型本地化部署及其表现

发布日期：2025-02-26 08:10:09 浏览次数： 2634

作者：单细胞组学

微信搜一搜，关注“单细胞组学”

背景

由于访问过多，目前满血版DeepSeek R1 （深度思考模式）使用经常受限：

付费API的deepseek-reasoner模式也同样受限：

OpenAI开放了免注册的chatbox，但还是有地区使用限制。

本地化部署大模型有多种方式：Ollama和vLLM等。本文主要介绍Ollama的蒸馏模型（Distilled models）部署及其表现。

目的

测试本地化部署的LLMs在单细胞注释分析中的表现

方法

1. 下载Ollama。直接在官网下载，很方便。

2. 加载模型。

ollama run deepseek-r1:7b

为了匹配用户的硬件条件，Ollama提供了不同大小的蒸馏模型。7b的蒸馏小模型比较适合大多数个人电脑（16GB内存）。这里的7b表示70亿参数量。模型文件的大小主要受参数量和精度（precision）影响。参数量和精度越高，对硬件的性能要求越大。为了方便做比较，ollama本地化部署模型的参数量和精度分别为7b～9b和4bit。

3. 测试本地化蒸馏模型在单细胞注释中的表现。

# 调用本地模型之前运行：ollama serve

git clone https://github.com/Zhihao-Huang/scPioneercd scPioneerRscript ./result/annotation_locally_test.R

结果

基于API的满血版大模型的结果：

本地化蒸馏模型的结果：

总结

1. 本地化部署的DeepSeek R1的准确率远不如满血版的DeepSeek。API的DeepSeek V3和DeepSeek R1的表现不俗。

2. 本地化模型中，llama3.1:8b的准确率最高；deepseek-r1的两个蒸馏版本70b和7b表现欠佳。

3. 7b+4bit的本地化模型需要5GB内存。CPU型号 Xeon(R) Gold 6238R CPU @ 2.20GHz，用50个逻辑核心数运行，需要1分钟左右。推荐个人电脑使用7b左右的参数量。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-03-23

养死四只龙虾的小白有感

2026-03-22

Mistral Forge 的真正意义：企业AI从“租用”走向“拥有”

2026-03-21

马斯克再次站台Kimi，扒掉了Cursor 500亿估值的底裤

2026-03-19

MiniMax M2.7 炸场！自己训自己，8 项基准硬刚 GPT-5 和 Opus 4.6

2026-03-17

【淘宝直播数字人互动LLM】告别AI感：基于真人ASR数据的拟人化探索

2026-03-03

罕见！Meta、OpenAI、xAI联合分享了用生产环境提升LLM的最佳实践！

2026-02-13

工具调用准确率从60%飙到95%？我用这个‘解耦微调’把Qwen-7B救活了

2026-02-05

普林斯顿大学RLAnything：AI学会一边学习一边给自己打分

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

2026年 LLM 微调全指南

2026-01-04

【GitHub高星】AI Research Skills：一键赋予AI“博士级”科研能力，74项硬核技能库开源！

2026-01-18

DeepSeek 发布新论文，提出全新 MHC 架构，有何创新与应用前景？

2026-01-02

刚刚，梁文锋署名，DeepSeek元旦新论文要开启架构新篇章

2026-01-01

MiniMax M2.7 炸场！自己训自己，8 项基准硬刚 GPT-5 和 Opus 4.6

2026-03-19

Agent 越用越聪明？AgentScope Java 在线训练插件来了！

2026-02-04

1GB 显存即可部署：腾讯 HY-MT1.5 的模型蒸馏与量化策略解析

2026-01-19

本地跑小模型带来5倍性能且成本极低！斯坦福从信息论视角重构智能体设计

2026-01-03

智元发布SOP：让机器人在真实世界规模化部署与智能化运行

2026-01-07

前Mata GenAI研究员田渊栋的年终总结：关于未来AI的思考

2026-01-10

大家都在问

DeepSeek 发布新论文，提出全新 MHC 架构，有何创新与应用前景？

2026-01-02

LoAR做Fine-Tuning微调原理到底是什么？

2025-11-19

如何将 AI 代码采纳率从30%提升到80%？

2025-09-25

大模型微调，为什么99%的企业都不应该碰这个坑？

2025-06-20

万不得已，不要对 LLM 进行微调？

2025-06-17

可以将任何符合OpenAPI规范的接口转 MCP Server吗？

2025-05-21

OpenAI发布GPT-4.1系列模型，对行业最大吸引力是什么？

2025-05-17

私有部署大模型需要多少显存？

2025-05-14

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw