近年来，随着人工智能模型的快速发展，越来越多的研究者和开发者希望在本地运行大规模语言模型（LLM），以提高数据隐私性和响应速度。
国外一位youtuber使用价格约 2000 美元的服务器运行 DeepSeek R1（671B），并评估其性能、硬件配置以及优化方案。
系统硬件与成本分析
要运行完整的 DeepSeek R1（671B），关键在于超大内存，普通桌面系统无法满足需求，因此必须使用服务器或高端工作站。本次搭建的系统硬件配置如下：
组件 | 规格 | 备注 |
|---|
CPU | AMD EPYC 7C13（64 核） | 高带宽、低时延 |
内存 | 16× 32GB DDR4 ECC（512GB 总计） | 扩展性强，成本可控 |
主板 | MZ32-AR0 | 支持 16 个 DIMM 插槽 |
存储 | 2TB NVMe SSD | 低时延、高吞吐 |
显卡 | 无 GPU（可选 4× RTX 3090） | 提供更大上下文窗口 |
网络 | 10GbE 网卡 | 高速数据传输 |
电源 | 1000W 电源 | 适应未来扩展 |
成本分析：
•基本配置（无 GPU）：约2000 美元
•高配方案（含 4× RTX 3090）：约5000 美元
•旗舰方案（H100 GPU）：成本远超10000 美元
本次测试采用纯 CPU 推理，保证大部分用户可以低成本复现实验。
DeepSeek R1（671B）本地推理性能
1. 模型加载与内存占用
•运行过程中最大内存占用 450GB，建议至少配置 512GB 内存以避免交换（swap）。
•采用NUMA 优化（NPS=1）以减少内存访问延迟，提高吞吐量。
2. 推理速度
负载模式 | 生成速度（Tokens/s） | 备注 |
|---|
CPU 模式 | 4.31 Tokens/s | 经过 BIOS 调优 |
GPU 模式 | 3.42 Tokens/s | 受限于 PCIe 带宽 |
初始状态 | 2 Tokens/s | 通过优化提升 2 倍 |
尽管 GPU 在扩展上下文窗口方面具有优势，但在当前架构下，LLM 主要依赖于大内存带宽而非 GPU 计算能力。因此，在仅考虑推理速度的情况下，GPU 并未带来显著提升。
系统优化策略
1. BIOS 调优
•禁用 SMT（对称多线程）：减少上下文切换，提高 LLM 计算效率。
•NUMA 设置（NPS=1）：确保 CPU 访问本地内存，降低跨节点访问延迟。
•手动功耗调整：将 CPU 限制在240W TDP，保证长时间高性能运行。
2. 运行环境与容器化
•裸机环境（Ubuntu 24）：最优性能，无虚拟化开销。
•Proxmox 容器化方案：适用于多任务并行，略有性能损耗。
•Docker & 网络优化：
•AMA_NUM_PARALLEL=1：优化 CPU 线程分配。
•LLAMA_GPU_LAYERS=4：部分任务交由 GPU 计算（适用于 GPU 方案）。
3. 预热策略
•首次运行需预热，可以在htop中监控 CPU 负载。
•预加载上下文窗口，提高响应速度，减少频繁重新加载的时间开销。
评价与展望
1. 方案优势
✅低成本：约2000 美元预算，即可运行 671B 级 LLM。
✅稳定高效：CPU 模式下，4.31 Tokens/s，适用于本地推理。
✅低噪音：相比传统服务器，运行更安静，适合长时间任务。
✅可扩展性强：16 个 DIMM 插槽，支持1TB 以上内存，未来可升级。
2. 主要挑战
⚠推理速度仍有限：与 A100/H100 等高端 GPU 相比，纯 CPU 方案仍然较慢。
⚠内存要求极高：至少450GB 内存，普通 PC 无法支持。
⚠初学者难度较大：需要Linux 经验，BIOS/环境配置繁琐。
3. 未来优化方向
?GPU 加速方案：测试 RTX 4090/5090 与 H100 对比，寻找最优性价比方案。
?Proxmox 容器化实验：评估虚拟化对推理性能的影响。
?优化 LLM 计算策略：调整计算图、模型分层，提升吞吐量。
本次测试成功在2000 美元级别的服务器上运行 DeepSeek R1（671B），并达到了4.31 Tokens/s的推理速度。对于个人研究者或小型团队而言，该方案提供了一种可行的本地推理路径，避免了云端 API 的高昂成本。
虽然该系统在推理速度上仍有提升空间，但对于非 GPU 加速环境，该方案已达到了当前性价比的极限。未来，我们期待更高效的量化方法和GPU 优化方案，进一步降低成本、提高推理性能。
粤ICP备14082021号
免费POC，
零成本试错
