Ubuntu24.04+RTX 3060+Ollama快速部署DeepSeek

推荐语

快速部署DeepSeek，实现高性能深度学习环境搭建。

核心内容：
1. 环境准备：Ubuntu 24.04 LTS系统与RTX 3060显卡配置要求
2. 显卡驱动安装：Ubuntu 24.04下自动安装NVIDIA驱动步骤
3. Ollama部署：Ubuntu 24.04安装Ollama及加速器使用指南

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

一、环境准备：系统与硬件配置

1. 系统要求

• Ubuntu 24.04 LTS（内核 ≥6.8.0） 

  
  

• 显卡驱动 ≥535（支持CUDA 12.3，默认安装是550版本） 

  
  

• 内存 ≥32GB（推荐64GB，保障多任务处理，我的是64G）

硬件适配

• RTX 3060（12GB显存，支持7B/14B蒸馏模型，最终我3060拉取的是14b，显卡使用是10G） 

  
  

• SSD ≥100GB（建议PCIe 4.0 NVMe，加速模型加载，我安装的是500G的m2）

二、显卡驱动安装

 Ubuntu24.04安装显卡驱动参考：https://cn.linux-console.net/?p=31028 root@bkb-MS-7D95:~# ubuntu-drivers devices   #####查看支持的驱动版本root@bkb-MS-7D95:~# ubuntu-drivers autoinstall    ###默认自动安装驱动

 如下图，自动安装驱动成功。可以看到安装的是550版本，相较于自己去官网下载驱动安装，这个auto安装省不少事，效率也快很多。  

  执行下述命令返回代表安装完成。可以显示显卡信息。   

root@bkb-MS-7D95:~# nvidia-smi

三、Ollama 部署

1. Ollama 安装

 Ubuntu24.04安装ollama参考链接：https://zhuanlan.zhihu.com/p/20514173947如果执行一键安装命令curl -fsSL https://ollama.com/install.sh | sh国内直接安装ollama网速过慢退出，如下图

  这时候就需要加速器来加速安装ollama了，下载脚本下来替换镜像地址 

参考换源：https://blog.tianhao.tech/default/ollama-installation-guide-china.html#cl-5

root@bkb-MS-7D95:/bkb# sed -i 's|https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64|g' install.shroot@bkb-MS-7D95:/bkb# sed -i 's|https://ollama.com/download/ollama-linux-amd64-rocm.tgz${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64-rocm.tgz|g' install.sh

换加速源后下载速度提升很多，下图是对比，原本官网安装好久才1.2%，换了后半个小时左右安装完成ollama。      

四、DeepSeek 蒸馏模型部署

1. 模型选择与下载

• 推荐版本：deepseek-r1:8b（4.9GB，性能保留65%）
• 加速下载：使用镜像源 ollama pull deepseek-r1:7b --registry-mirror （这里我执行拉取很快。并没有限速。到了90%后稍微慢一些）

启动模型服务

• 基础命令：ollama run deepseek-r1:8b   (实测这个显卡12G使用是6G多)

•                     ollama run deepseek-r:14b    (实测这个显卡12G使用是10G多)
      
• GPU 加速模式：OLLAMA_GPU_LAYER=metal ollama run deepseek-r1:7b

• ollama run deepseek-r1:8b   (实测这个显卡12G使用是6G多)

• ollama run deepseek-r:14b    (实测这个显卡12G使用是10G多)

 至此模型后端完成部署。

  上面通过命令行交互不是很人性化，这时候就需要安装一个ui浏览器窗口来进行交互。     

五、验证与调试

1. 基础功能测试

• 命令行问答验证：ollama run deepseek-r1:8b "对比3.06和3.2大小" 

  
  

• WebUI 访问：http://localhost:8080（需部署 Open WebUI）   

安装openui

这里使用docker安装，docker安装步骤跳过，自行安装哈。

docker run -d -p 8080:8080 -e OLLAMA_BASE_URL=http://192.168.10.110:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

网址打开如下：

交互式使用

六、常见问题与解决方案

1. 模型下载失败

• 使用迅雷替代 curl 下载安装包 

• 手动导入模型文件：ollama create deepseek-r1 -f Modelfile 

  
  

• GPU 未被调用

• 检查 Docker 配置：nvidia-container-toolkit 安装状态 
• 显存分配策略：限制单任务显存 --num-gpu 50%