Docker可以跑大模型了！！！

发行说明

2025年3月31，Docker Desktop发布了V4.40.0，该版本重点是支持从Docker Hub提取、运行和管理 AI 模型：

Release notes :https://docs.docker.com/desktop/release-notes/

在此之前，通过Docker部署大模型，必须先运行Ollama容器，再通过Ollama容器运行大模型。

现在，直接跑大模型了，这是一个好消息。

有好消息就有坏消息，坏消息是，当前只支持带有 Apple Silicon 的 Mac 版 Docker Desktop：

详细内容请查阅： https://docs.docker.com/desktop/features/model-runner/?uuid=66EBDDDD-7F8B-4743-AA27-F3BCA323736F

使用准备

安装Docker Desktop

访问 https://docs.docker.com/desktop/release-notes/ 点击下载链接：

已安装过就打开Docker Desktop，找到Software updates，点击“Check for updates”:

事实上，当打开Docker Desktop也会提醒更新。

启用模型运行器

找到Features in development，勾选Enable Docker Model Runner前的复选框：然后"Apply & restart"。

操作命令

拉取大模型

准备就绪后，在终端中执行大模型拉取命令：

docker model pull ai/deepseek-r1-distill-llama

当然，也可在Docker Desktop的搜索框里查找并拉取：

目前支持拉取的大模型参考：https://hub.docker.com/catalogs/gen-ai

查看拉取的大模型

docker model list

运行大模型

• 非交互式运行大模型

docker model run ai/deepseek-r1-distill-llama:latest "你好"

• 交互式运行大模型

docker model run ai/deepseek-r1-distill-llama:latest

删除大模型

docker model rm ai/deepseek-r1-distill-llama:latest

API调用

我尝试了官网说的其中2种调用方式，感觉都还行。

基于主机Unix 套接字

curl --unix-socket $HOME/.docker/run/docker.sock \
    localhost/exp/vDD4.40/engines/llama.cpp/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "ai/deepseek-r1-distill-llama",
        "messages": [
            {
                "role": "system",
                "content": "你是一个幽默的人."
            },
            {
                "role": "user",
                "content": "请给我讲一个小猪的笑话。"
            }
        ]
    }'

效果：

基于本机TCP端口

# 启用主机端 TCP 支持
docker desktop enable model-runner --tcp 12434


curl http://localhost:12434/engines/llama.cpp/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
 "model": "ai/deepseek-r1-distill-llama",
 "messages": [
  {
   "role": "system",
   "content": "你是一个会讲故事的人."
  },
  {
   "role": "user",
   "content": "请给我讲一个小马过河的故事。"
  }
 ]
}'

效果：