我要投稿

部署运维SRE专属大模型

发布日期：2025-04-30 08:00:19 浏览次数： 1517 作者：企业云台

前段时间一位前同事说微调了一个SRE领域的专属大模型（基于 DeepSeek 架构的 7B 参数量模型，经过 LoRA 微调，专为运维领域任务设计。强化了三块能力：自动化脚本生成、系统监控分析、故障排查与根因定位），趁这两天放假打算部署体验一下。

准备工作

选择阿里云GPU服务器作为部署环境，本机MAC电脑实在跑不起来。
GPU的配置建议：系统盘至少100G，内存60G。
通过docker镜像的方式将依赖组件打包安装。组件信息如下：

安装步骤

1、创建GPU实例并安装Tesla驱动

实例支持以下GPU实例规格族：

gn6e、ebmgn6e
gn7i、ebmgn7i、ebmgn7ix
gn7e、ebmgn7e、ebmgn7ex
ebmgn8v、ebmgn8is

镜像：选择以Ubuntu 20.04操作系统为例。在GPU实例上使用vLLM容器镜像，需要提前在该实例上安装Tesla驱动且驱动版本应为535或更高，建议您通过ECS控制台购买GPU实例时，同步选中安装GPU驱动。

2、远程连接GPU实例，推荐一款AI 终端神器Warp（强烈建议）.

3、执行以下命令，安装Docker环境。

sudo apt-get updatesudo apt-get -y install ca-certificates curlsudo install -m 0755 -d /etc/apt/keyringssudo curl -fsSL http://mirrors.cloud.aliyuncs.com/docker-ce/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.ascsudo chmod a+r /etc/apt/keyrings/docker.ascecho \  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] http://mirrors.cloud.aliyuncs.com/docker-ce/linux/ubuntu \  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \  sudo tee /etc/apt/sources.list.d/docker.list > /dev/nullsudo apt-get updatesudo apt-get install -y docker-ce docker-ce-cli containerd.io

4、执行以下命令，检查Docker是否安装成功。

docker -v

5、执行以下命令，安装nvidia-container-toolkit。

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

6、设置Docker开机自启动并重启Docker服务。

sudo systemctl enable docker 
sudo systemctl restart docker

7、执行以下命令，查看Docker是否已启动。

sudo systemctl status docker

8、执行以下命令，拉取vLLM镜像。

sudo docker pull egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm:0.8.2-pytorch2.6-cu124-20250328

9、执行以下命令，运行vLLM容器。

sudo docker run -d -t --net=host --gpus all \ --privileged \ --ipc=host \ --name vllm \ -v /root:/root \ egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm:0.8.2-pytorch2.6-cu124-20250328

10、执行以下命令，查看vLLM容器是否启动成功。

docker ps

验证步骤

1、安装git命令并将大模型下载到本地。

apt install git-lfscd /root

git lfs clone https://www.modelscope.cn/phpcool/DeepSeek-R1-Distill-SRE-Qwen-7B.git

2、进入到vLLM容器里面

docker exec -it vllm bash

3、启动vLLM推理服务

vllm serve /root/DeepSeek-R1-Distill-SRE-Qwen-7B --tensor-parallel-size 1 --max-model-len 2048 --enforce-eager

如下所示，表示vLLM推理服务已启动。

4、在这台GPU服务器上面通过curl测试一下

curl http://localhost:8000/v1/chat/completions \    -H "Content-Type: application/json" \    -d '{    "model": "/root/DeepSeek-R1-Distill-SRE-Qwen-7B",       "messages": [    {"role": "system", "content": "你是一位智能运维助手。"},    {"role": "user", "content": "如何优化服务器的存储性能以提高数据读写速度？" }    ]}'