Xinference 大模型部署指南

推荐语

手把手教你部署Xinference大模型，从驱动安装到环境配置全流程指南。

核心内容：
1. 服务器硬件配置与操作系统选择
2. NVIDIA驱动与CUDA工具链的详细安装步骤
3. Conda虚拟环境创建与Xinference框架部署

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

一、服务器信息

• CPU：Intel(R) Xeon(R) Gold 5416S

• 内存：128GB

• 硬盘：2 x 1TB SSD

• GPU：2 x NVIDIA RTX 4090 24GB

• 操作系统：Oracle Linux 8.10

二、安装NVIDIA 显卡驱动和 CUDA

2.1 安装内核头文件等依赖包

yum install -y kernel-uek-devel gcc make dkms elfutils-libelf-devel

安装完成后确保 kernel 与 kernel-devel 对应

如图所示：

2.2 下载并安装驱动

• 驱动下载地址：

https://www.nvidia.com/en-us/drivers/results/

NVIDIA-Linux-x86_64-570.133.07

chmod +x NVIDIA-Linux-x86_64-570.133.07.run ./NVIDIA-Linux-x86_64-570.133.07.run

• CUDA下载地址

https://developer.nvidia.com/cuda-12-4-0-download-archive?target_os=Linux&target_arch=x86_64&Distribution=RHEL&target_version=8&target_type=runfile_local

CUDA 12.4 runfile (local)

下载后执行以下命令：

chmod +x cuda_12.4.0_550.54.14_linux.run ./ cuda_12.4.0_550.54.14_linux.run

2.3 验证驱动是否安装成功

nvidia-smi

若能正确显示显卡信息，则安装成功。如图所示：

三、安装Conda

3.1 安装 Miniconda

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.shbash Miniconda3-latest-Linux-x86_64.sh

按提示安装后，执行以下命令使 conda 生效：

source ~/.bashrc

3.2 创建并激活虚拟环境

conda create -n xinference python=3.10 -yconda activate xinference

四、安装Xinference 及相关依赖

4.1 安装 xinference（vllm 版本）

pip install "xinference[vllm]"

4.2 安装 flashinfer

pip install flashinfer -i https://flashinfer.ai/whl/cu124/torch2.4

参考文档：

https://inference.readthedocs.io/zh-cn/latest/getting_started/installation.html#vllm-backend

xinference安装指南

4.3 安装 sentence-transformers

pip install sentence-transformers

五、启动Xinference 服务

1、确保xinference环境已激活，如图所示，如未激活，执行下面命令激活。

conda activate xinference

2、启动xinference服务

nohup bash -c "HF_ENDPOINT=https://hf-mirror.com XINFERENCE_HOME=/data/xinferenceNew CUDA_VISIBLE_DEVICES=0,1 xinference-local --host 0.0.0.0 --port 9997" &

启动命令参数说明：

• nohup：命令在后台运行。

• bash -c "..."：通过 bash 执行一系列设置和命令。

• HF_ENDPOINT=https://hf-mirror.com：指定 Hugging Face 国内镜像地址，用于加速模型下载。

• XINFERENCE_HOME=/data/xinference：xinference 的工作路径，用于保存模型文件和缓存。

• CUDA_VISIBLE_DEVICES=0,1：指定使用 GPU 的编号（2块显卡）。

• xinference-local：启动本地模式。

• --host 0.0.0.0：监听所有 IP，外部网络可访问。

• --port 9997：指定 Web 服务监听端口。

六、模型加载示例

http://10.0.110.20:9997/

6.1 启动重排序模型

6.2 启动嵌入模型

6.3 启动语言模型

参数说明：

• gpu_memory_utilization: 指定每张 GPU 最多使用其 80% 的显存（0~1 之间），防止显存占满。

• max_num_seqs: 最大并行推理序列数量，此处设置最多同时处理 30 个用户请求。

• max_model_len: 模型输入 token 的最大长度，最多 40960 个 token。

6.4 正在运行的模型

如图所示，已成功运行语言模型qwq 32b，嵌入模型bge-m3，重排序模型bge-reranker-large

七、Conda 的一些常用命令及其功能介绍

如果有conda 常用命令不是很清楚的，可细看Conda 的一些常用命令及其功能介绍：

 7.1、查看所有环境

conda env list

显示所有已创建的 Conda 环境，当前使用的环境前会标有一个星号 *

 7.2、创建新环境

conda create --name myenv python=3.10

创建一个名为 myenv的新环境，并指定 Python 版本为 3.10。你可以根据需要安装其他包。

 7.3、激活环境

conda activate myenv

激活名为 myenv的环境，之后安装的包将只在该环境中生效。

 7.4、退出/停用当前环境

conda deactivate

退出当前环境，回到 base（基础）环境或系统环境。

7.5、删除环境

conda remove --name myenv --all

删除名为 myenv的环境及其所有包。

7.6、安装包

conda install numpyconda install numpy pandas matplotlib

7.7、更新包

conda update numpy

更新当前环境中的 numpy包到最新版本。




---

往期推荐

• dify进入RAG2.0时代" data-itemshowtype="0" linktype="text" data-linktype="2">Dify进入RAG2.0时代


• 开发 RAG 应用的两种方式


• RAG 应用的技术架构


• Dify如何高效进行RAG知识检索？


• 6 款开源 PDF 转 Markdown 工具深度测评


• SpringBoot 华丽变装之外置Tomcat 打包运行


• 《系统之美》：面对复杂系统，怎样成为解决问题的高手？


• 私人读书法及推荐书单


• Ollama" data-itemshowtype="0" linktype="text" data-linktype="2">大语言模型引擎全解析：Transformers、vLLM、Llama.cpp、SGLang、MLX 和 Ollama


• Ollama环境变量配置全攻略：从基础设置到场景化调优


• 非技术人员也能玩转的知识库：Dify 可视化操作手册


• AI编程助手大比拼：5款工具实测！效率提升10倍的秘诀在这里


• DeepSeek+BGE-M3来搭建本地知识库实操" data-itemshowtype="0" linktype="text" data-linktype="2">Dify+Ollama+Deepseek+BGE-M3来搭建本地知识库实操


• 如何让国产大模型DeepSeek成为你的超级外脑？掌握这25个提问公式就够了


• 打工人必备！10 款 AI 工具，一键开启效率狂飙

• DeepSeek本地企业知识库搭建全攻略


• 别再被误导！这才是与AI有效沟通的正确打开方式


• DeepSeek + 剪映：短视频创作的 AI 革命！10 分钟一条爆款，手把手教你用 AI 躺赚流量


• 知识蒸馏：让AI大模型"瘦身"不减智的DeepSeek核心技术揭秘


• Deep Seek 各模型版本的区别详解


• DeepSeek-R1 本地部署全攻略：从模型选择到实战应用

• DeepSeek：推开AGI时代的大门，一文读懂这个AI领域的“中国探路者”

• Agent 入门，通往AGI必由之路" data-itemshowtype="0" linktype="text" data-linktype="2">AI Agent 入门，通往AGI必由之路


• AI 编程 — 大模型最强垂直领域

• ChatGLM3构建企业私有知识库

• 分布式框架是如何保证应用的高可用的？


• 《Arthas 神器手册》实践讲解


• 《Arthas 神器手册》Java开发工程师必备工具


• 秒懂B+Tree-深入MySQL索引结构


• MySQL InnoDB存储引擎的事务隔离级别实例讲解

• Elasticsearch冷热数据分离探索


• kafka消费者的一些参数的思考


• 猴子理论 : 当Leader之后，如何抽出多一点时间做自己的事情！

• MySQL 的那些“锁”事


• 程序员: 打开你心中的那个“锁”，让你云游JAVA世界

• 原理篇：原来在分布式集群中服务之间的负载均衡是这么实现的！


• 自定义Sping Oauth2授权模式（短信验证码）

• 精心为您准备的Nginx配置手册，如果可以的话收藏一下吧！！