推荐语

深入解析大语言模型引擎，发掘最适合你的工具，释放AI的无限可能。

核心内容：
1. Transformers引擎：NLP领域的全能工具，支持多种预训练模型
2. vLLM引擎：GPU推理性能的巅峰，提升大模型推理速度
3. Llama.cpp引擎：CPU上的轻量化先锋，无需GPU即可运行大模型

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

本文将带你深入了解 Transformers、vLLM、Llama.cpp、SGLang、MLX 和 Ollama 这些引擎，帮助你找到最适合的工具，释放大语言模型的全部潜力！

一、Transformers 引擎：NLP领域的全能王者

开发者：Hugging Face

核心特色：作为当下最炙手可热的开源NLP库，Transformers堪称NLP领域的“瑞士军刀”，它支持数百种预训练模型，涵盖GPT、BERT、T5等知名模型，从模型加载、微调，到推理，提供了一站式解决方案。

显著优势：

• 兼容性强：完美适配PyTorch和TensorFlow，为开发者提供更多选择。

• 生态繁荣：拥有活跃的社区，丰富的模型库与完善的文档，无论是初学者入门，还是专家深入研究，都能从中获益。

• 应用广泛：适用于从学术研究到工业生产的各类NLP任务。
  

• 适用场景：当你需要快速实现文本分类、生成、翻译等任务时，Transformers是不二之选，能助力你轻松实现NLP应用落地 。

  
  

二、vLLM 引擎：GPU推理的性能巅峰

开发者：UC Berkeley研究团队

核心特色：vLLM专注于大语言模型推理，凭借创新的内存管理技术（如PagedAttention），大幅提升GPU利用率与推理速度，堪称GPU推理的“性能怪兽”。

显著优势：

• 性能卓越：极致的推理速度，能够满足大规模部署需求。

• 内存高效：高效的内存管理，支持更大的模型批次处理。

• 场景适配：专为GPU优化，在高并发场景中表现出色。
  

  适用场景：若你需在生产环境部署大语言模型，并追求极致性能，vLLM无疑是最佳选择，它能提升模型推理速度，降低硬件成本 。

  
  

三、Llama.cpp 引擎：CPU上的轻量化先锋

开发者：社区项目

核心特色：Llama.cpp基于C++实现，专为运行Meta的LLaMA模型而生，通过优化计算与内存管理，让大模型在CPU上运行成为现实，是CPU设备上的“轻量级王者”。

显著优势：

• 轻量运行：无需GPU，在普通CPU设备上即可运行。

• 灵活部署：适合资源受限环境，如嵌入式设备、低配服务器。

• 开源拓展：开源特性使其易于扩展和定制。
  

• 适用场景：当设备无GPU资源，却需运行大语言模型时，Llama.cpp是理想之选，让普通设备也能体验大语言模型的强大 。

  
  

四、SGLang 引擎：高效推理的潜力新星

开发者：未知

核心特色：SGLang专注高效推理，可能运用稀疏计算、分布式优化等技术提升性能，虽充满神秘感，但潜力无限。

显著优势：

• 场景优化：针对特定场景深度优化，显著提升推理效率。

• 企业适配：适合对高性能推理有需求的企业级应用。
  

• 适用场景：在大规模分布式环境中运行大语言模型，SGLang值得一试，是探索未来推理技术的重要窗口 。

  
  

五、MLX 引擎：高效计算的未来之光

开发者：未知

核心特色：MLX可能是针对大语言模型优化的机器学习框架，聚焦高效计算与推理，是高效计算领域的“未来之星”。

显著优势：

• 硬件适配：可能针对TPU或定制芯片等特定硬件进行优化。

• 效率优先：适用于追求极致计算效率的场景。
  

• 适用场景：若需在特定硬件上运行大语言模型，MLX值得关注，其潜在的硬件优化能力，有望引领未来高效计算 。

  
  

六、Ollama：本地大模型运行的便捷之选

开发者：社区项目

核心特色：Ollama是本地运行大语言模型的利器，支持LLaMA、GPT等多种模型，简化模型部署与运行流程。

显著优势：

• 简单易用：操作简便，适合个人用户与开发者。

• 本地运行：无需云端资源，完全在本地设备实现模型运行。

• 模型丰富：支持多种模型，使用灵活。
  

• 适用场景：若想在个人设备上测试或运行大语言模型，Ollama是绝佳选择，助你摆脱云端依赖，随时体验大模型魅力 

七、指标对比

1. 性能对比

总结:

• vLLM 在 GPU 上的推理性能最优，适合大规模模型。

• Llama.cpp 和 Ollama 适合在 CPU 或低配设备上运行中小规模模型。

• SGLang 和 MLX 的性能潜力较大，但需要更多实践验证。

2. 并发能力对比

总结:

• vLLM 在高并发场景下表现最佳，适合生产环境。

• Transformers 和 SGLang 适合中等并发任务。

• Llama.cpp 和 Ollama 更适合单任务或低并发场景。

3. 适用场景对比

总结:

• Transformers 是通用性最强的工具，适合大多数 NLP 任务。

• vLLM 是企业级高并发场景的首选。

• Llama.cpp 和 Ollama 适合个人开发者或资源受限的环境。

• SGLang 和 MLX 适合需要高性能或特定硬件支持的场景。

4. 硬件兼容性对比

总结:

• Transformers 和 Ollama 兼容性最强，支持多种设备。

• vLLM 和 SGLang 需要高性能 GPU 或服务器。

• Llama.cpp 适合低配设备，而 MLX 需要特定硬件支持。

八、每秒输出token对比

1. 性能影响因素

在对比 TPS 之前，需要明确影响性能的关键因素：

• 硬件性能: GPU 的算力、显存带宽、显存容量等。

• 模型规模: 参数量越大，推理速度越慢。

• 批处理大小（Batch Size）: 较大的批处理可以提高吞吐量，但会增加显存占用。

• 引擎优化: 不同引擎在内存管理、计算优化等方面的表现差异显著。

  
  

2. GPU 性能对比

以下是 A800、A100 和 H100 的主要参数对比：

• H100 是目前性能最强的 GPU，适合高吞吐量和高并发场景。

• A100 和 A800 性能接近，但 A800 主要针对中国市场，符合出口管制要求。

3. 引擎 TPS 对比

以下是各引擎在不同 GPU 上的 预估 TPS（以 LLaMA-13B 模型为例）：

说明:

• vLLM 在高性能 GPU（如 H100）上的表现最佳，TPS 可达 500-1000，远超其他引擎。

• Transformers 性能中等，适合通用场景。

• Llama.cpp 和 Ollama 性能较低，适合资源受限的环境。

• SGLang 和 MLX 的性能数据较少，需进一步测试。

九、这里简单介绍一下 Xinference 安装

Xinference 在 Linux, Windows, MacOS 上都可以通过 pip 来安装。如果需要使用 Xinference 进行模型推理，可以根据不同的模型指定不同的引擎。

如果你希望能够推理所有支持的模型，可以用以下命令安装所有需要的依赖：

pipinstall"xinference[all]"

备注

如果你想使用 GGML 格式的模型，建议根据当前使用的硬件手动安装所需要的依赖，以充分利用硬件的加速能力。更多细节可以参考 Llama.cpp 引擎 这一章节。

如果你只想安装必要的依赖，接下来是如何操作的详细步骤。

pipinstall"xinference[transformers]"

pipinstall"xinference[vllm]"

pipinstallxinference

pipinstall'xinference[sglang]'

十、Xinference 环境变量