我要投稿

GPUStack：一个开源 GPU 集群管理器，用于运行大型语言模型 (LLM)。

发布日期：2024-08-13 07:38:33 浏览次数： 3885

作者：Halo咯咯

微信搜一搜，关注“Halo咯咯”

01。

概述

GPUStack，一个用于运行大型语言模型（LLMs）的开源GPU集群管理器。尽管LLMs作为公共云服务广泛可用，但组织机构难以轻松地托管自己的LLM部署以供私有使用。它们需要安装和管理复杂的集群软件，如Kubernetes，然后弄清楚如何在其上安装和管理AI工具栈。流行的本地运行LLMs的方式，如LMStudio和LocalAI，仅在单机上工作。

GPUStack允许您从Apple MacBook、Windows PC和Linux服务器中的任何品牌的GPU创建统一的集群。管理员可以从如Hugging Face这样的流行仓库部署LLMs。开发者随后可以像访问OpenAI或Microsoft Azure等供应商提供的公共LLM服务一样轻松地访问LLMs。

02。

为什么用GPUStack？

当前，希望在GPU服务器集群上托管大型语言模型（LLMs）的组织必须进行大量工作来集成复杂的软件栈。通过使用GPUStack，组织不再需要担心集群管理、GPU优化、LLMs干扰引擎、使用和计量、用户管理、API访问和仪表板用户界面。GPUStack是一个完整的软件平台，用于构建您自己的大型语言模型即服务（LLMaaS）。

正如下图所示，管理员可以从HuggingFace等仓库部署模型到GPUStack，然后开发者可以连接到GPUStack，在他们的应用程序中使用这些模型。

03。

特性

GPU集群搭建与资源整合

GPUStack能够整合集群内所有GPU资源。它旨在支持包括Nvidia、Apple、AMD、Intel、Qualcomm等在内的所有GPU厂商。GPUStack与运行MacOS、Windows和Linux的笔记本电脑、台式机、工作站和服务器兼容。

GPUStack的初始版本支持配备Nvidia显卡的Windows PC和Linux服务器，以及Apple Mac。

模型部署与推理

GPUStack支持在GPU机器集群上分布式部署和推理LLMs。

GPUStack为在特定GPU上运行给定的LLM选择最佳的推理引擎。GPUStack支持的第一个LLM推理引擎是LLaMA.cpp，这使得GPUStack能够支持来自Hugging Face的GGUF模型以及ollama库（ollama.com/library）中列出的所有模型。

您可以通过先将模型转换为GGUF格式并上传至Hugging Face或Ollama库，在GPUStack上运行任何模型。

其他推理引擎的支持，如vLLM，已列入我们的开发路线图，并将在将来提供。

注意：GPUStack将自动调度您选择的模型在具有适当资源的机器上运行，免除您的手动干预。如果您想评估所选模型的资源消耗，可以使用我们的GGUF Parser项目：https://github.com/gpustack/gguf-parser-go。我们计划在未来提供更详细的教程。

尽管推荐使用GPU加速进行推理，我们还支持CPU推理，尽管性能不如GPU。或者，使用GPU和CPU混合进行推理可以最大化资源利用率，这在边缘或资源受限的环境中特别有用。

与您的应用程序轻松集成

GPUStack提供与OpenAI兼容的API，并提供LLM游乐场以及API密钥。游乐场使AI开发者能够试验并自定义您的LLMs，并无缝地将它们集成到AI应用程序中。

此外，您可以使用GPUStack提供的指标来了解您的AI应用程序如何利用各种LLMs。这有助于管理员有效管理GPU资源消耗。

GPU和LLMs的可观测性指标

GPUStack提供全面的指标，用于性能、利用率和状态监控。

对于GPU，管理员可以使用GPUStack监控实时资源利用率和系统状态。基于这些指标：

管理员执行扩展、优化和其他维护操作。
GPUStack调整其模型调度算法。

对于LLMs，开发者可以使用GPUStack访问诸如令牌吞吐量、令牌使用情况和API请求吞吐量等指标。这些指标帮助开发者评估模型性能并优化其应用程序。GPUStack计划在未来版本中根据这些推理性能指标支持自动扩展。

认证和访问控制

GPUStack还为企业提供了认证和基于角色的访问控制（RBAC）。平台上的用户可以拥有管理员或常规用户角色。这保证了只有授权的管理员才能部署和管理LLMs，只有授权的开发者才能使用它们。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-03-20

企业级 Agent 多智能体架构与选型指南 -- 来自1000+行业应用实践积累

2026-03-20

ollama v0.18.2 发布！OpenClaw 安装优化、Claude 加速、MLX 量化全面升级

2026-03-19

开源版Cowork——Eigent集成ERNIE 5.0，让AI Agent自动化高效工作

2026-03-17

打造 Claude Code 并行自主开发环境：Auto Claude + GLM 4.7

2026-03-17

又一款开源的LLM生成3D场景的3D编辑器，这次功能更强大了

2026-03-17

英伟达的NemoClaw，能帮AI代理这匹“野马”套上缰绳吗？

2026-03-17

腾讯混元AI Infra核心技术重磅开源：推理吞吐提升30%！

2026-03-17

英伟达重磅开源！Nemotron 3 Super：专为AI智能体打造的"超级大脑

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Clawdbot 完整安装教学：2026 年最火的开源AI 个人助理

2026-01-27

重磅开源！Kimi K2.5 本地部署全攻略：手把手教你跑通 1T MoE 巨兽

2026-01-30

SkillsMP：一个聚合了 5 万+ AI Agent 技能的开源社区

2026-01-12

Clawdbot 深度拆解： 7 个问题看懂它。

2026-01-29

实测Kimi K2.5，这是一款厌丑的开源模型

2026-01-27

一文彻底看懂 Google 最新开源 A2UI 协议：如何让 AI Agent “说出UI” ？

2025-12-22

ClawdBot 火爆全网，手把手教你如何部署，还能直接用钉钉操作！

2026-01-28

OpenWork：Claude Cowork 的开源替代品

2026-01-21

我把Claude Code换成GLM-4.7用了6小时，我竟然没发现明显区别

2025-12-23

Claude Code最强开源对手！GitHub 50.2k Star了，作者为它烧掉2.4w美元。

2026-01-06

大家都在问

英伟达的NemoClaw，能帮AI代理这匹“野马”套上缰绳吗？

2026-03-17

你的 AI Agent 真的在受控运行吗？

2026-03-13

137K 行代码、零 clippy 警告：这个开源项目凭什么让 AI Agent 领域炸锅？

2026-03-02

Clawdbot 如何实现像人一样的长期记忆？

2026-02-05

一夜爆火，Clawdbot是否才是真正的AI入口产品？

2026-01-28

Clawdbot爆火：Karpathy点赞的开源AI助理，到底是什么？

2026-01-26

速递 | DeepSeek突然扔出MODEL1，这到底是V4还是R2？

2026-01-21

DeepSeek-R2要来了？

2026-01-21

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部