我要投稿

基础篇| 大模型部署框架

发布日期：2024-09-25 22:29:31 浏览次数： 2274

作者：程序猿阿三

微信搜一搜，关注“程序猿阿三”

为什么要有大模型部署框架?

为什么有了推理框架，还要来一个什么部署框架？上节内容我们介绍了有12种大模型推理框架，虽然多，但是现在业界尚不存在各方面都远超其同类产品的推理框架，不同推理引擎在不同平台，硬件和模式下分别具有各自的优势，比如TensorRT有足够多的灵活性，在GPU执行时可以共享上下文，可以使用外部内存用于推理等，OpenVINO有高吞吐率模式，可以CPU与GPU异构设备同时推理。作为应用开发者，为了实现最优效率，如果针对不同环境都写一套代码去适配其最优推理框架，其耗费的学习成本和精力及代码量都将极其巨大。

这时候有大模型部署框架用武之地，大模型部署框架作为一种高效、灵活的部署方式，能够大大提高模型训练和部署的效率，降低模型在部署过程中的时间和成本。

02 部署框架对比

模型部署框架	Xinference	LocalAI	Ollama	FastChat
OpenAI API 接口对齐	支持	支持	支持	支持
加速推理引擎	GPTQ, GGML, vLLM, TensorRT, mlx	GPTQ, GGML, vLLM, TensorRT	GGUF, GGML	vLLM
接入模型类型	LLM, Embedding, Rerank, Text-to-Image, Vision, Audio	LLM, Embedding, Rerank, Text-to-Image, Vision, Audio	LLM, Text-to-Image, Vision	LLM, Vision
Function Call	支持	支持	支持	/
更多平台支持(CPU, Metal)	支持	支持	支持	支持
异构	支持	支持	/	/
集群	支持	支持	/	/
操作文档链接	https://inference.readthedocs.io/zh-cn/latest/models/builtin/index.html	https://localai.io/model-compatibility/	https://github.com/ollama/ollama?tab=readme-ov-file#model-library	https://github.com/lm-sys/FastChat#install
可用模型	支持上百种大模型，https://inference.readthedocs.io/zh-cn/latest/models/builtin/index.html	https://localai.io/model-compatibility/#/	https://ollama.com/library#/	https://github.com/lm-sys/FastChat/blob/main/docs/model_support.md

03 总结

从支持模型数量,以及各种特性来看, xinference框架特性最全,支持模型最多, 从易用性来说, ollama绝对适用于一些初学者。

有了部署框架,对LLM一知半解的后端人员也能轻易部署LLM模型,不需要深入了解每个模型.。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-09-16

新版 GPT-5 刚刚发布，最卷 AI 连肝代码 7 小时，编程工具大洗牌开始了

2025-09-16

Subagents：构建高可靠 AI Coding 专家顾问团

2025-09-16

刚刚！阿里发新模型，幻觉率爆降70%

2025-09-16

Agent三大痛点：知识库+工作流+Prompt工程

2025-09-16

Anthropic发布首个AI经济指数报告:越富越用AI,企业比个人更信任AI

2025-09-16

Claude Code与GitHub结合使用的实践指南

2025-09-16

企业复杂Agent落地的12个工程化原则 | 原则二：构建Prompt工程可扩展、可维护、可调试、可回滚 | 提示词A/B实验

2025-09-16

OpenAI深夜放出「编程核弹」：GPT-5-Codex 正式发布，能独立爆肝7 小时

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek-V3.1 发布，迈向 Agent 时代的第一步

2025-08-21

精|知识探索新范式：深度研究Deep Research智能体全面综述，系统、方法与应用

2025-06-21

DeepSeekV3.1 提到的 UE8M0 FP8 Scale 是什么？下一代国产芯片设计？

2025-08-21

DeepSeek V3.1 测评

2025-08-19

能办成事的 Agent：实时与环境交互，从经验中学习

2025-06-19

WAIC 2025 观察：大模型进入“效率与场景”决胜期

2025-07-29

AI大家说 | 下一代AI创业的机会在哪里？定价趋势是什么？

2025-09-08

DeepSeek突然更新V3.1：实测后才发现的亮点与槽点

2025-08-19

DeepSeek v3.1 到底有多强？与 Claude Code 一起实测！

2025-08-20

豆包又在偷偷进步！超能创意2.0内测，语意理解能力追平FLUX Kontext

2025-07-04

大家都在问

Qwen3-Coder与Claude Code深度对比：谁是你的AI编程助手？

2025-09-14

阿里推出夸克医疗大模型：医考70%高分背后，RAG为何是“压舱石”？

2025-09-12

AI市场调查实战：如何让AI帮你搜全网特定规格的产品？

2025-09-11

Embedding-审核场景下都可以在哪里应用？

2025-09-11

nano banana 文生图模型有哪些具体的应用场景？

2025-09-09

Claude Code：极简架构 + 万字提示词 = 最强开发者智能体？

2025-09-09

观察 | 面临经济下行和AI的双重冲击，企业顾问如何突破困局？

2025-09-08

AI大家说 | 下一代AI创业的机会在哪里？定价趋势是什么？

2025-09-08

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部