我要投稿
微信搜一搜，关注“程序猿阿三”
02 部署框架对比
| 模型部署框架 | Xinference | LocalAI | Ollama | FastChat |
| OpenAI API 接口对齐 | 支持 | 支持 | 支持 | 支持 |
| 加速推理引擎 | GPTQ, GGML, vLLM, TensorRT, mlx | GPTQ, GGML, vLLM, TensorRT | GGUF, GGML | vLLM |
| 接入模型类型 | LLM, Embedding, Rerank, Text-to-Image, Vision, Audio | LLM, Embedding, Rerank, Text-to-Image, Vision, Audio | LLM, Text-to-Image, Vision | LLM, Vision |
| Function Call | 支持 | 支持 | 支持 | / |
| 更多平台支持(CPU, Metal) | 支持 | 支持 | 支持 | 支持 |
| 异构 | 支持 | 支持 | / | / |
| 集群 | 支持 | 支持 | / | / |
| 操作文档链接 | https://inference.readthedocs.io/zh-cn/latest/models/builtin/index.html | https://localai.io/model-compatibility/ | https://github.com/ollama/ollama?tab=readme-ov-file#model-library | https://github.com/lm-sys/FastChat#install |
| 可用模型 | 支持上百种大模型，https://inference.readthedocs.io/zh-cn/latest/models/builtin/index.html | https://localai.io/model-compatibility/#/ | https://ollama.com/library#/ | https://github.com/lm-sys/FastChat/blob/main/docs/model_support.md |
03 总结
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业
2025-05-29
2025-05-23
2025-06-01
2025-05-07
2025-05-07
2025-05-07
2025-06-07
2025-06-21
2025-06-12
2025-05-20
2025-07-31
2025-07-31
2025-07-31
2025-07-30
2025-07-30
2025-07-30
2025-07-30
2025-07-29
回到顶部
粤ICP备14082021号