我要投稿

聊聊Cherry Studio如何接入vLLM部署的本地大模型

发布日期：2025-05-26 13:24:26 浏览次数： 2535

作者：阿郎小哥的随笔驿站

微信搜一搜，关注“阿郎小哥的随笔驿站”

接入本地大模型，vLLM部署，Ascend 910B4服务器，以OpenAI API兼容格式对外提供服务。

这其实就是一个很方便的UI客户端，LLM来源是各个线上云服务厂商或是本地部署的大模型，很方便。

默认模型服务商

下载好cherry studio，默认启用的模型服务是硅基流动，比较快速且方便简单。

参考：使用硅基流动API + Cherry Studio解锁DeepSeek R1满血版体验全攻略^[1]

如何接入本地模型

下载cherry studio客户端，接入本地部署的模型，步骤如下：

设置->模型服务->Ollama

先选择下面的添加按钮，填入部署时设置的模型名称（model-name）

然后选择管理将模型添加进去，最后就是配置API地址，我没有设置api-key因此不需要API密钥。

最后在默认模型->默认助手模型，选择自己部署的本地模型ollama。虽然我们在本地部署是基于vllm，但是对于ollama与vllm等中间件提供推理服务时，都是会支持openai api格式的API服务提供的。

最后在对话这里显示的就是我们选择的模型服务。当然在这之前，要在模型服务界面设置好API后，点击 "检测" 使用一下，如果一切通畅，会提示 "连接成功" 的提示；这点也是很关键的。

但是能不能提供一下vllm的服务类型呀，虽然选择ollama也能达到最终的效果，但有些突兀且需要自己摸索下。

注意点

要先添加模型，且要对上模型名称，然后就是管理，最后填对API信息即可，主要是选择好ollama。OpenAI的我也试了下，没有成功，而且提示旧的API调用不行，估计有点不一样吧，但不影响。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-08-25

手把手教你用LLaMA‑Factory微调医疗问答模型：从小白到专家的实战之路

2025-08-23

微调实战之上手训一个7b小模型

2025-08-18

WeChat-YATT：微信强化学习大模型训练库

2025-08-11

让AI读懂代码需求：模块化大模型微调助力高效代码理解与迁移

2025-08-07

大模型微调，解锁AI的专属超能力！

2025-07-31

微调之后还能做什么？大模型后训练全链路技术解析

2025-07-30

使用quarot量化qwen3并实现在线推理

2025-07-30

Unsloth微调Qwen3实战：让大模型训练飞起来的神器

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

手把手教你用LLaMA-Factory微调Qwen3大模型

2025-06-17

【大模型微调】5.调参经验总结与显存占用因素探究

2025-06-21

单卡4090上一键GRPO微调Qwen3最新模型

2025-05-31

大模型微调，为什么99%的企业都不应该碰这个坑？

2025-06-20

模型微调是啥？有哪些方法？小白也能看懂的通俗讲解

2025-07-03

深入理解大模型微调，LoRA超参数指南

2025-06-26

我用unsloth将Qwen3大模型微调成了一个脑筋急转弯专家

2025-06-02

飞桨 AI Studio：一步步微调你的大模型

2025-07-28

10分钟微调，让0.6B模型媲美235B模型！免费体验进行中

2025-07-22

万不得已，不要对 LLM 进行微调？

2025-06-17

大家都在问

大模型微调，为什么99%的企业都不应该碰这个坑？

2025-06-20

万不得已，不要对 LLM 进行微调？

2025-06-17

可以将任何符合OpenAPI规范的接口转 MCP Server吗？

2025-05-21

OpenAI发布GPT-4.1系列模型，对行业最大吸引力是什么？

2025-05-17

私有部署大模型需要多少显存？

2025-05-14

软件公司如何为AI的下半场做准备？

2025-05-10

LoRA为何成为大模型微调不可或缺的核心技术？

2025-05-07

为什么AI多轮对话总是那么傻？

2025-05-07

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部