我要投稿
微信搜一搜，关注“阿郎小哥的随笔驿站”
掌握本地大模型部署技巧，体验Cherry Studio带来的便捷。 核心内容： 1. Cherry Studio如何接入vLLM部署的本地大模型 2. 详细步骤：从下载Cherry Studio到配置本地模型ollama 3. 注意事项：模型名称、API配置及OpenAI API兼容性问题
接入本地大模型，vLLM部署，Ascend 910B4服务器，以OpenAI API兼容格式对外提供服务。
这其实就是一个很方便的UI客户端，LLM来源是各个线上云服务厂商或是本地部署的大模型，很方便。
下载好cherry studio，默认启用的模型服务是硅基流动，比较快速且方便简单。
参考：使用硅基流动API + Cherry Studio解锁DeepSeek R1满血版体验全攻略[1]
下载cherry studio客户端，接入本地部署的模型，步骤如下：
设置->模型服务->Ollama
先选择下面的 添加 按钮，填入部署时设置的模型名称（model-name）
然后 选择 管理 将模型添加进去，最后就是配置API地址，我没有设置api-key因此不需要API密钥。
最后在默认模型->默认助手模型，选择自己部署的本地模型ollama。虽然我们在本地部署是基于vllm，但是对于ollama与vllm等中间件提供推理服务时，都是会支持openai api格式的API服务提供的。
最后在对话这里显示的就是我们选择的模型服务。当然在这之前，要在模型服务界面设置好API后，点击 "检测" 使用一下，如果一切通畅，会提示 "连接成功" 的提示；这点也是很关键的。
但是能不能提供一下vllm的服务类型呀，虽然选择ollama也能达到最终的效果，但有些突兀且需要自己摸索下。
要先添加模型，且要对上模型名称，然后就是管理，最后填对API信息即可，主要是选择好ollama。OpenAI的我也试了下，没有成功，而且提示旧的API调用不行，估计有点不一样吧，但不影响。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-30
2025-04-19
2025-04-16
2025-04-16
2025-04-20
2025-05-26
2025-04-20
2025-04-19
2025-05-07
2025-05-21
回到顶部
粤ICP备17114055号