我要投稿

还不会部署本地AI大模型？LangChat带你快速接入并部署本地大模型

发布日期：2024-08-24 22:40:09 浏览次数： 2255

作者：程序员涂陌

微信搜一搜，关注“程序员涂陌”

LangChat是Java生态下企业级AIGC项目解决方案，在RBAC权限体系的基础上，集成AIGC大模型功能，帮助企业快速定制知识库、企业机器人。

产品官网：http://langchat.cn/
LangChat源码：https://github.com/tycoding/langchat

还不会部署本地AI大模型？使用LangChat带你快速部署并接入本地Ollama AI大模型。

配置Ollama

Ollama是一种本地模型部署方案，Ollama简化了模型的部署方式，通过官方一行命令即可在本地下载并启动一个模型。重点：有很多不需要GPU的模型

Ollama的官网：https://ollama.com/library

例如我们想要在本地部署最新的Llama3.1模型：

首先需要安装Ollama官方客户端，然后直接执行命令：

ollama run llama3.1

默认会下载最小的模型，越大的模型对电脑配置要求越高，最小的模型一般不需要GPU也可运行（我使用的16/512 Mac book pro测试）。

下载完成后会直接运行模型，如下，非常简单，我们可以直接通过命令行对话模型：

配置Ollama

启动完成后，Ollama默认会暴露一个http端口：http://127.0.0.1:11434 。也就是我们最终会使用http://127.0.0.1:11434/api/chat 接口和Ollama模型聊天。

首先我们需要在LangChat模型管理页面配置Ollama模型信息，这里的BaseUrl必须填写上述地址，然后【模型】填写你运行的模型名称即可：

测试效果如下，在LangChat的聊天助手页面的右上角选择刚刚配置的Ollama模型即可快速使用。（注意：最终的效果完全取决于模型的能力，和模型的参数大小有关，想要更好的效果、更快的响应速度就必须配置更高参数的列表，也就必须使用显存更高的机器）

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-12-08

让AI智能体拥有像人类的持久记忆：基于LangGraph的长短期记忆管理实践指南

2025-12-04

Agentic RAG这样用LangChain解决复杂问题

2025-12-01

Deep Agent 进化论：基于文件系统的 Context Engineering 深度解析

2025-11-27

langgraph 1.0.4 最新发布：功能优化与修复详解

2025-11-25

LangChain 最新agent框架deepagents测评：长任务友好，高可控

2025-11-25

被 LangChain 全家桶搞晕了？LangGraph、LangSmith、LangFlow 一文读懂

2025-11-21

如何用 LangGraph 构建高效的 Agentic 系统

2025-11-19

LangChain v1.0 模型选型：静态还是动态？一文看懂 Agent 的正确打开方式

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

告别无效检索：我用LangExtract + Milvus升级 RAG 管道的实战复盘

2025-09-21

不再搞Chain 设计的LangChain 1.0，与LangGraph有哪些区别？

2025-11-03

LangChain V1.0 深度解析：手把手带你跑通全新智能体架构

2025-10-23

AI 不再“乱跑”：LangChain × LangGraph 打造可控多阶段智能流程

2025-10-19

Spring AI Alibaba/Dify/LangGraph/LangChain 一文讲清四大AI框架怎么选

2025-10-31

LangChain v1.0正式版发布，5分钟快速上手实战

2025-11-06

LangChain 1.0 全面进化指南

2025-11-05

AI Agent 软件工程关键技术综述

2025-09-19

LangChain 与 LangGraph 双双发布 1.0：AI 智能体框架迎来里程碑时刻！

2025-10-23

LangSmith+LangGraph本地化部署与离线调试全流程

2025-11-01

大家都在问

不再搞Chain 设计的LangChain 1.0，与LangGraph有哪些区别？

2025-11-03

为什么我们选择 LangGraph 作为智能体系统的技术底座？

2025-10-29

LangChain创始人：如何让AI智能体（Agent）跑得更快？

2025-07-14

“你问我答”，LangChain 是怎么帮 AI 变聪明的？

2025-07-13

一文看懂 LangChain：为什么火？核心模块都干啥？

2025-07-05

LangChain的OpenAI和ChatOpenAI，到底应该调用哪个？

2025-06-26

【LangChain 团队重磅实测报告】多智能体架构揭秘：谁才是性能之王？

2025-06-13

首个落地案例！WEBTOON 用 LangGraph 构建故事理解 Agent，创作者 AI 时代的范式来了？

2025-05-21

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部