我要投稿

AI 本地部署中的 ollama 是什么？

发布日期：2025-02-18 16:21:01 浏览次数： 1870 作者：生有可恋

Ollama 是一个开源工具，专为在本地计算机上高效运行大型语言模型（LLM，如 deepseek-r1、qwen2.5 等）而设计。它简化了模型的下载、部署和管理流程，让用户无需复杂配置即可在本地体验和开发基于大语言模型的应用。

从 ollama 的网站上可以查看所有的模型信息：

Windows 上直接下载安装包，一路 Next 即可。

Linux 上使用命令行安装：

$ curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz$ sudo tar -C /usr -xzf ollama-linux-amd64.tgz$ ollama serve$ ollama -v

也可使用其提供的 install.sh 脚本安装，安装前阅读其脚本，了解安装过程会干些啥：

$ curl -fsSL https://ollama.com/install.sh -o ollama-install.sh

如果自己不想读脚本，可以将脚本内容丢给 deepseek，让 AI 帮你阅读脚本并汇总主要步骤。

以下是该安装脚本的主要步骤汇总：

与手工安装不同的地方是，自动安装会处理显卡驱动的问题：

其中会涉及到使用 lsmod 、modprobe 等 linux kernel module 相关的命令。如果你操作的是和别人共享的服务器，请谨慎对待。因为安装完 ollama 后还会开启 11434 端口，如果是公网GPU服务器，乱开端口有被入侵的风险。

当前测试的服务器的硬件配置为：

$ cat /proc/cpuinfo && free -g && nvidia-smi

将查硬件配置的命令输出丢给 kimi 让其汇总一下：

安装完成后可以先下个 1.5b 的 deepseek-r1 模型试试。

./ollama run deepseek-r1:1.5b

deepseek-r1 1.5b 大小约1.1GB

默认安装的 ollama 服务不支持联网搜索功能，如果需要查询互联网上的信息，当前最便捷的办法还是使用AI公司提供的服务。比如问 deepseek-r1 模型的大小和运行需求，通过 kimi 发问：

在比如问: deepseek-r1:1.5b 其中的 b 代表什么？

也可以问 ollama 如何联网、如何安装，最后你会发现，所有博客、公众号的内容都变成了 AI 的素材，人们又通过 AI 获取信息写公众号，最后闭环了...

全文完。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-04-30

速报！DeepSeek-Prover-V2-671B 悄然上线，或为 R2 铺路？

2025-04-30

“Qwen3之后，我才真正敢投AI应用”

2025-04-30

真·开源MCP平台来了！ACI.dev能一站直连600+工具，让你的智能体秒变全能王！

2025-04-30

n8n：免费+开源的自动化神器，比dify更简单，比Make更强大！

2025-04-30

宝藏发现：Sim Studio，一款让AI工作流搭建变简单的开源利器

2025-04-29

我们有必要使用 Qwen3 吗？

2025-04-29

Qwen3开源发布：Think Deeper, Act Faster！社区推理、部署、微调、MCP调用实战教程来啦！

2025-04-29

阿里 Qwen3 技术详解: 4B 参数媲美 72B，MoE 架构的开源突破

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

2025-01-01

万字详解DeepSeek-R1，引爆AI圈的又一力作，大模型爆发势不可挡！

2025-01-21

太强了！10大开源大模型！

2024-05-06

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

DeepSeek-V3 正式发布

2024-12-26

大家都在问

速报！DeepSeek-Prover-V2-671B 悄然上线，或为 R2 铺路？

2025-04-30

我们有必要使用 Qwen3 吗？

2025-04-29

DeepSeek本地化部署有风险！快来看看你中招了吗？

2025-04-28

AGI｜智能体总忘事？Letta框架如何让AI告别"金鱼记忆"？

2025-04-28

杨植麟再掀 AI 风暴！Kimi-Audio 如何让机器听懂人类 “弦外之音”？

2025-04-28

AI大模型火热，将 Hugging Face大模型转换为 GGUF 为何受关注？

2025-04-21

微软最新 Playwright MCP 服务器强势来袭？

2025-04-19

OpenAI开源的Codex CLI是什么？

2025-04-17

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB