推荐语
探索本地部署大型语言模型的新工具，Ollama让AI应用开发更简单。
核心内容：
1. Ollama工具介绍及其对本地部署大型语言模型的便利性
2. Ollama的安装流程和脚本使用指南
3. 安装Ollama时需注意的硬件配置和安全问题
杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
Ollama 是一个开源工具，专为在本地计算机上高效运行大型语言模型（LLM，如 deepseek-r1、qwen2.5 等）而设计。它简化了模型的下载、部署和管理流程，让用户无需复杂配置即可在本地体验和开发基于大语言模型的应用。从 ollama 的网站上可以查看所有的模型信息：Windows 上直接下载安装包，一路 Next 即可。$ curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz$ sudo tar -C /usr -xzf ollama-linux-amd64.tgz$ ollama serve$ ollama -v
也可使用其提供的 install.sh 脚本安装，安装前阅读其脚本，了解安装过程会干些啥：$ curl -fsSL https://ollama.com/install.sh -o ollama-install.sh
如果自己不想读脚本，可以将脚本内容丢给 deepseek，让 AI 帮你阅读脚本并汇总主要步骤。以下是该安装脚本的主要步骤汇总：
与手工安装不同的地方是，自动安装会处理显卡驱动的问题：
其中会涉及到使用 lsmod 、modprobe 等 linux kernel module 相关的命令。如果你操作的是和别人共享的服务器，请谨慎对待。因为安装完 ollama 后还会开启 11434 端口，如果是公网GPU服务器，乱开端口有被入侵的风险。
$ cat /proc/cpuinfo && free -g && nvidia-smi
将查硬件配置的命令输出丢给 kimi 让其汇总一下：安装完成后可以先下个 1.5b 的 deepseek-r1 模型试试。./ollama run deepseek-r1:1.5b
deepseek-r1 1.5b 大小约1.1GB默认安装的 ollama 服务不支持联网搜索功能，如果需要查询互联网上的信息，当前最便捷的办法还是使用AI公司提供的服务。比如问 deepseek-r1 模型的大小和运行需求，通过 kimi 发问：在比如问: deepseek-r1:1.5b 其中的 b 代表什么？也可以问 ollama 如何联网、如何安装，最后你会发现，所有博客、公众号的内容都变成了 AI 的素材，人们又通过 AI 获取信息写公众号，最后闭环了...
粤ICP备14082021号
免费POC，
零成本试错
