支持私有化部署
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


一个月获得 9000 Star! 这个开源项目牛!

发布日期:2024-05-27 13:24:31 浏览次数: 1909 作者:逛逛GitHub
Ollama 是一个轻量级、可扩展的大模型框架,这个开源项目能帮助你在本地电脑上玩转和运行大语言模型。
如果你的电脑没有 GPU 也是能使用的,只不过大模型会使用 CPU 计算慢一些。
第一步 部署
Ollama 支持 macOS、Windows 预览版和 Linux 系统。你可以直接去开源项目的主页去找最新的部署方式:github.com/ollama
或者使用 Docker 来快速启动 Ollama。此外,Ollama还提供了Python 和 JavaScript 库,方便开发者集成到自己的项目中。
macOS
下载链接:github.com/ollama/ollama#macos
Windows预览版
下载链接:github.com/ollama/ollama#windows-preview
Linux
安装命令:
curl -fsSL https://ollama.com/install.sh | sh

Docker

Ollama 的官方 Docker 镜像可在 Docker Hub 上找到,名为`ollama/ollama`。

第二步 下载模型

Ollama支持一系列模型,可以去 ollama.com/library 去下载,例如 Llama 3、Gemma、Mistral和国内的千问等模型都支持,具有不同的参数和大小,用户可以根据需要下载和运行。
下载完成,你就能在本地电脑上随意的切换和使用你下载的大模型了。
第三步 运行模型
你可以打开命令行,使用使用 ollama run 命令运行模型,比如:
$ ollama run gemma:2b

执行这个命令会启动 Ollama REPL,你可以在其中与 Gemma 2B 模型进行交互。以下是示例: 


第四步:Web 界面

如果你不喜欢在命令行的窗口使用大模型,推荐你使用 Ollama WebUI ,启动后你可以看到一个干净、直观的界面,类似于 ChatGPT 的界面。

开源地址:https://github.com/open-webui/open-webui





53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询