推荐语
Ollama框架：轻量级、本地部署大型模型的利器。
核心内容：
1. Ollama框架简介及本地部署优势
2. Ollama安装指南及运行大型模型步骤
3. DeepSeek翻译模型在Windows上的测试与效果展示
杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
关于Ollama的介绍中见得最多的版本是：“Ollama是一个开源的轻量级可扩展框架， 用于本地机器上构建、运行和管理大型模型。”它有几个关键词：轻量级、本地、构建运行和管理。这说明Ollama擅长在单机上部署和运行大模型，用它来在低配置的笔记本上运行大模型是再好不过的了。官网是：https://ollama.com/ MacOS，Linux，Windows版本都有，按照自己的需要下载安装即可。对于Windows则是下载一个exe文件进行安装执行， 对于MacOS更简单了，使用命令：然后使用如下命令: ollama pull xxx 就可以运行名为xxx的模型了。Ollama在本地实际是以CS架构方式运行的， 如果在MacOS上遇到如下错误：Error: could not connect to ollama app, is it running?
可能是在MacOS没有自动将Ollama注册成Server， 只要手动执行下Ollama serve命令即可解决该错误。今天王毅外长使用金庸名句“他强任他强，清风拂山岗；他横任他横，明月照大江”来表达中美关系，cue到了DeepSeek， 因此就用这个任务来看看本地部署DeepSeek的效果吧。我的Windows配置是i932G, 显卡4G内存。 使用如下命令运行Deepseek-R1 14B模型：ollama run deepseek-r1:14b
第一次执行因为本地没有模型， 因此会有一个下载模型的过程， 模型文件大概是9G， 下载因网络而已， 快速的时候能达到8M/s。在执行的时候， 独立显存可以使用到3G的样子。 这个性能还是很强劲的， 记得之前跑Qwen模型， 2.5B的是极限了， Deepseek可以跑14B，进化速度真的很快很快。我的MacOS配置是M1,16G内存，即2021年的Mac。 一开始觉得这个配置跑不起来14B的模型，抱着试一试想法安装了Ollama后，第一次翻译效果如下图所示：对比Windows的第一次推理差很多，让它重新翻译给出了如下版本：这次算是中规中矩了。在推理的时候， MacOS GPU使用率在60~70%，内存使用率则飙升，这是因为MacOS的显卡并不是使用的独享内存，而是和整个系统共享的内存。最后，看看DeepSeek官网和chatGPT的翻译：
chatGPT官网：
对比来看，官网的体验确实更好些， 可能是本地部署的只是14B有关吧。
粤ICP备14082021号
免费POC，
零成本试错
