当你用 AMD 显卡在本地使用 Ollama 跑 AI 大模型时，如果你仔细观察会惊讶的发现，它用的是 CPU 和内存，对你没有看错！
因为之前都用 N 卡，装完使用 Ollama 或 Stable Diffusion 跑 AI 时默认就能调用 GPU，今天拿了一台 AMD Radeon RX 6750 GRE 12G 显卡的电脑试了下，才发现这个问题。
检查 Ollama 使用 GPU 还是 CPU
怎么查看？有以下2种方式：
1.系统托盘点击 Ollama 图标，选择 View Logs，打开 server.log 文件，从里面可以看到提示 amdgpu 不支持，gpu类型为：gfx1031。
2.打开任务管理器-性能-GPU，运行本地大模型，并向他提问题，在他回答期间观察“专用GPU内存使用率”这个值，它是没有用到的，同时 CPU 和内存的使用率飙升。
解锁 AMD 显卡跑大模型
一、首先确认自己的 AMD 显卡是否支持 ROCm
访问以下网址：
https://rocm.docs.amd.com/projects/install-on-windows/en/develop/reference/system-requirements.html
看列表中是否有你的显卡型号，如果有，再看列表后面的 HIP SDK 是否为打勾，两者满足时直接下载并安装 AMD 官方版本的 ROCm 和 Ollama 的官方版本就能使用。
比如我目前电脑使用的是 AMD RX6750 GRE ，列表中没找到，仅找到兄弟款 RX6750 XT，但它也不支持官方的 ROCm。
二、如果不在官方列表中或者 HIP SDK 为打叉，需要重新安装 Ollama-for-amd 的版本。
1.访问 https://github.com/likelovewant/ollama-for-amd，点击查看版本。
2.到页面最下方，下载安装程序后，覆盖安装即可，安装前先记得先退出 Ollama。
3.返回页面上方，点击跳转链接去下载需要替换的文件（请注意，仔细看这段英文，刚刚下载的 Ollama 安装程序是基于这个 hipsdk 6.1.2 版本进行创建的，所以需要下载相同版本的 ROCmlibs 文件，也就是下图标红处，如果使用其他版本的 ROCmlibs 的文件进行替换，会导致运行失败，这个坑我踩了）。
4.同样到页面最下方，找到之前在日志中看到当前显卡的 gpu 类型：gfx1031，找到同类型名称的 hipsdk，点击下载。
5.解压缩后，文件中会包含一个 rocblas.dll 文件和一个 library 文件夹，按照下面的路径替换对应文件。
打开 Ollama 安装目录，比如这是我的安装路径 C:\Users\更换为你的电脑用户名\AppData\Local\Programs\Ollama\lib\ollama将压缩包中的 rocblas.dll 替换 C:\Users\更换为你的电脑用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas.dll将压缩包中的 library 文件夹替换 C:\Users\更换为你的电脑用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas\library
6.重新运行 Ollama，再次查看日志，如果成功就可以看到以下信息，不同显卡型号显示的类型为不同，可以看到已经成功了，显存总量为 12GB，使用时最大可允许使用 11.8GB，此时跑大模型时再去观察“专用GPU内存使用率”，你会发现它已经占满了，同时 CPU 和内存的使用率也相对下降。
粤ICP备14082021号
免费POC，
零成本试错
