单机训练与部署：打造专属AI大模型

上次我们说了使用Ollama打造自己的大模型。主要是说使用第三方的机器进行训练。但是有不少同学反馈说训练一次价格比较贵，尤其是学习的时候基本上每个小时就花几块钱。

上次也说了之所以用第三方的机器训练主要是因为我的机器在训练的时候有点困难。不过既然大家提出来了那么这篇文章我们就一起来研究一下在我们单机上（也就是我们能自己的笔记本或者台式机）使用训练自己的模型，我们要训练的模型还是：llama2-chinese。

下面我们来记录一下马老师硬着头皮的坎坷过程

一、搭建本地的Linux系统

我们的一切操作、学习、训练都在Linux系统上，所以搭建操作系统是第一位。在这里马老师用的是 VMware虚拟机+Centos7搭建的环境。具体搭建方法可以查看之前写的一篇文章：**https://zhuanlan.zhihu.com/p/753835768** 如果有用记得一键三连哦哈哈。

好了到这里马老师就认为你已经搭建好Linux操作系统了。我们接下来继续。

二、下载 Ollama

我们最简单的方式就是在官网中进行下载，打开官网：https://ollama.com/download/linux

在上图中我们看到有一行命令，我们把这行命令复制粘贴到操作系统终端然后回车。

curl -fsSL https://ollama.com/install.sh | sh

但是问题来了，我等了好久然后失败，一会儿提示网络问题，一会儿提示拒绝访问。后来通过调试网络+服务器的配置终于可以了。然后又发现这个速度真是太慢了。最终马老师还是放弃了这种方法了。?

突然灵机一动，我去了github上找到这个Ollama项目，然后再github上把它下载下来了，还不小，1G多。下面的地址是github下载地址：

https://github.com/ollama/ollama/releases/download/v0.4.0-rc5/ollama-linux-amd64.tgz

如果不想下载或者下载不下来的可以找马老师要百度网盘哈哈。

三、Ollama部署

通过上面的努力我们终于可以在服务器部署了，由于Ollama是Go开发的。直接给编译为可执行文件了。所以部署起来相对简单，首先我把它上传到了本地的Linux上。

然后通过以下命令进行了解压

tar -C /usr -xzf ollama-linux-amd64.tgz

解压后我们可以启动 Ollama：

非守护进程启动
ollama serve

守护进程启动
nohup ollama serve &

在另一个终端中，验证 Ollama 是否正在运行：

ollama -v

返回
ollama version is 0.4.0-rc5

AMD GPU 安装

如果你有 AMD GPU，还需要下载并提取附加的 ROCm 包：

curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz

通过以上操作我们基本上就安装好了，当然了还有一些其他操作我们这篇文章不说，想要了解可以看马老师整理的 《Ollama手动安装及卸载笔记》https://zhuanlan.zhihu.com/p/4161126607

总算部署好了。我们接下来试着创建一个模型。

四、创建模型

我们要创建模型首先我们先看看刚才解压的内容，我们发现里面有一个bin目录，还有一个lib。搞开发的同学肯定明白bin就是可执行程序，lib基本上是哪些依赖扩展等等。具体的我们不在这里说，我们今天主要目的是在本地玩儿Ollama。所以我迫不及待的进入了bin目录，看到有一个 ollama 的可执行文件，没错就是它了。哈哈

4-1. 创建模型

接下来运行以下命令，来创建一个模型并且开启对话模式。我们创建一个 llama2-chinese。这个模型比较小 7B，并且支持中文。

ollama run llama2-chinese

我们看到以上输出时候说明正在下载，模型大概3.8G 我们等待一段时间就下载好了。

最后我们执行命令，查看一下：

ollama list

4-2. 调整内存

在下载完成后可能会有类似提示：Error: model requires more system memory (7.5 GiB) than is available (2.5 GiB) 这是因为你的运行内存有些小，建议给他8-10G的运行内存。

关闭虚拟机，点击设置进行调整后重启，看下图：

我们的创建模型到这里已经完成。接下来我们来看看如何玩儿。

五、与模型对话，进行简单的“训练”

调整完内存后重新运行下面命令

ollama run llama2-chinese

因为已经下载好模型了，所以再次运行的时候不会下载了。这时候我们就可以直接进入对话模式了。

下面是测试内容：

这是一个还没经过我们复杂训练的模型。只是告诉了它，它是一个中国人，这样再次对话的时候他就会用中文对话了。

如果需要让它成为另一个我，那后期就需要不停的告诉它，我的特点，知识点，实际情况等。他会进行学习然后慢慢地变成另一个“我”。当然这需要一个过程。以后马老师会再写一些关于训练和微调的文章，希望可以一起学习，踏入AI时代。

最后再来一个对话记录：

[root@localhost ~]# ollama run llama2-chinese
>>> 你好，中国在哪里？

Hello! I'm just an AI, and I don't have personal opinions or feelings. However, I can tell you that China is a vast country with a long history, rich culture, and diverse 
geography. It has a population of over 1.4 billion people, making it the most populous country in the world. China has been experiencing rapid economic growth and technological 
advancements in recent years, becoming an important player on the global stage.

>>> 你现在是中国人，请用中文回答
你好！我是一个AI。当然，我可以告诉您，如果您需要了解中国的位置或者在哪里可以找到他，那么中国主要分布于亚洲地区，其东部与北部接壤俄罗斯、蒙古、韩国和朝鲜；西部与尼泊尔、巴基斯坦、阿
富汗、伊朗等国接壤；南部与越南、缅甸、老挝、寮美及泰国接壤。您可以在世界上许多地方看到中国的影响，例如在商业、文化和体育领域等。

>>> 今天是农历多少？
今天是农历2447年。