定制你的AI梦！快速搭建属于自己的本地FastGPT

AI 现在发展这么快，每个人都渴望拥有一个属于自己的智能助手，一个能够理解你、帮助你解决问题的 AI。你是否曾经想过，能够不用依赖大型云服务，也能拥有自己的专属 AI？通过本文，你将学习如何在本地搭建一个属于自己的 FastGPT，不仅能完全掌控你的 AI，还能根据你的需求进行定制。

什么是 FastGPT

FastGPT^[1] 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景。

FastGPT 的能力包含：

1. 专属 AI 客服

通过导入文档或已有问答对进行训练，让 AI 模型能根据你的文档以交互式对话方式回答问题。

2. 简单易用的可视化界面

FastGPT 采用直观的可视化界面设计，为各种应用场景提供了丰富实用的功能。通过简洁易懂的操作步骤，可以轻松完成 AI 客服的创建和训练流程。

3. 自动数据预处理

提供手动输入、直接分段、LLM 自动处理和 CSV 等多种数据导入途径，其中 “直接分段” 支持通过 PDF、WORD、Markdown 和 CSV 文档内容作为上下文。FastGPT 会自动对文本数据进行预处理、向量化和 QA 分割，节省手动训练时间，提升效能。

4. 工作流编排

基于 Flow 模块的工作流编排，可以帮助你设计更加复杂的问答流程。例如查询数据库、查询库存、预约实验室等。

5. 强大的 API 集成

FastGPT 对外的 API 接口对齐了 OpenAI 官方接口，可以直接接入现有的 GPT 应用，也可以轻松集成到企业微信、公众号、飞书等平台。

什么是 Ollama

Ollama 是一款开源的大规模语言模型服务框架，它简化了在本地计算机上部署和运行大型语言模型 (LLMs) 的过程。借助 Ollama，用户可以通过简单的命令行操作在本地环境中快速启动和运行诸如 Llama 2 这样的先进语言模型。这一工具不仅降低了技术门槛，还让开发者能够轻松地在自己的机器上实验和部署大型语言模型。

Ollama 的特点与优势：

一体化封装：Ollama 将模型的权重、配置以及必要的数据打包成易于管理的 Modelfile，这样用户就可以方便地管理和部署模型。它还优化了 GPU 等硬件资源的使用，确保模型能够高效运行。
轻便高效：Ollama 的设计非常精简，这意味着它在运行时消耗的资源较少。这种轻量化的设计使得用户即使在资源有限的本地环境中也能流畅地运行大型语言模型。此外，Ollama 还支持热加载模型文件，这意味着用户可以无缝地在不同的模型之间进行切换，无需重启整个服务。
易于安装与使用：Ollama 提供了多种便捷的安装选项，支持主流操作系统如 MacOS 和 Linux。无论是通过 Docker 还是直接安装，用户都可以按照提供的指南轻松完成安装过程，无需复杂的配置步骤或深入的技术知识。

从零开始安装 FastGPT 和 Ollama

服务器准备

模型选择

安装说明

1. FastGPT 支持 Sealos 一键部署及 docker-compose 部署，本文以 docker-compose 部署作为演示。

2. 本文对 docker、docker-compose 安装细节不作阐述。

3. 配置首选【PgVector 版本】，对千万级以上向量性能请选择【Mlivus 版本】、【Zilliz Cloud 版本】。

4. 本文中的项目均以 CPU 方式运行，若实际运用在生产上建议准备好充足的 GPU 资源。

安装 Ollama

登录 Ollama 官网复制安装脚本并执行：

https://ollama.com/download/linux

[root@ollama ~]# curl -fsSL https://ollama.com/install.sh | sh

验证安装：

[root@ollama ~]# ollama

下载 AI 模型到本地：

[root@ollama ~]# ollama pull llama3.1:latest

验证与模型对话：

[root@ollama ~]# ollama run llama3.1:latest

运行 M3e 向量模型：

[root@ollama ~]# docker run -d --name m3e -p 6008:6008 registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api

安装 FastGPT

确认环境是否正确：

[root@fastgpt ~]# docker --version
[root@fastgpt ~]# docker-compose version

下载 docker-compose.yaml：

curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

文件说明

1. config 文件是作用于对模型的参数、模型添加删除。

2. docker-compose 文件是对 fastgpt 参数修改调整的。

修改 config.json 文件：

llmModels 层级下复制一段并修改成【llama3.1:latest】作为值

vectorModels 层级下复制一段并修改成【m3e】作为值：

修改完毕后保存退出。

首次执行启动：

[root@fastgpt fastgpt]# docker-compose -f docker-compose-pgvector.yml up -d

手动重启一次 oneapi：

[root@fastgpt fastgpt]# docker restart 5f377d1f2ac9

访问登录 Oneapi：

添加 llama3.1&m3e 渠道：

测试模型：

添加令牌：

获取令牌秘钥：

修改 fastgpt 的 yaml，把令牌和秘钥填入后再次重启服务：

[root@fastgpt fastgpt]# docker-compose -f docker-compose-pgvector.yml up -d

开始使用 FastGPT

登录 FastGPT：

新建【简单应用】测试对话：

添加知识库：

添加知识库到简单应用并对话：

未来，随着 FastGPT 和 Ollama 等 AI 技术的深入应用，我们的工作和生活将发生深刻的变革。无论是编写代码、创作内容，还是处理日常工作中的琐事，这些 AI 工具将成为我们不可或缺的助手。它们不仅能够提高我们的工作效率，还将帮助我们释放更多的时间，专注于更具创造性和战略性的任务。

因此，与其担心 AI 的崛起，不如积极拥抱这场变革。因为最终，真正改变世界的，不仅是技术本身，更是我们如何选择与这些技术共舞。