多模型管理太麻烦？手把手教你本地搭建这个开源 AI 网关！

大家好，我是 Jack Bytes，一个专注于将人工智能应用于日常生活的程序猿，平时主要分享 AI、NAS、开源项目等。

兄弟们，平时玩 AI 是不是都有个头疼的问题？

想用好几个厂商的大模型，每家都要单独存 API 密钥、换接口地址，一会切 GPT 一会切 Claude，代码里要改半天，用量花了多少也没法统一统计，来回切换太折腾了。

最近我挖到了一款超好用的开源神器 ——New API，堪称个人 AI 使用的管理利器，一个接口、一套密钥就能搞定所有主流大模型，还能看用量、管权限、自动切备用渠道，今天就手把手教大家本地搭建，纯自用场景保姆级教程，新手也能跟着一步到位！

一、说明

• 本文所有内容仅用于个人学习研究与本地自用场景，请严格遵守国家法律法规，严禁用于任何非法用途，严禁向中国境内公众提供任何未经备案的生成式人工智能服务。
• 根据《生成式人工智能服务管理暂行办法》规定，在我国境内向公众提供生成式人工智能服务，需依法取得相应资质并完成备案，本文所介绍的系统，禁止用于无资质对外运营、向他人提供有偿 / 无偿 AI 转接服务等违规行为。
• 请优先接入国内已完成备案的合规大模型服务；如需使用境外模型，仅限用于合规的境外业务场景，不得向境内公众提供转接服务。

二、什么是 New API

New API 是一款开源的新一代 LLM 网关与 AI 资产管理系统，专门为个人开发者和小团队打造的 AI 应用统一基础设施，能帮我们把日常用的各类 AI 模型统一管理起来，彻底解决多模型切换、多密钥管理的痛点。

它能无缝集成全球主流 AI 服务提供商，包括国内已备案的通义千问、文心一言、豆包、DeepSeek，以及 OpenAI、Anthropic、Google Gemini 等国际主流模型，完全兼容 OpenAI 标准接口，不用改代码就能一键切换模型。

核心亮点完全适配我们个人自用需求，给大家划重点：

• 统一接口兼容：一个 API 端点、一套密钥就能接入所有 AI 服务，完全兼容 OpenAI 标准格式，不用为不同模型反复修改代码和配置
• 智能路由切换：支持多渠道负载均衡、故障自动切换，一个渠道挂了自动切备用的，用 AI 再也不会突然断连
• 精细用量统计：支持按次 / 按量的用量统计，每款模型花了多少 Token、多少成本一目了然，再也不会稀里糊涂超预算
• 安全权限管控：支持多令牌独立管理、模型访问限制、IP 白名单，给电脑、手机、不同插件分配独立令牌，就算一个泄露了也不影响其他的，安全性拉满
• 可视化数据看板：实时查看调用情况、资源消耗、模型使用分布，个人使用情况一眼看清
• 多场景适配：个人本地自用、小团队内部协作都能完美适配，新手也能快速上手

三、部署

New API 部署相当简单，接下来介绍下如何通过 Docker Compose 进行部署。

首先克隆项目：

git clone https://github.com/QuantumNous/new-api.git
cd new-api

然后编辑docker-compose.yml配置

vim docker-compose.yml

执行下面的命令启动服务：

docker-compose up -d

启动成功之后，访问http://localhost:3000即可使用！

按照提示进行数据库相关的设置：

可以设置使用模式，自己玩玩的话推荐选择「自用模式」：

初始化完成之后，会自动跳转到首页。

四、体验

下面是项目搭建好后的首页：

在顶部有「控制台」、「模型广场」两个主要的菜单，下面分别来看一下。

4.1 控制台

在控制台界面，可以看到有「数据看板」、「令牌管理」、「使用日志」、「绘图日志」、「任务日志」等信息。

在数据看板中，可用看到我们当前的额度、使用情况、资源消耗等信息。

还有模型消耗的分布图：

在「令牌管理」中，我们可以自己随意的创建令牌，并且给对应的令牌设置额度，可用的模型列表等信息：

管理员可以在控制台设置供应商的渠道、订阅、模型等信息。

4.2 模型广场

在模型广场中，可以看到管理配置的可用模型列表：

我们把不同渠道的模型都集成到 New API 中，这样对于使用者来说，只需要用一个令牌就可以访问所有渠道的模型了。

大家感兴趣的话快去试试吧！

再次提醒大家：一定要严格遵守国家法律法规和相关管理办法，仅将系统用于个人学习与本地合规自用场景，杜绝任何违规使用行为。

我是 Jack Bytes

一个专注于将人工智能应用于日常生活的半吊子程序猿！

平时主要分享 AI、NAS、Docker、搞机技巧、开源项目等技术，喜欢的话请关注吧！