支持私有化部署
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


Higress ,助力企业构建私有 AI 网关和 MCP 市场

发布日期:2025-07-30 07:28:11 浏览次数: 1567
作者:鲲鹏Talk

微信搜一搜,关注“鲲鹏Talk”

推荐语

Higress AI网关一站式解决企业大模型集成难题,支持100+模型统一管理,让AI应用部署更简单高效。

核心内容:
1. Higress AI网关的核心功能与优势
2. 快速部署指南与配置管理详解
3. 丰富的供应商集成与智能降级策略

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

Higress 为 Agent 开发、LLM API 管理,提供易用、可靠的集成服务。已支持 100 多种大语言模型和版本,提供开源和云上商业化版本。在 AI 应用快速发展的当下,如何高效地将存量数据服务与新兴的模型调用需求对接,成为企业和开发者关注的焦点。

Image


AI 网关能够将外部调用不同大模型的请求,通过统一的调用方式转发到内部对应的大模型上,使得后端模型调度更加灵活;Higress AI 网关支持常用的 100 多个模型的统一协议转换,并支持模型级 Fallback ,基于 docker 提供 Higress AI 网关一键快速部署的方式,如您需要使用其他部署方式(如标准 k8s 集群、本地 k8s 集群等)

安装 Higress AI 网关

在本地控制台,执行以下命令:

curl -sS https://higress.cn/ai-gateway/install.sh | bash

按照指引可以分别录入模型供应商的 API-KEY ;也可以键入回车后跳过,之后在控制台中修改。

Image

如您当前端口已被占用,需要使用其他端口,可使用 wget https://higress.cn/ai-gateway/install.sh命令下载部署脚本后,修改 DEFAULT_GATEWAY_HTTP_PORT_/DEFAULT_GATEWAY_HTTPS_PORT/_DEFAULT_CONSOLE_PORT;然后使用 bash 执行脚本。

Image

部署完成后,会出现以下界面:

Image

控制台配置

通过浏览器访问控制台界面 http://localhost:8001/,首次登录需要配置管理员及密码。

在 AI 服务提供者管理界面,可以配置已集成供应商的 API-KEY。当前已集成的供应商有阿里云、DeepSeek、Azure OpenAI、OpenAI、豆包等。

每个 AI 服务提供商都可以单独配置令牌降级策略,当某一认证令牌返回异常响应的数量超出阈值,Higress 将暂停使用该令牌发起请求,直至后续健康检测请求连续收到一定数量的正常响应。

 AI 路由管理界面,支持配置不同路由的域名、模型匹配方式、降级配置、请求消费者等。也可以通过策略,配置不同认证鉴权方式、限流策略等,也支持如 RAG、Prompt 模板、语义缓存等功能。

Image
Image
Image

调试

打开系统自带命令行,通过以下命令进行请求(如 HTTP 服务未部署在 8080 端口上,修改为对应端口即可)

curl 'http://localhost:8080/v1/chat/completions' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "qwen-max",
    "messages": [
      {
        "role": "user",
        "content": "你是谁"
      }
    ]
  }'

请求结果示例:

Image

Higress MCP:连接存量 API 与 MCP 时代的桥梁

Higress MCP 是今日投资推出的 MCP 市场,它最核心的能力是支持将今日投资丰富的金融数据存量 API,快速转化为 MCP(Model Calling Protocol)服务。

Image

借助简单的配置操作,无需编写代码,就能把 REST API 转换为 MCP Server,这一过程极大程度上简化了开发流程。同时,平台具备强大的企业级能力,像统一认证授权、精细化流量控制、全链路可观测性等功能,都能满足企业在安全、稳定性以及性能方面的需求。


此外,平台还提供托管服务,支持弹性伸缩和灰度发布,有助于降低运维成本。可以说,Higress MCP 能帮助企业和开发者快速进入 MCP 时代,加速 AI 应用的开发与部署。

Higress MCP 的主要功能:全方位助力高效开发

Higress MCP 之所以能成为连接存量 API 与 MCP 时代的桥梁,离不开其丰富且实用的功能:


  • 存量 API 转化:基于简单的配置,就能将现有的 REST API 快速转化为 MCP Server,整个过程无需编写代码,有效降低了开发成本。
  • 企业级能力:提供统一认证授权、精细化流量控制、全链路可观测性等功能,可满足企业在安全和稳定性方面的需求。
  • 托管服务:支持弹性伸缩、灰度发布和高性能处理,在降低运维成本的同时,提升了服务可用性。
  • 协议卸载:支持多个版本的 MCP 协议,让用户无需担心协议升级带来的维护问题。
  • 精细化调优:支持对请求和响应模板进行精细化处理,有助于提升用户体验,优化数据交互。
  • 多客户端支持:兼容多种客户端,例如通义灵码、Cline、Cherry Studio 等,可满足不同的开发需求。

安装 Higress MCP 网关

基于 Higress AI 网关实现 Remote MCP Server 托管,Higress AI 网关提供 MCP Server 统一托管能力,可以帮助 AI Agent 快速对接各类数据源。通过 MCP Server,AI Agent 可以方便地访问数据库、REST API 等外部服务,无需关心具体的连接细节。其中,数据库对接能力是网关内置的能力;而对于 REST API,任何外部 REST API 都可以通过简单的配置转换成 MCP Server。本文将以 PostgreSQL 数据库和一个简单的 REST API 为例,介绍配置流程。

安装 Higress 时,请确保在 Helm 命令中添加以下参数:

Terminal window

helm install higress -n higress-system [...其他参数...] --set global.enableRedis=true

MCP Server 需要依赖 Redis 服务用于数据缓存,启用后您可以通过以下命令查看 Redis 服务的地址:

Terminal window

kubectl get svc redis-stack-server -n higress-system -o wide

配置 MCP Server

ConfigMap 全局参数配置

在 ConfigMap 中配置 MCP Server 的相关全局参数:

Terminal window

kubectl edit configmap higress-config -n higress-system

配置 Redis 连接信息和 MCP Server 的路由规则:

apiVersion: v1
data:
  higress: |-
    mcpServer:
      sse_path_suffix: /sse  # SSE 连接的路径后缀
      enable: true          # 启用 MCP Server
      redis:
        address: redis-stack-server.higress-system.svc.cluster.local:6379 # Redis服务地址
        username: "" # Redis用户名(可选)
        password: "" # Redis密码(可选)
        db: 0 # Redis数据库(可选)
      match_list:          # MCP Server 会话保持路由规则(当匹配下面路径时,将被识别为一个 MCP 会话,通过 SSE 等机制进行会话保持)
        - match_rule_domain: "*"
          match_rule_path: /postgres
          match_rule_type: "prefix"
        - match_rule_domain: "*"
          match_rule_path: /user
          match_rule_type: "prefix"
      servers: []
...

kind: ConfigMap
metadata:
  name: higress-config
  namespace: higress-system

注意:

数据库类型的 MCP Server 在 ConfigMap 中配置,REST API 类型在 Higress 控制台配置。

配置 Database MCP Server

在 Config Map 中配置 Database MCP Server:

servers:
  - name: postgres      # MCP Server 名称
    path: /postgres     # 访问路径,需要与 match_list 中的配置匹配
    type: database      # 类型为数据库
    config:
      dsn: "your postgres database connect dsn" # 数据库连接串
      dbType: "postgres"                        # 数据库类型,目前已支持 postgres/mysql/clickhouse/sqlite

配置 Nacos MCP Registry

注意: 需要 Nacos 版本为 3.0 及以上,Higress 版本在 2.1.2 及以上

新增服务来源

Image

创建 nacos3.x 服务来源并完善相关信息

Image

配置 REST API MCP Server

任何 REST API 都可以通过以下步骤快速转换为 MCP Server:

  1. 1. 添加服务来源

在 Higress 控制台添加目标 REST API 的服务来源,本示例使用 randomuser.me 作为服务来源:

  1. 2. 配置路由

在 Higress 控制台添加路由并指向对应的服务来源:

  1. 3. 配置 MCP Server 插件

推荐:可以使用 OpenAPI to MCP 工具,实现 API 文档到 MCP Server 插件配置的自动转换

对创建的路由添加 MCP Server 插件并进行配置:

Image

插件配置示例:

server:
  name: "random-user-server"
tools:
- description: "Get random user information"
  name: "get-user"
  requestTemplate:
    method: "GET"
    url: "https://randomuser.me/api/"
  responseTemplate:
    body: |-
      # User Information
      {{- with (index .results 0) }}
      - **Name**: {{.name.first}} {{.name.last}}
      - **Email**: {{.email}}
      - **Location**: {{.location.city}}, {{.location.country}}
      - **Phone**: {{.phone}}
      {{- end }}

更多关于如何配置 REST API 到 MCP Server 的详细信息,请参考 MCP Server 插件配置参考 Higress Wasm 插件使用简介

注意: 对于 2025-03-26 MCP streamable HTTP 协议,可以直接使用此插件,无需全局 ConfigMap 配置

MCP Server 使用

在 AI Agent 中配置 MCP Server 的 SSE 连接,以 cursor 为例:

  • 数据库类型的 MCP Server:使用 ConfigMap 中配置的 path + sse_path_suffix
  • REST API 类型的 MCP Server:使用控制台配置的路由 path + sse_path_suffix
"mcpServers": {
  "postgres": {
    "url": "http://your-higress-address/postgres/sse"
  },
  "rest-api": {
    "url": "http://your-higress-address/user/sse"
  }
}

cursor 中配置完成:

通过 MCP Server,您可以快速为 AI Agent 添加各种数据源支持,提高开发效率。任何 REST API 都可以通过简单的配置转换为 MCP Server,无需编写额外的代码。


53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询