推荐语

Higress AI 网关创新性地解决了LLM服务负载均衡难题，无需增加GPU就能显著降低首Token延迟50%，让资源调度更智能高效。

核心内容：
1. 传统负载均衡算法在LLM服务中的三大关键缺陷
2. Higress AI网关提供的三种针对性负载均衡算法
3. 实际压测数据显示首Token延迟降低50%的突破性成果

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

传统的负载均衡算法主要设计用于通用的 Web 服务或微服务架构中，其目标是通过最小化响应时间、最大化吞吐量或保持服务器负载平衡来提高系统的整体效率，常见的负载均衡算法有轮询、随机、最小请求数、一致性哈希等。然而，在面对 LLM 服务时，这些传统方法往往暴露出以下几个关键缺陷：

1. 忽略任务复杂度差异：LLM 推理请求的复杂度差异极大。例如，一个长文本生成任务可能需要数十倍于短文本分类任务的计算资源。而传统负载均衡器无法感知这种差异，容易导致某些节点过载，而其他节点空闲，造成资源浪费和响应延迟。
   

2. 缺乏对 GPU 资源水位的感知：在 LLM 推理服务中，计算瓶颈主要集中在 GPU 上，传统负载均衡器往往无法感知到这一细粒度的资源消耗情况，导致某些 GPU 节点因显存不足而拒绝请求或响应缓慢，而其他节点却处于空闲状态。
   

3. 缺乏对 KV Cache 的复用能力：在并发请求处理中，如果多个请求具有相似的前缀，则它们的 KV Cache 可能存在重叠部分，可以通过共享或压缩的方式减少显存占用并提升生成速度。传统负载均衡策略并未考虑请求之间的语义相似性或 KV Cache 的可复用性，难以将具有潜在复用价值的请求分配到同一 GPU 实例上，从而错失优化机会。
   

针对 LLM 服务的特点，Higress AI 网关以插件形式提供了面向 LLM 服务的负载均衡算法，包括全局最小请求数负载均衡、前缀匹配负载均衡以及 GPU 感知负载均衡，能够在不增加硬件成本的前提下，提升系统的吞吐能力、降低响应延迟，并实现更公平、高效的任务调度。

以前缀匹配负载均衡为例，压测工具使用 NVIDIA GenAI-Perf，设置每轮输入平均为 200 token，输出平均为 800 token，并发为 20，每个会话包含 5 轮对话，共计 60 个会话，性能指标前后对比如下：

• 免运维：以 wasm 形式提供负载均衡能力，不需要用户额外维护 sidecar，只需要在 Higress 控制台开启插件即可，部署运维成本大大降低。
• 热插拔：即插即用，用户仅需要在控制台进行策略配置即可，开启插件时采用面向 LLM 服务的专属负载均衡策略，关掉插件后自动切换为服务基础的负载均衡策略（轮询、最小请求数、随机、一致性哈希）。
• 易扩展：插件本身提供了多种负载均衡算法，并且在不断丰富完善中，采用 go 1.24 编写，代码开源，如果有特殊需求，用户可以基于现有插件进行定制。
• 全局视野：借助 Redis，网关的多个节点具有全局视野，负载均衡更加公平、高效。
• 细粒度控制：插件可以在实例级、域名级、路由级、服务级等不同粒度进行生效，方便用户做细粒度的控制。

1. 如果不存在，前缀匹配失败，采用全局最小请求数选择 pod，pod 选取结束，根据当前请求内容更新前缀树
2. 如果存在，前缀匹配成功，记录当前的 pod，转步骤 2

1. 如果不存在，前缀匹配失败，步骤1中选出来的 pod 即为目标 pod，根据当前请求内容更新前缀树，pod 选取结束
2. 如果存在，前缀匹配成功，转步骤 3

1. 如果不存在，前缀匹配失败，步骤 2 中选出来的 pod 即为目标 pod，根据当前请求内容更新前缀树，pod 选取结束
2. 如果存在，前缀匹配成功，pod 选取结束

使用方法

Cloud Native

lb_policy: prefix_cachelb_config:  serviceFQDN: redis.dns  servicePort: 6379  username: default  password: xxxxxxxxxxxx  redisKeyTTL: 60

相关链接：

【1】gateway-api-inference-extension

https://github.com/kubernetes-sigs/gateway-api-inference-extension/tree/main

【2】阿里云 Redis 控制台

https://kvstore.console.aliyun.com/Redis/instance/cn-hangzhou

【3】Redis 快速入门概览

https://help.aliyun.com/zh/redis/getting-started/overview

🔥🔥拥抱 AI 原生！

8月29日深圳，企业实践工作坊火热报名中！

阿里云诚挚邀请您参加【AI 原生，智构未来——AI 原生架构与企业实践】工作坊，从开发范式到工程化实践，全链路解析AI原生架构奥秘，与AI先行者共探增长新机遇。

⬇️ 点击阅读原文，立即了解完整议程！