引言：随着 RAG（检索增强生成）和 Agent 成为大模型服务的主流形态，一条请求的 prompt 往往由几十到上百个独立文本片段拼接而成，长度动辄十万 token，prefill（预填充）阶段的算力开销成为服务成本与延迟的最大来源。业界为此发展出两条路线：一边是「位置无关缓存」（Position-Independent Caching, PIC），让共享片段的 KV 缓存可以在任意位置复用；另一边是「混合注意力」模型，用线性注意力（linear attention）替换大部分全注意力（full attention）层来压低算力复杂度。问题在于——两者无法共存：PIC 依赖的是逐 token 的 KV 缓存原语，而线性注意力层只暴露一个「整段压缩后的循环状态」，没有任何逐 token 的抓手。为此，小红书大模型推理团队联合北京大学、上海交通大学提出 HYPIC，这是首个在混合注意力大模型上实现位置无关缓存的服务系统。在 4 个生产级混合注意力模型、5 个工作负载上，HYPIC 将首 token 延迟（TTFT）平均降低 3.25 倍、同 SLO 下可持续 QPS 提升 1.66 倍，而任务质量与「完全重算」仅相差1.71 分。
论文标题：
HYPIC: Accelerating Hybrid-Attention LLM Serving with Position-Independent Caching
论文链接：
https://arxiv.org/abs/2607.01299
代码链接：
https://github.com/redai-infra/HYPIC
关键词：
大模型推理，位置无关缓存，混合注意力，线性注意力，KV Cache
大模型服务正从单轮聊天，转向检索增强问答、多文档摘要、长程 Agent 等新形态。这类负载有一个共同特征：prompt 由若干语义独立的片段拼装而成（检索到的文档、技能说明、记忆文件、历史轮次等），最终组装成数万乃至数十万 token 的超长上下文。
在这样的长度下，prefill 主导了单请求的算力开销，成为服务商最显著的成本来源之一；更糟的是，一旦发生缓存未命中（cache miss），尾部 TTFT 可高达数十秒，直接损害交互体验。
为压低这项成本，许多工作提出了位置无关缓存（PIC）：放开严格前缀约束，让每个语义独立的片段只缓存一次、可拼接到任意前缀之后，正好匹配 RAG / Agent 的 prompt 组装方式。现有 PIC 方法尽管策略各异，本质都归结为两个原语——沿 token 轴直接拼接的splice，以及重算少量 token 以恢复跨段上下文的 correction。
与此同时，模型架构也在变。线性注意力把注意力的二次复杂度降到线性，并将无界的 KV 历史压缩成一个固定大小的循环状态。近来的生产模型（如 MiniMax-M1、Ring-2.5、Qwen3.5、Kimi-Linear）并不完全抛弃全注意力，而是把 75% 以上的层线性化、保留少量全注意力层，形成混合注意力（Hybrid-Attention）这一主流设计。以 Qwen3.5-35B-A3B 为例，40 层里有 30 层是线性层。
冲突就此产生：现有 PIC 操作的是逐 token 的 KV 缓存，而线性注意力层只暴露一个 per-request 的循环状态——没有逐 token 的抓手可供 splice 或 correction。结果是，混合模型里的大部分层都落在了现有 PIC 的能力范围之外。在此之前，没有任何系统能为混合注意力大模型提供 PIC。
HYPIC 的核心思想，是针对混合注意力模型里两类层「分而治之」，再用一层系统级并行把冷请求也一并加速。它由三个环环相扣的机制组成。
2.1 线性层：缓存「转移算子」，实现常数时间的状态组合
对线性注意力层，最直接的 PIC 稻草人方案是把两段各自的「零初值末状态」直接相加。在朴素线性注意力下这恰好成立，但在带衰减、门控、delta 擦除的进阶线性注意力（RetNet、Mamba2、GLA、DeltaNet、GDN、KDA 等）下就会失效。
我们发现，真正被漏掉的是一个关键量——段累积转移算子（segment-cumulative transition operator）T_C，即一段内所有 token 转移矩阵的连乘。真实的末状态应为 S(C1·C2) = T(C2)·S(C1) + S(C2)，朴素相加恰恰丢掉了 T(C2) 这一项，导致结构性误差（实测 RetNet 慢衰减头在 256 token 时误差已达状态范数的 22%）。
关键洞察是：T_C 和零初值末状态 S(C|0) 都只由片段内部的 token 决定，与前缀无关。因此 HYPIC 在片段首次 prefill 时，把二元组 (T_C, S(C|0)) 一并缓存下来；复用时按组合律左乘 T_C、再相加，即可在常数时间内近乎精确地还原任意前缀下的末状态，且天然覆盖全部线性注意力家族。实测在 Qwen3.5-35B-A3B 上，组合后的状态在第 0 层与完全重算相差仅 6×10⁻⁵——落在 FP16 噪声内。
对于带因果卷积、带 RoPE 的变体，HYPIC 分别用「卷积状态热身」和「状态重旋转」两个补丁做了严格对齐。
2.2 全注意力层：用「缝合窗口」修复跨段注意力
混合注意力模型中少数的全注意力层仍需要 PIC，但以往工作的选择性重算无法直接迁移——因为下方的线性层只保留末状态，非末尾 token 无法向上穿过全注意力层。两种退路（逐 token 存循环状态、或从零重新递推）在存储或算力上都不可接受。
我们的观察是：KV 拼接后的偏差，高度集中在每个复用片段的开头，其余部分几乎不受影响（这与全注意力模型里的 attention sink 现象一致，并在混合注意力模型里同样成立）。
据此，HYPIC 为每个内部片段的开头 w 个 token构造一个缝合窗口（seam window）：缓存时这几个 token 不入缓存，复用时在完整前缀下重算它们，从而修复跨段注意力。默认 w=8——由于实际片段长度通常大于 512 token，缝合窗口只占极小一部分，重算开销可控。为支持段首 KV 重算，linear-attention 层在复用时需即时算出缝合窗口自身的 T 和 S，一边推进 running state，一边把每个 seam token 的逐层输出前传给上层的全注意力层。
2.3 段并行：把「长冷请求」变成可加速的负载
缓存未命中不可避免（语料持续更新、低频文档被淘汰），而长冷请求正是尾延迟的主因。现有系统仍把整条 prompt 当作一个整体、在单实例上串行 prefill 所有冷片段，TTFT 随 O(n·|C|) 增长；张量并行等实例内并行虽能加速单次前向，但扩展性有限（100k token 请求在 TP-8 下仍需 17.7 秒）。
但 PIC 已经让每个片段「自包含」——其 prefill 结果只由内部 token 决定。HYPIC 顺势提出段并行（Segment Parallelism）这一实例间并行方案：Router 探测每段命中状态，把冷片段并行分发给多个 scatter worker，再由一个 combine worker 把各段结果组装成完整运行状态。它把冷 prefill 从 O(n·|C|) 降到 O(⌈n/m⌉·|C|+c)。
为把这条路径跑满，HYPIC 还做了两件事：用LPT（最长处理时间优先）贪心策略均衡各 worker 负载；把每段的计算与传输流水线重叠，避免 combine worker 被同步的传输突发拖住。段并行与实例内并行（TP/DP/SP）作用在正交的轴上，可无缝叠加。
我们在 SGLang 上实现了 HYPIC（约 14k 行 Python / Triton），在 8×H20 节点上，选取 4 个生产级混合注意力模型（Ring-mini/flash-linear-2.0、Qwen3.5-35B-A3B / 122B-A10B）、4 个公开数据集（HotpotQA、TriviaQA、MultiNews、GovReport）与 1 条生产 RAG trace 进行评测。
端到端延迟与质量：全量预热后，HYPIC 相比 Prefix Cache 将 p50 TTFT 平均降低3.25 倍（各模型 2.77×–4.05×）；而任务质量几乎无损——16 个「模型×数据集」单元平均只落后完全重算 1.71 分，在 Qwen3.5-35B 上甚至反超 0.47 分。作为对照，不缓存转移算子的「朴素相加」直接损失了 66.9% 的分数，印证了 T_C 的必要性。
吞吐与 QPS：在生产 RAG trace 上，同 1 秒 TTFT SLO 下，HYPIC 把可持续 QPS 相比 Prefix Cache 提升 1.66 倍（1.49×–1.85×），峰值单卡吞吐提升约 1.3–1.5 倍。
段并行加速冷请求： 在纯冷未命中路径上，一条 32k token 请求的 TTFT 从单 worker 的 2.83 秒，降到 8 worker 的 0.49 秒——5.7 倍加速，且几乎全部收益来自可近线性扩展的 scatter 阶段；面对不均匀分片，LPT 相比 Round-Robin 把 TTFT 从 1.26 秒压到 0.84 秒（3.6× vs 2.4×）。
开销可控：构造 (T_C, S(C|0)) 的一次性开销，在最重的稠密转移模型上也仅为主前向的 5.2%–6.7%，且一次构造、多次复用摊薄。
HYPIC 首次把「位置无关缓存」带到了混合注意力大模型上：用缓存的段累积转移算子实现线性层的常数时间状态组合，用小小的缝合窗口修复全注意力层的跨段对齐，再用段并行把长冷请求也变成可加速的负载。它让 RAG / Agent 这类长上下文服务，在拥抱高效混合架构的同时，也能享受到片段级缓存复用的红利。
未来，我们将进一步探索分布式的位置无关缓存管理与调度、多级缓存分层管理，推动大模型推理向「更快、更省、更可扩展」持续演进。
粤ICP备14082021号
免费POC，
零成本试错
