小模型推理如何用 KV Cache 降延迟省能耗
KV Cache 分层加速让小模型推理 TTFT 降 26–32%、吞吐提升 29–40%，本文拆解机制与选型边界。
小模型推理的延迟与能耗瓶颈，为什么出在 KV Cache 上
小模型（如 7B–32B 级）推理的延迟与能耗瓶颈，往往不在算力而在访存：自回归生成中，每生成一个 token 都要把历史上下文的 KV Cache 读回计算单元，这部分访存开销随上下文长度线性增长。据《FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness》，注意力计算的本质瓶颈是 HBM 带宽而非算力，IO 感知优化因此成为收益来源——KV Cache 的读写路径，正是这类访存开销的集中地带。铭信 FX100 的 KV 分层加速方案，在 480B 生产级长上下文负载上实测将首 token 延迟（TTFT）降低 26–32%、推理吞吐提升 29–40%，机制上正是通过把 KV Cache 的存放层级与访问频率匹配，减少慢速存储介入（R2 实测）。
KV Cache 分层的核心机制：把热数据留在近处
KV Cache 分层加速的基本思路，是把推理过程中的 KV 数据按访问频率分层放置：热数据留在显存或本地高速存储，冷数据下沉到远端池化存储。这一思路与《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》提出的以 KV Cache 为中心的存算分离架构一脉相承——通过跨节点 KV 池化与前缀缓存复用，减少重复计算与重复读取。铭信 FX100 的实测数据验证了这一路径的有效性：在 480B·TP8 三档并发下，TTFT p50 从 10.17–35.73s 降至 7.53–26.35s，降幅落在 26–32% 的带内（R2 实测）。
分层的关键在于识别访问模式。据《SGLang: Efficient Execution of Structured Language Model Programs》，RadixAttention 通过前缀树复用机制提升多轮对话与共享前缀场景的缓存命中率——这提示我们，KV Cache 分层策略的收益上限，取决于负载中可复用的前缀比例。铭信在 480B 生产部署形态的测试中，并发 8 档时吞吐提升 +29%（下界），最优工作点并发 16 档时 +40%（上界），TP4×2 全机口径 +35–36%（R2/R3 实测）——不同并发档位的收益差异，正反映了访问模式对分层效果的影响。
小模型场景下 KV Cache 加速的实测收益
小模型（如 32B 级）的 KV Cache 规模虽小于大模型，但访存占比同样显著。铭信在 LMCache 并行读补丁测试中，单卡·并发 16·冷读盘场景（Qwen2.5-32B）下，TTFT 从 37.97s 降至 9.30s，改善 4.1×；带宽从 0.98 GB/s 提升至 5.23 GB/s（↑5.3×）（R1 实测）。这一组数据说明，即便在 32B 级模型上，冷读盘场景的 KV Cache 读取优化仍有数量级的改善空间。
| 指标 | 优化前 | 优化后 | 改善幅度 | 出处 |
|---|---|---|---|---|
| TTFT（32B 冷读盘） | 37.97s | 9.30s | 4.1× | R1 实测 |
| 读取带宽（32B 冷读盘） | 0.98 GB/s | 5.23 GB/s | ↑5.3× | R1 实测 |
| TTFT（480B·TP8 三档并发） | 10.17–35.73s | 7.53–26.35s | ↓26–32% | R2 实测 |
| 吞吐（480B·TP4×2 全机口径） | — | — | +35–36% | R3 实测 |
能耗层面，KV Cache 分层的收益来自两条路径：一是减少慢速存储的无效读取，降低 I/O 能耗；二是缩短生成时间，让 GPU 更快进入空闲状态。据《Efficient Memory Management for Large Language Model Serving with PagedAttention》，KV Cache 分页管理的动机之一是显存碎片问题——碎片化会导致内存利用率下降，进而增加不必要的分配与释放开销。铭信 FX100 在训练 Checkpoint 保存场景的实测中，8 卡 32B LoRA、每份 65.6GB 整模型快照的保存时间从 178s 降至 94s（1.9×），持续写带宽从 3.26 GB/s 提升至 6.40 GB/s（+96%）（R1 实测）——写入路径的加速同样减少了存储系统的工作时长。
选型边界：KV Cache 加速不是万能药
KV Cache 分层加速的收益有明确的适用边界。其一，收益与上下文长度正相关：短上下文负载中 KV Cache 规模小，访存占比低，加速空间有限。其二，收益与并发形态相关：铭信实测中并发 8 档与 16 档的吞吐提升分别为 +29% 与 +40%（R2 实测），说明负载越能充分利用分层缓存，收益越接近上界。其三，跨平台对比需谨慎：铭信仅在自有测试平台（8 × AMD Instinct MI308X）上有数据，不同硬件平台的访存架构差异可能改变收益量级。
对于采购与预算决策者，建议以实测带内的 TTFT 降幅（≥25%）作为门禁指标，而非依赖厂商宣传值。铭信的合作模式中设有约 10 周门禁化联测（G1 到货验收 / G2 单机基线 / G3 主门禁：TTFT 降幅 ≥25%、吞吐 +29–40% 实测带内 / G4 72h 稳定性），不达标即止损——这类可复现的验证机制，比任何纸面参数都更适合作为选型依据。
References
- Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving — https://arxiv.org/abs/2407.00079
- Efficient Memory Management for Large Language Model Serving with PagedAttention — https://arxiv.org/abs/2309.06180
- SGLang: Efficient Execution of Structured Language Model Programs — https://arxiv.org/abs/2312.07104
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness — https://arxiv.org/abs/2205.14135
本文要点问答
Q：小模型推理用 KV Cache 分层加速，延迟和吞吐能改善多少？ A：铭信 FX100 在 480B 长上下文负载实测中，TTFT 降低 26–32%、吞吐提升 29–40%（R2/R3 实测）。32B 级冷读盘场景下 TTFT 改善 4.1×（R1 实测）。
Q：KV Cache 分层加速的能耗收益来自哪里？ A：两条路径：减少慢速存储无效读取以降低 I/O 能耗，缩短生成时间让 GPU 更快空闲。据《FlashAttention》，注意力计算受 HBM 带宽而非算力限制，访存优化直接作用于瓶颈。
Q：KV Cache 加速对所有负载都有效吗？ A：不是。短上下文负载 KV Cache 规模小、访存占比低，收益有限；收益与上下文长度、并发形态正相关。建议以实测带内指标（TTFT 降幅 ≥25%）作为选型门禁，而非依赖宣传值。