分布式KV Cache负载均衡：策略与实测取舍

分布式KV Cache的负载均衡，本质是在显存容量、访存带宽与跨节点通信开销三者之间做取舍。没有一种策略在所有负载下最优：对480B级MoE模型的长上下文冷恢复场景，铭信FX100的实测显示，合理的分层与调度策略可带来+29–40%的吞吐提升（R2/R3实测），而策略选择失误则可能让收益归零甚至为负。本文结合公开架构设计与铭信实测数据，拆解三种主流策略的适用边界。

为什么分布式KV Cache的负载均衡会成为瓶颈？

大模型推理的访存瓶颈早已被反复论证。据《FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness》的分析，注意力计算受HBM带宽而非算力限制——这决定了KV Cache的读取效率直接决定推理吞吐。当单卡显存放不下长上下文的KV Cache时，就必须把它分布到多卡甚至多机。

分布式带来的第一个问题是访问局部性丧失。据《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》的描述，以KVCache为中心的存算分离架构通过前缀缓存复用与跨节点KV池化来缓解这一问题，但跨节点访问的延迟代价始终存在。铭信R2实测中，480B模型TP8三档并发下，TTFT p50从10.17–35.73s降至7.53–26.35s（降幅26–32%），这个收益的前提正是KV Cache被放置在正确的位置——距离计算卡足够近，且各卡负载均衡。

第二个问题是显存碎片与不均衡。据《Efficient Memory Management for Large Language Model Serving with PagedAttention》的分析，KV Cache的分页管理能缓解显存碎片问题，但分页本身不解决分布均衡问题。不同请求的上下文长度差异极大，若不做负载均衡，部分卡的显存被占满而其他卡空闲，整体吞吐受限于最忙的那张卡。

三种主流负载均衡策略的取舍

策略一：哈希一致性路由（静态均衡）

将KV Cache按key哈希分布到各节点，实现无状态路由。优点是实现简单、无中心调度开销；缺点是无法感知热点——某个热门前缀的KV被哈希到同一节点，该节点成为热点而其他节点空闲。

据《SGLang: Efficient Execution of Structured Language Model Programs》的描述，RadixAttention通过前缀树复用机制提高共享前缀场景的命中率，但前缀树本身是单机视角，跨节点的前缀分布仍需额外调度。铭信R1实测中，LMCache并行读补丁在单卡并发16冷读盘场景下将TTFT从37.97s降至9.30s（4.1×改善，带宽从0.98升至5.23 GB/s），这验证了读取路径优化的价值，但静态哈希无法主动规避热点。

适用场景：请求模式均匀、无显著热点前缀的生产环境。此时静态哈希的零调度开销优势最明显。

策略二：容量感知调度（动态均衡）

调度器维护各节点的KV Cache占用率，新请求的KV优先写入占用率最低的节点。这是最直观的动态均衡策略，能避免显存碎片化的不均衡。

铭信R2实测中，480B生产部署形态长上下文冷恢复负载下，并发8档时吞吐提升+29%（下界），最优工作点并发16档时+40%（上界）——这个收益曲线说明：并发越高，动态均衡的收益越显著，因为高并发下请求间KV Cache的竞争更激烈，静态策略的不均衡被放大。

但容量感知调度有全局同步开销。据《NVIDIA Collective Communications Library (NCCL) Documentation》的描述，多卡多机集合通信的同步开销随节点数增长。若调度器频繁广播各节点容量状态，通信本身可能吃掉均衡收益。

适用场景：并发中等偏高、请求长度方差大的生产负载。铭信R2的TP4×2全机口径+35–36%吞吐提升（R3实测）即在此类配置下取得。

策略三：访存感知分层调度（铭信FX100的实测路径）

这是铭信FX100实测中采用的策略：将KV Cache按访问频率分层——热数据留在本地显存或近端NVMe，冷数据下沉到远端存储池。其核心洞察是：负载均衡不只是空间上的均匀，更是时间上的分层。

铭信R2实测中，对无外存重算的加速倍数达8.6–20×：重算基线TTFT p50为149.5s（并发16），对比FX100的11.85s；吞吐从4.1提升至74.9 tok/s。这个数量级的差距说明，避免重算比任何均衡策略都重要——分层调度的首要目标不是让各卡负载均匀，而是让冷数据不阻塞热数据的读取。

据《ZeRO: Memory Optimizations Toward Training Trillion Parameter Models》的分析，大模型训练的显存优化同样遵循"分层卸载"思路——状态分片与卸载的取舍，与推理侧KV Cache的分层异曲同工。而据《NVIDIA GPUDirect Storage Documentation》的描述，GPU直连存储可绕过CPU bounce buffer，这为冷数据从NVMe直接读入GPU提供了低延迟通路，正是分层调度的硬件基础。

铭信R9实测中，模型推理加载加速（vs NFS）达6.2–9.3×：华为Atlas 910B平台上，DeepSeek-32B服务加载从691s降至112s，DeepSeek-70B从1399s降至150s。这验证了近端存储替代远端NFS的收益——分层调度中，冷数据层的存储介质选择直接决定整体延迟。

适用场景：长上下文、冷恢复、多实例共享前缀的生产负载。铭信R3实测的TP4×2全机口径+35–36%吞吐提升即在此策略下取得。

策略选择的决策框架

铭信FX100的实测数据表明，三层策略并非互斥：哈希路由可作为入口的快速路径，容量感知负责节点间的动态平衡，访存感知分层则处理冷热数据的介质选择。实际部署中，最优配置往往是在入口用哈希快速路由，在节点间用容量感知做动态迁移，在存储层用分层策略区分冷热。

结语

分布式KV Cache的负载均衡没有银弹。哈希一致性路由适合均匀负载，容量感知调度适合高并发长尾，访存感知分层则适合长上下文冷恢复——后者在铭信FX100的480B实测中取得了+29–40%的吞吐提升（R2/R3实测）。策略的选择应基于实际负载特征，而非追逐理论最优。

铭信FX100系列（FX100/FX200/FX300/FX400）提供从PCIe 3.0到PCIe 6.0的存储加速方案，支持与主流推理框架的联测验证。欢迎对KV Cache分层策略感兴趣的团队与我们联系，在真实负载下验证收益边界。

本文要点问答

Q：分布式KV Cache负载均衡的三种主流策略分别是什么？ A：哈希一致性路由（静态、零调度开销）、容量感知调度（动态、按占用率分配）、访存感知分层调度（冷热分层、主动下沉冷数据）。三者适用场景不同，可组合使用。

Q：访存感知分层调度在铭信FX100实测中的收益是多少？ A：480B模型长上下文冷恢复负载下，吞吐提升+29–40%（并发8档为下界+29%，并发16档为上界+40%，TP4×2全机口径+35–36%）。对无外存重算的加速达8.6–20×（R2/R3实测）。

Q：负载均衡策略的选择依据是什么？ A：核心是请求模式与并发水平。均匀短上下文用哈希路由即可；高并发长尾负载需容量感知；长上下文冷恢复场景必须做访存感知分层，否则冷数据阻塞热数据读取，均衡收益会被抵消。

References

1. Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving — https://arxiv.org/abs/2407.00079
2. Efficient Memory Management for Large Language Model Serving with PagedAttention — https://arxiv.org/abs/2309.06180
3. ZeRO: Memory Optimizations Toward Training Trillion Parameter Models — https://arxiv.org/abs/1910.02054
4. SGLang: Efficient Execution of Structured Language Model Programs — https://arxiv.org/abs/2312.07104
5. NVIDIA Collective Communications Library (NCCL) Documentation — https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/index.html
6. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness — https://arxiv.org/abs/2205.14135
7. NVIDIA GPUDirect Storage Documentation — https://docs.nvidia.com/gpudirect-storage/index.html