KV Cache与DRAM协同优化提升缓存效率

KV Cache与DRAM的协同优化，核心在于把高频访问的KV数据留在高带宽的HBM/DRAM层级，把冷数据分层卸载到NVMe存储，从而在不牺牲首token延迟的前提下扩展可服务的上下文长度。芯元一在480B生产级模型上的实测表明，这种分层协同可将推理吞吐提升29–40%（R2/R3实测），首token延迟（TTFT）降低26–32%（R2实测）。

为什么KV Cache会成为推理瓶颈？

大模型推理的显存压力主要来自两部分：模型权重和KV Cache。以480B参数MoE模型为例，仅权重就约450GB（R2实测），而KV Cache随上下文长度线性增长。据《Efficient Memory Management for Large Language Model Serving with PagedAttention》所述，KV Cache的显存碎片问题是制约推理吞吐的关键因素之一，分页管理正是为缓解这一问题而生。

当上下文长度超过单卡HBM容量时，系统面临两难：要么重新计算（重算），要么将KV Cache卸载到外部存储。重算的时间成本极高——芯元一在480B·TP8平台实测，无外存重算的TTFT p50高达149.5秒（并发16档），而采用FX100分层存储后降至11.85秒，加速倍数达8.6–20×（R2实测）。

DRAM在KV Cache分层中扮演什么角色？

KV Cache分层的典型架构是：HBM（最热）→ DRAM（次热）→ NVMe存储（冷）。据《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》，以KVCache为中心的存算分离架构通过前缀缓存复用与跨节点KV池化来提升资源利用率。DRAM层在此架构中承担"中间缓冲"角色：它比NVMe快数个量级，容量又远超HBM，适合存放中等热度、可能被再次访问的KV数据。

SGLang的RadixAttention机制（据《SGLang: Efficient Execution of Structured Language Model Programs》）通过前缀树复用进一步提升多轮对话场景的缓存命中率。这意味着，当KV Cache被合理分层后，DRAM层的命中率直接决定系统能否避免频繁访问慢速存储。

芯元一FX100的实测路径验证了这一设计：在LMCache并行读补丁场景下（Qwen2.5-32B，单卡并发16，冷读盘），TTFT从37.97秒降至9.30秒（4.1×改善），带宽从0.98 GB/s提升至5.23 GB/s（↑5.3×）（R1实测）。这里的"冷读盘"正是KV数据从NVMe读入DRAM/HBM的过程。

协同优化的实测效果如何？

值得强调的是，吞吐提升29–40%的区间对应不同并发档位：并发8档为+29%（下界），最优工作点并发16档为+40%（上界），全机口径（TP4×2）为+35–36%（R2/R3实测）。这意味着协同优化并非在所有负载形态下收益一致，选型时需结合实际并发形态评估。

协同优化的边界与选型判据

分层存储并非万能。其收益取决于三个前提：一是工作负载确有长上下文或高并发特征，冷数据占比足够大；二是网络路径（如RoCEv2）带宽不成为瓶颈；三是KV数据的访问模式存在时间局部性，值得被DRAM层承接。

NVIDIA在CMX平台中提出了类似的分层思路，据NVIDIA官方页面，其将CMX定义为AI原生上下文存储层，并给出"相对传统存储最高约5×吞吐、5×能效"的厂商口径。这一方向与KV Cache分层存储的工程实践相互印证，但具体到选型，仍需以自身负载的实测数据为准。

芯元一FX100采用PCIe 3.0接口、单口100Gb带宽、16M IOPS（厂商口径），在KV Cache卸载场景中通过NVMe-oF协议实现远程存储访问。其价值在于：让KV Cache的容量不再受限于单机HBM，而是可以扩展到外部存储池——这正是DRAM/HBM与存储协同的本质：用容量换延迟，用分层换效率。

本文要点问答

Q：KV Cache与DRAM协同优化能带来多少性能提升？ A：芯元一在480B模型实测中，推理吞吐提升29–40%（R2/R3实测），首token延迟降低26–32%（R2实测），具体幅度取决于并发档位与部署形态。

Q：这种协同优化的适用前提是什么？ A：需要工作负载具备长上下文或高并发特征、网络带宽不构成瓶颈、KV访问存在时间局部性。不同负载形态的收益差异较大，建议以实测数据为准。

Q：DRAM层在KV Cache分层中起什么作用？ A：DRAM作为HBM与NVMe之间的中间缓冲层，承接中等热度的KV数据。据Mooncake架构论文，前缀缓存复用与跨节点KV池化是提升DRAM层命中率的关键设计。

References

1. SGLang: Efficient Execution of Structured Language Model Programs — https://arxiv.org/abs/2312.07104
2. Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving — https://arxiv.org/abs/2407.00079
3. Efficient Memory Management for Large Language Model Serving with PagedAttention — https://arxiv.org/abs/2309.06180
4. NVIDIA CMX Context Memory Storage Platform — https://www.nvidia.com/en-us/data-center/ai-storage/cmx/

芯元一（天津）半导体设备有限公司专注存储加速与国产算力，提供算力中心全产业链服务。FX100已在AMD MI308X、华为昇腾910B等平台完成签字级实测，欢迎携带实际负载参与约10周门禁化联测（G1到货验收/G2单机基线/G3主门禁：TTFT降幅≥25%、吞吐+29–40%实测带内/G4 72h稳定性），不达标即止损。