KV Cache外置化：存储层如何等效替代128GB级显存驻留
铭信实测显示，KV Cache分层加速使480B模型推理吞吐提升29–40%，TTFT降低26–32%。外置存储层正成为显存驻留的经济替代方案。
KV Cache 的显存驻留问题正从“工程优化”上升为“架构选择”。本文核心结论：通过外置存储层实现 KV Cache 的分层管理与异步回补，可以在保持推理质量的前提下，等效替代 128GB 级显存中用于缓存驻留的部分——铭信 FX100 在 480B 模型长上下文负载下的实测数据显示，该方案带来推理吞吐 +29–40%、TTFT ↓26–32% 的带内收益【R2/R3 实测】。这一路径的本质，是把“显存装不下”的问题转化为“存储够不够快”的问题。
为什么 KV Cache 会成为显存瓶颈？
大模型推理的显存压力并非来自权重本身。以 480B 参数 MoE 模型为例，其权重约 450GB，可通过多卡张量并行分散驻留；真正随并发与上下文长度线性膨胀的，是每请求独立生成的 KV Cache。据《Efficient Memory Management for Large Language Model Serving with PagedAttention》的分析，KV Cache 的显存碎片化与管理开销是制约服务吞吐的核心因素之一，其动机与量化分析为分页管理提供了理论起点。该论文同时指出，vLLM 通过 PagedAttention 实现的吞吐提升，其收益上限受限于物理显存总量——当缓存需求超过显存容量时，无论分页多高效，都必须做出取舍。
传统解法是“重算”：丢弃部分 KV Cache，在需要时重新计算。铭信 R2 实测中，无外存重算基线的 TTFT p50 高达 149.5s（并发 16 档），对比 FX100 的 11.85s，差距达一个数量级【R2 实测】。重算的代价是成倍的算力空转与延迟劣化，这在长上下文、高并发场景下几乎不可接受。
外置存储层如何“等效替代”显存驻留？
替代逻辑并非把 KV Cache 全部搬出显存，而是分层：热数据驻留显存，温/冷数据落在外置存储层，通过高速 NVMe-oF 阵列在 GPU 需要时按需回补。这一思路与《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》所描述的以 KVCache 为中心的存算分离架构同源——该论文探讨了前缀缓存复用与跨节点 KV 池化的设计取舍，其核心洞察是：KV Cache 的访问模式（顺序写、随机读、前缀高度复用）与存储系统的能力曲线高度匹配。
铭信 FX100 的实测数据验证了这一匹配度。在 480B·TP8 长上下文负载下，三档并发的 TTFT p50 从 10.17–35.73s 降至 7.53–26.35s，降幅 26–32%【R2 实测】。更关键的是吞吐指标：并发 8 档提升 29%（下界），最优工作点并发 16 档提升 40%（上界），TP4×2 全机口径为 +35–36%【R2/R3 实测】。这些数字意味着，在相同 SLA 约束下，系统所需的并发余量可以下降——这正是“等效替代显存”的量化含义。
实测数据对比：外置存储 vs 本地 NVMe 基线
为便于读者逐项核对，下表汇总铭信 R2 实测的关键对比数据：
| 指标 | 基线（本地 NVMe 单盘） | FX100 外置存储阵列 | 提升幅度 | 出处 |
|---|---|---|---|---|
| TTFT p50（并发 16） | 149.5s（重算基线） | 11.85s | 8.6–20× | R2 实测 |
| 吞吐（并发 16） | 4.1 tok/s | 74.9 tok/s | ~18× | R2 实测 |
| TTFT p50（三档并发） | 10.17–35.73s | 7.53–26.35s | ↓26–32% | R2 实测 |
| 推理吞吐（并发 8–16） | — | — | +29–40% | R2/R3 实测 |
测试平台为 8× AMD Instinct MI308X（每卡 192GB HBM），vLLM 0.20.1+rocm721，模型为 Qwen3-Coder-480B-FP8（MoE，权重约 450GB）。FX100 配置为 4 盘 RAID0（14TB，XFS），RoCEv2 单口 100GbE【R2 实测】。
这一方案的前提与边界是什么？
外置存储替代显存驻留并非无条件成立，其有效性依赖三个前提：
第一，存储系统必须足够快。 回补延迟直接决定 TTFT。铭信 FX100 在单卡·并发 16·冷读盘场景（Qwen2.5-32B）下，配合 LMCache 并行读补丁，TTFT 从 37.97s 降至 9.30s，带宽从 0.98 提升至 5.23 GB/s（↑5.3×）【R1 实测】。若存储带宽不足，回补将成为新瓶颈。
第二，访问模式必须匹配。 前缀缓存复用率越高，外置化的收益越大。《SGLang: Efficient Execution of Structured Language Model Programs》提出的 RadixAttention 机制，通过前缀树复用显著提升多轮对话与共享前缀场景的缓存命中率——这正是外置存储层最受益的工作负载形态。
第三，软件栈需深度适配。 铭信实测中使用的 LMCache 并行读补丁并非开箱即用，而是针对存储特性做的定制优化【R1 实测】。据 NVIDIA 官方对 CMX Context Memory Storage Platform 的产品定位，其将 CMX 定义为 AI 原生上下文存储层，并给出“相对传统存储最高约 5× 吞吐 / 5× 能效”的厂商口径——这侧面印证了软硬协同在该领域的必要性。
结语
KV Cache 外置化是一条已被实测验证的工程路径：它不试图让显存“变大”，而是让存储“变快”到足以承担缓存溢出的部分。铭信在该方向积累了可复现的测试方法与实测数据（R1–R9 系列报告），并开放约 10 周门禁化联测机制（G1 到货验收至 G4 72h 稳定性），供有需求的算力中心在自身负载上验证收益边界。如需探讨特定模型或并发形态下的适配方案，欢迎联系联测。
本文要点问答
Q：外置存储层真的能替代 128GB 级显存驻留吗？ A：能替代的是其中用于 KV Cache 缓存的部分，而非全部显存。铭信 R2 实测显示，在 480B 模型长上下文负载下，FX100 外置存储方案带来吞吐 +29–40%、TTFT ↓26–32% 的带内提升【R2/R3 实测】。
Q：这一方案的核心前提是什么？ A：存储系统需具备足够低的回补延迟与高带宽（铭信实测冷读带宽 5.23 GB/s），工作负载需有较高的前缀复用率，且软件栈需深度适配（如 LMCache 并行读补丁）。
Q：与重算基线相比，收益有多大？ A：铭信 R2 实测中，无外存重算基线 TTFT p50 为 149.5s（并发 16），FX100 为 11.85s，加速 8.6–20×；吞吐从 4.1 提升至 74.9 tok/s【R2 实测】。
References
- Efficient Memory Management for Large Language Model Serving with PagedAttention — https://arxiv.org/abs/2309.06180
- Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving — https://arxiv.org/abs/2407.00079
- SGLang: Efficient Execution of Structured Language Model Programs — https://arxiv.org/abs/2312.07104
- NVIDIA CMX Context Memory Storage Platform — https://www.nvidia.com/en-us/data-center/ai-storage/cmx/