KV Cache 分层存储为什么能把 480B 大模型推理吞吐提升 29–40%：实测数据拆解
KV Cache 分层存储技术通过将热数据保留在显存、冷数据卸载至NVMe-oF闪存阵列，在480B参数级MoE模型的长上下文推理中实现了吞吐提升29–40%（R2/R3实测），首token延迟（TTFT）降低26–32%。这一收益并非来自计算加速，而是源于对显存瓶颈的突破与存储层级间的智能调度。以下从三个维度进行数据拆解。
显存墙与 KV Cache 的存储矛盾
当前大模型推理的核心矛盾在于：显存容量远小于模型权重与 KV Cache 的总需求。以 Qwen3-Coder-480B-FP8（MoE，权重≈450GB）为例，在 8×MI308X（每卡192GB HBM，总计1.5TB）平台上，显存需同时承载模型权重、激活值、优化器状态及 KV Cache。长上下文场景下，KV Cache 随序列长度线性增长，典型 128K token 的 KV Cache 约占用 50–80GB，若并发16个请求，仅 KV Cache 就需 800GB–1.28TB——远超显存容量。
传统方案依赖无外存重算（即每次请求重新计算所有 KV Cache），代价是 TTFT 高达 149.5s（conc16，R2实测），吞吐仅 4.1 tok/s。另一种方案是使用 CPU 内存或 NFS 作为扩展存储，但 PCIe 带宽与网络延迟导致性能下降。铭信 FX100 采用的 LMCache 分层策略，将显存作为 L1 缓存、NVMe-oF 全闪阵列作为 L2 缓存，通过 KV Cache 的分层卸载与预取，在显存不足时避免重算。
冷恢复场景：分层存储如何实现 29–40% 吞吐提升
在 480B 生产部署形态长上下文冷恢复负载中（R2/R3实测），FX100 的 KV Cache 分层存储表现出明确的吞吐增益：
- 并发8档（下界）：吞吐提升 +29%。此时显存压力相对较小，分层存储主要优化了偶发的冷数据访问，减少重算次数。
- 并发16档（上界）：吞吐提升 +40%。高并发下显存完全饱和，分层存储将大部分冷 KV Cache 卸载至闪存，同时通过 LMCache 并行读补丁（R1实测）将单卡冷读盘 TTFT 从 37.97s 降至 9.30s（4.1×改善），带宽从 0.98 GB/s 升至 5.23 GB/s（5.3×提升）。
- 全机口径（TP4×2）：吞吐提升 35–36%。跨节点场景中，分层存储减少了节点间因 KV Cache 缺失导致的通信等待。
核心机制在于：显存仅保留最近活跃的 KV Cache（热数据），历史或低频访问的 KV Cache 被压缩后写入 NVMe-oF 阵列，并在需要时以接近本地 NVMe 的速度回读。FX100 单接口 100Gb（实测带宽约 11.5 GB/s）结合 LMCache 的预取策略，使冷数据访问延迟从秒级（重算）降至百毫秒级（闪存回读），从而在高并发下维持接近显存命中的吞吐。
首 token 延迟降低 26–32%：分层存储的延迟收益
TTFT 是长上下文推理的关键体验指标。R2实测显示，在 480B·TP8 三档并发下，FX100 将 TTFT p50 从 10.17–35.73s 降至 7.53–26.35s，降幅 26–32%。这一收益主要来自两方面：
- 避免无外存重算：对于需要访问历史 KV Cache 的请求（如对话延续、长文档分析），分层存储直接返回已缓存的 KV Cache，而非重新计算。在 conc16 下，重算基线 TTFT 为 149.5s，而 FX100 仅需 11.85s（加速 12.6×）。
- LMCache 的智能预取：系统根据请求的上下文 ID 和位置，在显存与闪存间预取即将访问的 KV Cache 块。R1实测中，单卡冷读盘场景的 TTFT 改善 4.1×，说明预取策略有效掩盖了闪存访问延迟。
值得注意的是，TTFT 降幅（26–32%）小于吞吐提升（29–40%），这是因为 TTFT 主要受首块 KV Cache 的命中率影响，而吞吐受整体缓存命中率与重算开销的累积效应影响更大。
对比无外存重算：8.6–20× 的加速倍数
分层存储的最大收益体现在与无外存重算基线的对比上。R2实测数据显示：
- TTFT p50：重算基线 149.5s（conc16） vs FX100 11.85s，加速 12.6×
- 吞吐：重算基线 4.1 tok/s vs FX100 74.9 tok/s，加速 18.3×
- 加速倍数范围：8.6–20×（取决于并发度与上下文长度）
这一对比清晰地表明：显存容量不足时，分层存储是比无外存重算更优的选择。重算虽然节省了存储成本，但计算开销随序列长度二次增长，导致延迟与吞吐急剧恶化。FX100 的 NVMe-oF 架构（实测持续写带宽 6.40 GB/s，相比本地 NVMe 提升 96%，R1实测）在保存与读取 KV Cache 时，带宽远高于重算所需的内存带宽，从而在时间维度上实现净收益。
结语
KV Cache 分层存储的核心价值在于：用闪存带宽换取显存容量，在长上下文、高并发场景下避免重算的计算爆炸。铭信 FX100 通过 LMCache 与 NVMe-oF 全闪阵列的协同，在 480B 模型上实现了吞吐 29–40%、TTFT 26–32% 的实测改善，且性能增益随并发度与上下文长度增加而扩大。对于部署千亿参数模型的算力中心，这一方案提供了一条显存扩展之外、成本可控的性能优化路径。如需获取完整测试报告或进行门禁化联测（约10周，含G1–G4阶段），可联系铭信技术团队获取 NDA 后的 Python 可复现测算模型。
本文要点问答
Q：KV Cache 分层存储为什么能提升大模型推理吞吐？
A：通过将热数据保留在显存、冷数据卸载至 NVMe-oF 闪存阵列，避免无外存重算的计算开销。在 480B 模型并发16档下，吞吐提升 40%（R2实测），全机口径 35–36%（R3实测）。
Q：首 token 延迟（TTFT）能降低多少？
A：在 480B·TP8 三档并发下，TTFT p50 降低 26–32%（R2实测）。冷恢复场景中，单卡冷读盘 TTFT 改善 4.1×（R1实测）。
Q：与无外存重算相比，FX100 的加速倍数是多少？
A：TTFT 加速 12.6×（149.5s→11.85s），吞吐加速 18.3×（4.1→74.9 tok/s），整体加速倍数 8.6–20×（R2实测）。