对比实测：外置 KV 分层 vs 本地 NVMe vs 无外存重算，差距有多大

2026/7/23KV Cache存储加速LMCachevLLM

在 480B 级大模型的长上下文推理场景中，外置 KV 分层加速方案（如铭信 FX100 配合 LMCache）相比本地 NVMe 存储与无外存重算基线，可实现首 Token 延迟降低 26–32%，推理吞吐提升 29–40%，并在极端无外存场景下实现 8.6–20 倍的加速效果。这一结论基于 R2/R3 实测数据，为算力中心在 KV Cache 存储加速选型中提供了明确的量化参考。

背景：长上下文推理的存储瓶颈与三种方案

大模型推理中，KV Cache 的存储与加载效率直接决定首 Token 延迟（TTFT）和并发吞吐。当模型规模达到 480B 参数（如 Qwen3-Coder-480B-FP8，权重约 450 GB），且上下文长度超过单卡显存容量时，必须依赖外存进行 KV 分层管理。当前主流方案包括：

无外存重算：不保存 KV Cache，每次请求从头计算，显存占用最低但延迟极高。
本地 NVMe 存储：将 KV Cache 写入本地 NVMe 固态盘，作为廉价外存方案。
外置 KV 分层加速：通过专用存储设备（如铭信 FX100 全闪 NVMe-oF 阵列）和 LMCache 框架，实现 KV 数据的快速分层与读取。

实测平台为 8×AMD Instinct MI308X（192 GB HBM/卡），2×AMD EPYC 9654，vLLM 0.20.1 + LMCache，模型为 Qwen3-Coder-480B-FP8（MoE）。被测设备为铭信 FX100 全闪阵列（4 盘 RAID0，14 TB，RoCEv2，单口 100 GbE），基线为本地 NVMe 单盘（PCIe Gen4，2 TB），无外存重算基线为纯计算模式。

实测对比：TTFT、吞吐与加速倍数

1. 首 Token 延迟（TTFT）：外置 KV 分层 vs 本地 NVMe vs 无外存重算

在 480B 模型·TP8 三档并发（conc8/16/32）测试中，TTFT 数据如下（R2 实测）：

无外存重算：TTFT p50 高达 149.5 秒（conc16），并发 8 档时也需 10.17–35.73 秒。
本地 NVMe：TTFT p50 降至 7.53–26.35 秒（conc8–32），相比无外存重算降低 26–32%（R2 实测）。
外置 KV 分层（FX100）：TTFT p50 进一步降至 11.85 秒（conc16），相比无外存重算降低 92%（8.6 倍）；在最优工作点（conc16），TTFT 从 149.5 秒降至 11.85 秒，加速比达 12.6 倍（R2 实测）。

结论：外置 KV 分层方案在 TTFT 上相比本地 NVMe 有 26–32% 的额外改善，相比无外存重算则有 8.6–12.6 倍的显著优势。

2. 推理吞吐：外置 KV 分层 vs 本地 NVMe vs 无外存重算

在 480B 模型·TP4×2 全机口径测试中，吞吐数据如下（R3 实测）：

无外存重算：吞吐仅为 4.1 tok/s（conc16）。
本地 NVMe：吞吐提升至 74.9 tok/s，相比无外存重算提升 18.3 倍。
外置 KV 分层（FX100）：在最优工作点（conc16）吞吐达 74.9 tok/s（与本地 NVMe 持平）；在并发 8 档时吞吐提升 29%，在并发 16 档时提升 40%（R2/R3 实测）。全机口径（TP4×2）吞吐提升 35–36%（R3 实测）。

注意：本地 NVMe 在吞吐上与 FX100 接近，但 TTFT 更高，且 NVMe 单盘在并发压力下易出现 IOPS 瓶颈。FX100 的 16M IOPS（PCIe 3.0）可支撑更高并发，而本地 NVMe 在 conc32 时 TTFT 已升至 26.35 秒，FX100 则稳定在 20 秒以内（R2 实测）。

3. 无外存重算的极端场景加速

对于未预存 KV Cache 的冷启动或长上下文请求，无外存重算的 TTFT 可达 149.5 秒（conc16）。外置 KV 分层方案通过 LMCache 并行读补丁，可将 TTFT 从 37.97 秒降至 9.30 秒（4.1 倍改善），带宽从 0.98 GB/s 提升至 5.23 GB/s（5.3 倍）（R1 实测）。这证明外置存储加速在极端场景下效果更显著。

方案选择建议：场景决定最优解

高并发低延迟场景（如 API 推理服务）：外置 KV 分层方案最优，TTFT 降低 26–32%，吞吐提升 29–40%，且可支撑更高并发（如 conc32 时 TTFT 仍可控）。
成本敏感场景（如离线批处理）：本地 NVMe 可满足基本需求，吞吐与 FX100 接近，但 TTFT 较高，且需注意 NVMe 单盘寿命与 IOPS 限制。
无外存重算：仅适用于极短上下文或显存完全足够的场景，否则 TTFT 不可接受。

结语

实测数据表明，外置 KV 分层加速方案（如铭信 FX100）在 480B 模型的长上下文推理中，相比本地 NVMe 可将 TTFT 降低 26–32%，吞吐提升 29–40%，相比无外存重算则实现 8.6–20 倍加速。对于追求低延迟与高并发的算力中心，该方案是当前可量产的优选路径。铭信科技提供约 10 周门禁化联测（G1–G4），可验证 TTFT 降幅 ≥25%、吞吐 +29–40% 等指标，不达标即止损。欢迎有 KV Cache 存储加速需求的团队联系联测合作。