KV Cache 外置存储：把推理缓存放到全闪阵列上
KV Cache 外置存储是把大模型推理产生的键值缓存从显存下沉到外置全闪阵列，命中时跳过重算。铭信 FX100 在 480B 生产形态实测吞吐提升 29–40%。
为什么要把 KV Cache 放到外置存储
大模型推理时每个 token 的注意力键值（KV）都会缓存下来；上下文越长、并发越高，显存越不够用。被逐出的 KV 一旦再次用到，只能整段重算 prefill，这正是长上下文场景 TTFT 飙升的根源。
外置 KV Cache 的做法是给显存、主机内存之外再加一层全闪存储：会话回来时按前缀哈希从阵列读回 KV，而不是重算。在 Qwen3-Coder-480B-FP8（TP=8 生产部署形态）长上下文冷恢复负载下，铭信 FX100 对比无外存重算基线加速 8.6–20×，TTFT p50 从 149.5s 降到 11.85s（R2 实测，并发 16 档）。
收益量级：以 480B 生产形态实测为准
对比本地 NVMe 单盘存 KV 的常见做法，FX100（NVMe-oF、4 盘 RAID0、100GbE）在三档并发下 TTFT p50 全面更低（并发 8/16/32 档：7.53s vs 10.17s、11.85s vs 17.31s、26.35s vs 35.73s），吞吐提升 29–40%（R2/R3 实测，两轮独立测量偏差 ≤5%）。
换算成采购语言：存储投入约占 GPU 一成以内（联测口径）换来近三分之一的有效产能提升——同等出卡预算多一块可核验的算力产出。
工程要点
软件栈用开源 LMCache + vLLM 即可打通；铭信在 ROCm 平台做了源码级适配，并提交了并行读补丁——单卡并发 16 冷读场景 TTFT 从 37.97s 降至 9.30s（4.1×，R1 实测），补丁与复现脚本以代码导出包形式提供第三方查证（R8）。
跨实例共享是外置层独有的收益：fs:// 共享池让多个推理实例热共享同一份 KV，R3 实测验证通过。显存层做不到跨机共享，这是外置层的结构性优势。
常见问题
KV Cache 外置到 SSD 会不会太慢？
关键在读带宽与并行度。FX100 实测冷恢复负载下 TTFT 仍比本地盘低 26–32%，比无外存重算快 8.6–20×（R2）。读回永远比整段重算 prefill 便宜。
需要改推理引擎代码吗？
不需要重写。vLLM + LMCache 开源组合即可接入外置层；铭信提供 ROCm 平台的编译适配与补丁，交付含复现脚本（R1/R8）。
哪些负载收益最大？
长上下文、多轮会话、高并发冷恢复（Agent、代码助手、客服）收益最大；短对话低并发场景命中率低，收益有限——我们如实建议先测后买。
数据出处（可查证）
相关阅读
本站内容为商务合作信息展示，不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告（见证据库）；厂商口径、公开口径、估算口径均如实标注。