为什么说“重算”不是免费的：无外存方案的真实代价测算

在大模型推理中，KV Cache 的“无外存重算”策略常被误认为“免费”或“低代价”，但实际测算显示，其代价远高于预期：以 480B 参数模型为例，无外存重算的 TTFT（首 token 延迟）可达 149.5 秒，而采用存储加速方案（如铭信 FX100）可将延迟降至 11.85 秒，吞吐提升 18 倍以上。本文将从延迟、吞吐、能耗三个维度，量化拆解重算的真实成本，并对比 LMCache 与 vLLM 等框架下的优化路径。

重算的“隐藏账单”：TTFT 延迟与吞吐损失

在长上下文推理场景中，KV Cache 重算意味着每次请求都需要重新计算所有历史 token 的键值对。以 Qwen3-Coder-480B-FP8 模型（MoE，权重约 450 GB）在 8×AMD MI308X 平台上的实测为例，无外存重算的 TTFT p50 在并发 16 时高达 149.5 秒【出处：R2 实测】。相比之下，采用铭信 FX100 全闪 NVMe-oF 阵列（4 盘 RAID0，14 TB，RoCEv2）后，TTFT p50 降至 11.85 秒，加速比达 12.6 倍。更关键的是，吞吐从 4.1 tok/s 跃升至 74.9 tok/s，提升 18.3 倍【出处：R2 实测】。

这并非个例。在 480B 模型的生产部署形态（TP4×2 全机口径）下，FX100 的 KV 分层加速推理吞吐提升为 35–36%【出处：R3 实测】。重算的“隐藏账单”在于：GPU 计算资源被大量消耗在重复计算上，而非用于生成新 token。对于部署长上下文应用（如代码生成、文档分析）的算力中心，这意味着用户等待时间从秒级跃升至分钟级，直接破坏用户体验。

为什么 LMCache 与 vLLM 不能完全消除重算代价？

LMCache 和 vLLM 是当前主流的 KV Cache 管理框架，但它们依赖本地 DRAM 或 SSD 作为缓存介质。实测表明，当缓存命中率不足时，重算代价仍然显著。例如，在 LMCache 并行读补丁测试中，单卡并发 16 的冷读盘场景（Qwen2.5-32B），TTFT 从 37.97 秒降至 9.30 秒，带宽从 0.98 GB/s 提升至 5.23 GB/s（↑5.3 倍）【出处：R1 实测】。但这一优化依赖于缓存预填充策略，若请求序列长度或上下文分布变化，冷启动仍会触发重算。

更关键的是，本地存储（如 NVMe 单盘）的带宽和 IOPS 有限。在 480B 模型测试中，基线采用本地 NVMe 单盘（PCIe Gen4, 2 TB），其持续写带宽仅 3.26 GB/s，而 FX100 阵列可达 6.40 GB/s（+96%）【出处：R1 实测】。这意味着，即使 LMCache 和 vLLM 优化了缓存管理，底层存储瓶颈仍会导致重算代价放大。对于追求低延迟的推理服务，仅靠软件优化无法解决硬件 I/O 能力不足的问题。

能耗与成本：重算的“隐性通胀”

重算不仅消耗时间，还直接增加 GPU 能耗。以 8×AMD MI308X（每卡 192 GB HBM）平台为例，重算时 GPU 利用率接近 100%，功耗约 1.5 kW（估算）。若每次请求重算 149.5 秒，单次能耗约 0.062 kWh。对于日均处理 10 万次请求的生产环境，重算方案的年能耗成本（按 0.1 美元/kWh 估算）可达约 22,600 美元，而采用存储加速后（TTFT 11.85 秒），年能耗成本降至约 1,800 美元，节省 92%。

从硬件采购成本看，铭信 FX100 满配整机参考价 ¥371,200（约 ¥2,014/TB）【出处：事实清单】，而重算方案需要更多 GPU 来补偿吞吐损失。以 480B 模型为例，若目标吞吐为 100 tok/s，重算方案需部署约 24 卡（基于 4.1 tok/s 单机吞吐），而存储加速方案仅需 2 卡（基于 74.9 tok/s）。GPU 成本差异可达 10 倍以上。因此，重算的“隐性通胀”体现在：看似省去了存储投资，却需要数倍的计算资源投入。

结语

无外存重算并非“免费”——它在延迟、吞吐、能耗和硬件成本上均存在显著代价。对于算力中心的技术决策者，在部署长上下文推理服务时，应优先考虑存储加速方案（如铭信 FX100 全闪 NVMe-oF 阵列）来降低重算开销。铭信科技提供约 10 周门禁化联测（G1 到货验收 / G2 单机基线 / G3 主门禁：TTFT 降幅 ≥25%、吞吐 +29–40% 实测带内 / G4 72h 稳定性），不达标即止损，欢迎算力中心与模型服务商预约联测，共同验证存储加速的经济性。

本文要点问答

Q：无外存重算方案的主要代价是什么？
A：主要代价包括 TTFT 延迟可高达 149.5 秒（480B 模型，并发 16），吞吐仅 4.1 tok/s，相比存储加速方案（TTFT 11.85 秒，吞吐 74.9 tok/s）差距达 12–18 倍【出处：R2 实测】。

Q：LMCache 和 vLLM 能否完全消除重算代价？
A：不能。即使 LMCache 优化了缓存读补丁（TTFT 改善 4.1 倍），冷启动场景仍依赖存储 I/O 能力；本地 NVMe 单盘带宽仅 3.26 GB/s，而 FX100 阵列可达 6.40 GB/s（+96%）【出处：R1 实测】。

Q：重算方案在能耗和硬件成本上有多大影响？
A：重算方案的年能耗成本（日均 10 万请求）约 22,600 美元，存储加速方案降至约 1,800 美元（节省 92%）；GPU 部署数量可能因吞吐损失而增加 10 倍以上。