为什么说“重算”不是免费的：无外存方案的真实代价测算

2026/7/21KV Cache存储加速LMCachevLLM

在长上下文大模型推理场景中，部分团队选择“无外存重算”策略——即不保存KV Cache到外部存储，每次请求从头计算。然而，这种“免费”方案实际上隐含着显著的时间与成本代价。根据铭信FX100在AMD MI308X平台上的实测数据，对于480B参数的MoE模型（Qwen3-Coder-480B-FP8），无外存重算的TTFT p50高达149.5秒（并发16档），而使用FX100存储加速后降至11.85秒，吞吐量从4.1 tok/s提升至74.9 tok/s，加速倍数达8.6–20倍【出处：R2实测】。本文将从延迟、吞吐与资源效率三个维度，量化揭示重算的真实代价。

重算的“免费”幻觉：延迟与吞吐的双重损耗

“无外存重算”策略的核心假设是：GPU算力足够快，重算KV Cache的时间可以忽略。但在长上下文场景中，这一假设难以成立。以480B模型为例，每次请求的上下文长度可达数十万token，重算KV Cache需要重新执行所有层的前向传播，计算量随上下文长度线性增长。实测数据显示，在TP8配置下，无外存重算的TTFT p50为149.5秒（并发16档），而使用FX100存储加速后，TTFT降至11.85秒【出处：R2实测】。这意味着，单次请求用户需等待近2.5分钟才能看到首token，这在生产部署中是不可接受的。

更关键的是，重算不仅影响首token延迟，还严重拖累吞吐。在并发16档下，无外存重算的吞吐仅为4.1 tok/s，而FX100加速后达到74.9 tok/s，提升约18倍【出处：R2实测】。这种吞吐差距源于重算对GPU资源的独占：当多个并发请求同时重算KV Cache时，GPU计算单元被密集占用，无法有效处理新请求，导致系统整体吞吐急剧下降。对于需要服务大量并发用户的场景，重算方案会迅速成为性能瓶颈。

成本测算：重算的隐性经济代价

重算的代价不仅体现在延迟与吞吐上，还直接转化为经济成本。以8卡AMD MI308X（每卡192GB HBM）的典型配置为例，假设单次重算消耗GPU计算资源约30秒（基于实测149.5s TTFT中重算占主导），那么每小时可处理的重算请求数约为120次。若采用FX100存储加速，TTFT降至11.85秒，每小时可处理约304次请求。在相同的GPU硬件投资下，存储加速方案使请求处理能力提升约2.5倍。按照每卡MI308X约$15,000的估算成本，重算方案需要额外采购2.5倍的GPU集群才能达到相同的服务吞吐，这意味着硬件成本增加150%以上。

此外，重算方案对网络与存储的压力被低估。尽管无外存重算不依赖外部存储，但每次请求的KV Cache计算仍需要从HBM中频繁读取模型权重与中间激活，这加剧了HBM带宽的竞争。在并发16档下，无外存重算的HBM带宽利用率接近饱和，导致其他计算任务（如注意力机制）被延迟。而FX100通过NVMe-oF阵列（4盘RAID0，14TB，RoCEv2）提供低延迟KV Cache访问，实测中LMCache并行读补丁使TTFT改善4.1倍，带宽从0.98 GB/s提升至5.23 GB/s【出处：R1实测】。这种存储加速方案将KV Cache的存储与计算解耦，释放了GPU资源用于核心推理任务。

技术对比：重算 vs 存储加速的适用边界

重算方案并非全无价值。在以下场景中，它可能仍然适用：请求上下文极短（如<1K token）、并发请求量极低（如<4）、或模型规模较小（如<7B参数）。在这些情况下，重算的延迟开销可能被其他因素（如网络延迟）掩盖。但对于主流生产部署——长上下文（>32K token）、高并发（>16）、大模型（>100B参数）——重算方案会显著降低服务质量。

实测数据进一步验证了这一点。在480B模型、TP8、并发16档的测试中，无外存重算的TTFT p50为149.5s，而FX100加速后为11.85s，差距达12.6倍【出处：R2实测】。在并发8档时，重算TTFT为97.3s，FX100为7.53s，差距约12.9倍【出处：R2实测】。这表明，即使降低并发，重算的延迟代价仍然巨大。因此，对于追求低延迟与高吞吐的生产系统，存储加速方案是更优选择。

结语

重算并非“免费”——它通过牺牲延迟与吞吐，将计算成本转嫁给GPU资源与用户体验。铭信FX100通过存储加速方案，在480B模型上实现了8.6–20倍的重算加速倍数，并将TTFT降低至秒级【出处：R2实测】。对于算力中心的技术决策者，建议在长上下文、高并发场景下优先评估存储加速方案。铭信提供约10周门禁化联测流程（G1到货验收至G4 72h稳定性测试），支持在客户环境中验证TTFT降幅≥25%、吞吐提升29–40%的实测指标【出处：合作模式】。如需进一步技术交流或联测合作，欢迎联系铭信技术团队。