铭信

长上下文冷恢复:Agent 时代的推理性能主战场

直接答案

冷恢复指长上下文会话中断后重新激活:KV 已被逐出显存,只能重算或从外置层读回。铭信实测外置读回比重算快 8.6–20×,比本地盘快 26–32%。

冷恢复为什么越来越重要

Agent 工作流天然带来「中断-恢复」模式:工具调用等待、人工确认、多 Agent 协作切换,每次恢复都要重新装载几万 token 的上下文。代码助手同理——开发者关掉窗口第二天再开,会话历史还在。

这类负载的特征是:上下文长、回访率高、恢复时刻不可预测。显存不可能为所有休眠会话保留 KV,冷恢复注定发生,问题只是「重算」还是「读回」。

实测:读回 vs 重算 vs 本地盘

R2 用 480B 模型生产形态专门测了冷恢复风暴:并发 16 档,重算基线 TTFT p50 149.5s、吞吐 4.1 tok/s——几乎不可用;FX100 读回 11.85s、74.9 tok/s;本地 NVMe 17.31s、53.6 tok/s。

结论按口径说:对重算 8.6–20×,对本地盘 TTFT 低 26–32%、吞吐高 29–40%。外置池还额外提供跨实例共享——任何一台实例恢复会话都能命中同一份 KV(R3 fs:// 验证)。

常见问题

会话保留多久才划算?

外置层成本约 ¥2,014/TB(FX100 满配参考价折算),比显存低几个数量级,保留窗口可以放宽到天级;具体经济性用 ROI 测算器按业务参数估算。

多轮对话和 Agent 场景有区别吗?

本质相同(前缀复用),Agent 的恢复更密集、上下文更长,外置层收益更大。R2 的负载设计就是模拟会话恢复风暴。

冷恢复能做到用户无感吗?

480B 模型 TTFT p50 11.85s(并发 16)对比重算 149.5s 是质的差别,但「无感」取决于模型规模与并发;更小模型恢复更快(R1 单卡 32B 场景 9.30s)。

数据出处(可查证)

R1FX100 大模型推理与训练 综合性能测试报告(AMD MI308X ×8)2026-07-03
下载报告 PDF ↓
R2FX100 KV Cache 性能测试报告(480B·TP8 长上下文·正式版)2026-07-05
下载报告 PDF ↓
R3FX100 KV Cache 性能测试汇总报告(480B·TP4×2·全指标·正式版)2026-07-06
下载报告 PDF ↓

相关阅读

先联测、后决策:门禁化验收,不达标即止损

完整测算模型 NDA 后 Python 可复现,客户可自行改参数重算;本站所有关键数字附报告编号,接受任何第三方查证。

本站内容为商务合作信息展示,不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告(见证据库);厂商口径、公开口径、估算口径均如实标注。