长上下文冷恢复:Agent 时代的推理性能主战场
冷恢复指长上下文会话中断后重新激活:KV 已被逐出显存,只能重算或从外置层读回。铭信实测外置读回比重算快 8.6–20×,比本地盘快 26–32%。
冷恢复为什么越来越重要
Agent 工作流天然带来「中断-恢复」模式:工具调用等待、人工确认、多 Agent 协作切换,每次恢复都要重新装载几万 token 的上下文。代码助手同理——开发者关掉窗口第二天再开,会话历史还在。
这类负载的特征是:上下文长、回访率高、恢复时刻不可预测。显存不可能为所有休眠会话保留 KV,冷恢复注定发生,问题只是「重算」还是「读回」。
实测:读回 vs 重算 vs 本地盘
R2 用 480B 模型生产形态专门测了冷恢复风暴:并发 16 档,重算基线 TTFT p50 149.5s、吞吐 4.1 tok/s——几乎不可用;FX100 读回 11.85s、74.9 tok/s;本地 NVMe 17.31s、53.6 tok/s。
结论按口径说:对重算 8.6–20×,对本地盘 TTFT 低 26–32%、吞吐高 29–40%。外置池还额外提供跨实例共享——任何一台实例恢复会话都能命中同一份 KV(R3 fs:// 验证)。
常见问题
会话保留多久才划算?
外置层成本约 ¥2,014/TB(FX100 满配参考价折算),比显存低几个数量级,保留窗口可以放宽到天级;具体经济性用 ROI 测算器按业务参数估算。
多轮对话和 Agent 场景有区别吗?
本质相同(前缀复用),Agent 的恢复更密集、上下文更长,外置层收益更大。R2 的负载设计就是模拟会话恢复风暴。
冷恢复能做到用户无感吗?
480B 模型 TTFT p50 11.85s(并发 16)对比重算 149.5s 是质的差别,但「无感」取决于模型规模与并发;更小模型恢复更快(R1 单卡 32B 场景 9.30s)。
数据出处(可查证)
相关阅读
本站内容为商务合作信息展示,不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告(见证据库);厂商口径、公开口径、估算口径均如实标注。