Agent 与代码助手平台的会话恢复加速
直接答案
Agent 与代码助手的负载特征是长上下文+高频中断恢复。外置 KV 层把恢复从整段重算变为读回：480B 实测 TTFT p50 从 149.5s 降至 11.85s。
Agent 负载为什么难伺候
一个 Agent 会话动辄几万 token（系统提示、工具结果、代码上下文），且不断在「思考-调用工具-等待-恢复」间切换。每次恢复如果重算 prefill，GPU 算力被大量消耗在重复计算上，用户端表现为分钟级卡顿。
R2 的冷恢复风暴负载正是模拟这种模式：480B 模型并发 16，重算基线 TTFT p50 149.5s、吞吐 4.1 tok/s——对 Agent 平台这是不可接受的。
外置 KV 层的解法与账本
FX100 读回路径：TTFT p50 11.85s、吞吐 74.9 tok/s（对重算 12.6× TTFT、18× 吞吐）；对比本地盘也有 32% TTFT 优势（R2）。跨实例共享（R3）意味着 Agent 调度器可把恢复请求路由到任意空闲实例。
成本端：KV 保留在全闪层约 ¥2,014/TB，比为峰值并发扩显存便宜数量级；ROI 测算器可按你的会话分布算收益区间。
常见问题
多 Agent 协作场景收益更大吗？
是：共享的系统提示与知识库前缀在 Agent 间高度重复，KV 池化命中率更高（前缀哈希天然去重）。
对话隐私怎么隔离？
KV 块按租户命名空间隔离；私有化部署下数据不出集群，比调用公有云缓存 API 边界更清晰。
小模型 Agent（7B–32B）也有收益吗？
有：R1 单卡 32B 实测冷读 TTFT 37.97s → 9.30s（4.1×）；模型越小重算越快，收益相应递减，建议按负载联测。
数据出处（可查证）
R1FX100 大模型推理与训练 综合性能测试报告（AMD MI308X ×8）2026-07-03
下载报告 PDF ↓R2FX100 KV Cache 性能测试报告（480B·TP8 长上下文·正式版）2026-07-05
下载报告 PDF ↓R3FX100 KV Cache 性能测试汇总报告（480B·TP4×2·全指标·正式版）2026-07-06
下载报告 PDF ↓相关阅读
本站内容为商务合作信息展示，不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告（见证据库）；厂商口径、公开口径、估算口径均如实标注。