外置全闪 vs 纯内存分层：KV 二级缓存只到内存够不够
直接答案
主机内存是必要的第二层（时延最优），但容量通常 1–2TB 且不能跨节点共享。外置全闪第三层把容量放大两个数量级（184.3TB/台）并提供跨实例共享，实测支撑 +29–40% 吞吐。
如实呈现：内存层的价值
主机内存（实测平台 ≈1.5TB，R1–R4 口径）读回时延优于任何外置介质，LMCache 默认就把它作为第二层——短周期回访的会话大多在内存层命中，这部分收益不需要买任何硬件。
只到内存的三个天花板
容量：480B 级模型单会话 KV 以 GB 计，1.5TB 内存扣除系统与推理引擎占用后，能留住的会话数有限；保留窗口到小时级就见顶，而外置层以天计（FX100 满配 184.3TB，约 ¥2,014/TB）。
共享：内存是节点私有的——A 节点缓存的会话，B 节点恢复时照样重算。外置池的 fs:// 跨实例共享（R3 实测验证）让任意节点命中同一份 KV，这对多实例负载均衡是结构性差异。
断电与重启：内存层随进程消失，滚动升级/故障重启后缓存资产清零；外置层持久化，重启即热。三笔账合起来就是 R2 实测的差距来源之一（对重算 8.6–20×）。
常见问题
加大内存（如 4TB）能不能替代外置层？
能推迟但不能消除天花板：容量仍比全闪贵一个数量级，且共享与持久化问题依旧。按会话规模算账，窗口需求超过小时级就该上外置层。
CXL 内存扩展是不是更好的方向？
CXL 扩展内存容量的方向值得关注（公开资料口径），但跨节点共享与成本结构的差异仍在；铭信按实测说话，CXL 组合方案无实测不预支。
三层的配比怎么定？
内存层尽量给足（边际成本低），外置层按会话规模与保留窗口测算（Python 模型可复现）；生产锚点 1 台 FX100 : 8 GPU 节点。
数据出处（可查证）
R1FX100 大模型推理与训练 综合性能测试报告（AMD MI308X ×8）2026-07-03
下载报告 PDF ↓R2FX100 KV Cache 性能测试报告（480B·TP8 长上下文·正式版）2026-07-05
下载报告 PDF ↓R3FX100 KV Cache 性能测试汇总报告（480B·TP4×2·全指标·正式版）2026-07-06
下载报告 PDF ↓相关阅读
本站内容为商务合作信息展示，不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告（见证据库）；厂商口径、公开口径、估算口径均如实标注。