KV Cache 分层缓存：显存 → 内存 → 全闪的三级架构
KV Cache 分层是把推理缓存按热度放在显存、主机内存与外置全闪三级介质上，容量逐级放大、成本逐级下降。铭信 FX100 为第三级提供 NVMe-oF 全闪池。
三级分层怎么分工
显存层（HBM）放当前活跃会话的 KV，速度最快、容量最小；主机内存层承接近期会话；外置全闪层承接全部历史会话与跨实例共享，容量以百 TB 计。LMCache 等开源框架按 token 前缀哈希分块管理，命中即逐层回填。
分层的价值不是替代显存，而是把「被逐出即重算」变成「被逐出可找回」。480B 模型单条长上下文会话的 KV 就以 GB 计，只有外置层能把命中率维持在有意义的水平。
实测锚点
R2/R3（Qwen3-Coder-480B-FP8，8×MI308X）：分层加速吞吐 +29–40%，TTFT p50 降 26–32%，对无外存重算 8.6–20×。
R5（14B 模型七组对照，沐曦 N260 平台）给出显存效益方法论：外置 KV 层可等效替代 128GB 级显存驻留——方法论跨平台成立，数字不与 MI308X 混用（如实标注）。
容量与配比怎么算
生产口径按每台 FX100 服务 8 个 GPU 节点配比（100GbE 支撑 8 节点 KV 回读实测锚）。具体容量取决于会话长度分布与保留窗口，铭信提供 Python 可复现测算模型，NDA 后客户可自行改参重算。官网 ROI 测算器可先做快速估算。
常见问题
分层和 vLLM 自带 prefix caching 什么关系？
prefix caching 是显存内的第一级；分层把它扩展到内存与外置全闪，容量放大几个数量级，且支持跨实例共享（R3 实测验证）。
命中率能到多少？
取决于业务的会话回访分布，无法一概而论。我们的建议是用自己的 trace 联测：门禁化验收（TTFT 降幅 ≥25% 才算过），不达标即止损。
三级之间数据一致性怎么保证？
KV 块按前缀哈希内容寻址，天然幂等；LMCache 负责层间迁移与失效，FX100 提供块存储层的持久化与共享。
数据出处（可查证）
相关阅读
本站内容为商务合作信息展示，不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告（见证据库）；厂商口径、公开口径、估算口径均如实标注。