KV Cache 容量规划：外置层要配多大、怎么配
直接答案
KV 容量 = 并发会话数 × 单会话 KV 体积 × 保留窗口系数。生产配比锚点：每台 FX100（满配 184.3TB）服务 8 个 GPU 节点，测算模型 Python 可复现。
三个输入变量
单会话 KV 体积：由模型结构与上下文长度决定，480B 级 MoE 模型单条长会话以 GB 计（R2 负载设计口径）；量化（FP8 KV）可等比压缩。
会话规模与保留窗口：日活会话数 × 平均回访间隔决定需要「留多久」。外置层约 ¥2,014/TB（FX100 满配折算），窗口放宽到天级的边际成本很低——这正是外置层相对显存的数量级优势。
配比锚点与测算工具
带宽侧锚点：单口 100GbE 支撑 8 个 GPU 节点的 KV 回读（R2/R3 实测带宽推得），生产配比按 1:8 铺设；更高带宽需求上 FX200（200Gb）/FX300（400Gb）档位。
容量侧不拍脑袋：铭信提供 Python 可复现测算模型（NDA 后交付源码，改参重算），官网 ROI 测算器可先按卡数与集群规模出快速估算区间。
常见问题
配小了会怎样？
外置层内 LRU 逐出更频繁、命中率下降，收益向重算基线退化——系统仍正常工作，只是加速效果打折。容量可在线扩，先小规模联测再扩是标准路径。
RAID 怎么选？
实测形态为 4 盘 RAID0（KV 可重算，丢失代价只是冷启动）；对保留窗口有强要求的场景可用冗余级别换可靠性，容量相应折减。
多模型混部怎么算？
各模型 KV 独立测算后求和；权重池与 KV 池可同阵列分区共存（模型加载加速锚点 6.2–9.3×，R9）。
数据出处（可查证）
R2FX100 KV Cache 性能测试报告（480B·TP8 长上下文·正式版）2026-07-05
下载报告 PDF ↓R3FX100 KV Cache 性能测试汇总报告（480B·TP4×2·全指标·正式版）2026-07-06
下载报告 PDF ↓R9铭信 FX100-HBMM 与华为 910B 模型推理与训练性能测试（vs NFS 基线）2026-05-30
联系我们获取 →相关阅读
本站内容为商务合作信息展示，不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告（见证据库）；厂商口径、公开口径、估算口径均如实标注。