MoE 大模型推理的存储挑战：以 480B 实测为例
MoE 模型参数量大（480B 级权重 ≈450GB）但激活稀疏，显存被权重挤占后 KV 空间更紧张。外置分层实测：吞吐 +29–40%、TTFT 降 26–32%（Qwen3-Coder-480B-FP8）。
MoE 把存储压力放大了
MoE 用稀疏激活换参数规模：Qwen3-Coder-480B-FP8 权重约 450GB，8×MI308X（共 1536GB HBM）装下权重后，留给 KV 的显存份额显著小于同显存的稠密模型——长上下文并发下 KV 逐出更早、更频繁。
这正是 480B 被选为实测负载的原因：它代表 MoE 时代的真实压力场景。实测结果：外置 KV 分层吞吐 +29–40%、TTFT p50 降 26–32%、对无外存重算 8.6–20×（R2/R3，TP=8 生产形态）。
权重加载同样是 MoE 痛点
450GB 权重从慢存储加载以十分钟计（NFS 口径锚点：70B 模型 1399s，R9），MoE 更大的权重把这个问题等比放大——服务重启、弹性扩容、故障迁移都在等存储。
外置全闪池的双重角色：权重秒级分发（6.2–9.3× 加速锚，R9）+ KV 分层承接（R2/R3），一层投资两处收益；TP4×2 双实例形态的全机口径实测 +35–36%（R3）。
常见问题
专家权重能不能也下沉到外置层？
专家 offload 是活跃研究方向，但解码路径对时延极敏感；铭信当前实测边界是 KV 与权重加载两个场景，专家下沉不预支结论。
FP8 量化对 KV 分层有影响吗？
正面影响：KV 体积随量化减半，外置层等效容量翻倍。实测负载本身就是 FP8（Qwen3-Coder-480B-FP8，R2）。
更大的 MoE（万亿级）结论还成立吗？
机制成立（权重更大→KV 更挤→分层收益更高），但数字不外推；万亿级负载以联测实测为准。
数据出处（可查证）
相关阅读
本站内容为商务合作信息展示，不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告（见证据库）；厂商口径、公开口径、估算口径均如实标注。