AMD MI308X 推理集群的存储加速方案
MI308X（192GB HBM/卡）推理集群配外置 KV 分层：ROCm 7.2 + vLLM + LMCache + FX100 实测 480B 模型吞吐 +29–40%、TTFT 降 26–32%（R1–R4 签字级报告）。
为什么 MI308X 平台值得认真做存储
MI308X 每卡 192GB HBM 是其相对优势，但 480B 级 MoE 模型（权重 ≈450GB）+ 长上下文并发下显存仍然吃紧。ROCm 生态的存储加速方案比 CUDA 生态少，这正是铭信投入源码级适配的原因。
完整实测栈：8×MI308X（gfx942）、2×EPYC 9654、ROCm 7.2、vLLM 0.20.1+rocm721、LMCache 上游主线编译、FX100 NVMe-oF 阵列——软硬件版本全文公开（R1–R4）。
拿到的结果
Qwen3-Coder-480B-FP8 生产部署形态（TP=8）：吞吐 +29–40%、TTFT p50 降 26–32%、对无外存重算 8.6–20×（R2/R3）。多模态方向：ComfyUI + LTX-Video 2.3 全部 7 个模型在 MI308X 实跑通过，无 dtype/算子/内核错误（R6/R7）。
LMCache 并行读补丁（TTFT 4.1×，R1）在 ROCm 平台完成验证并回馈社区——MI308X 用户可直接受益。
常见问题
MI308X 上跑 480B 模型的实测数据哪里有？
R2/R3/R4 签字级报告（Qwen3-Coder-480B-FP8，TP8 与 TP4×2 两种形态、九档全指标），证据库可直接下载 PDF。
ROCm 上 LMCache 好装吗？
需要源码编译与若干修复；铭信提供编译好的适配层、补丁与部署脚本，联测期一并交付（R8 导出包）。
MI350/MI355 等新卡适配吗？
软件栈基于 ROCm 通用接口，gfx 架构升级预期兼容；新平台以实测回填为准，我们不预支未实测的数字。
数据出处（可查证）
相关阅读
本站内容为商务合作信息展示，不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告（见证据库）；厂商口径、公开口径、估算口径均如实标注。