NVMe-oF 推理存储:RoCEv2 全闪阵列的实测表现
NVMe-oF 通过 RDMA 网络把全闪阵列以近本地时延挂给 GPU 节点。铭信 FX100 经 100GbE RoCEv2 实测:KV 读回性能超过本地 NVMe 单盘,TTFT 低 26–32%。
网络存储为什么能赢本地盘
直觉上本地 NVMe 更快,但推理 KV 负载是高并发大块顺序读——单盘带宽(PCIe Gen4 单盘约 7GB/s 级)成为瓶颈,而阵列端 4 盘 RAID0 聚合带宽更高,RoCEv2 的往返时延在大块读场景可以忽略。
R2 三档并发实测:FX100(NVMe-oF)TTFT p50 全面低于本地单盘 26–32%。前提是打满并行度——LMCache 并行读补丁(R1,带宽 0.98 → 5.23 GB/s)正是为此而做。
组网与配比
测试形态:FX100 4 盘 RAID0(14TB,XFS)、单口 100GbE、RoCEv2。生产配比锚点为每台阵列服务 8 个 GPU 节点。FX200/FX300 提供 200/400Gb 接口档位,FX400(PCIe 6.0,聚合 4.8Tb/s 厂商口径)2026 年底量产。
对比 NFS 方案:R9 在昇腾 910B 平台实测 NFS 瓶颈下模型加载 6.2–9.3× 差距——传统 NAS 协议栈在 AI 负载下开销显著,NVMe-oF/RDMA 是当前推理存储的合理选择。
常见问题
需要专门的存储网络吗?
RoCEv2 要求无损以太网(PFC/ECN),可与计算网分离或复用;100GbE 交换机与网卡均为标准商品件,锚价公开可查。
GDS(GPU Direct Storage)支持吗?
R5 在沐曦平台实测了 GDS 直读路径(七组对照之一);AMD 平台经主机内存路径,实测数据见 R1–R4。
故障了怎么办?
联测 G4 门禁含单盘/单链路故障注入要求业务无感 + 72h 连续压测,通过才验收;KV 层数据可重算,最坏情况退化为冷启动而非丢数据。
数据出处(可查证)
相关阅读
本站内容为商务合作信息展示,不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告(见证据库);厂商口径、公开口径、估算口径均如实标注。