外置 KV 阵列 vs 本地 NVMe vs NFS:三方实测对照
同负载实测:FX100 对本地 NVMe 单盘 TTFT 低 26–32%、吞吐高 29–40%;对无外存重算快 8.6–20×;对 NFS 模型加载快 6.2–9.3×。三条基线全部有报告可查。
三方对照数据(480B·TP8·冷恢复)
并发 8 档:FX100 TTFT p50 7.53s / 吞吐 56.6 tok/s;本地盘 10.17s / 43.9 tok/s。并发 16 档:FX100 11.85s / 74.9;本地盘 17.31s / 53.6;无外存重算 149.48s / 4.1。并发 32 档:FX100 26.35s / 71.6;本地盘 35.73s / 53.9(R2 实测,重算仅测 conc16 档)。
NFS 对照在昇腾平台(R9):DeepSeek-32B/70B 服务加载 6.2×/9.3× 差距,训练 checkpoint 与数据读同样显著。
什么时候本地盘/NFS 反而合理
如实说:单节点小模型、低并发、无会话恢复需求——本地 NVMe 完全够用,不必上阵列。NFS 适合低频访问的冷数据与配置分发。外置阵列的适用区是多节点共享、长上下文高并发、模型频繁加载切换的生产集群——这也正是联测门禁要验证的(不达标即止损)。
常见问题
本地盘 RAID0 多盘会不会追平阵列?
带宽可以接近,但无法跨节点共享缓存、容量不池化、每节点重复建设;R3 实测的跨实例 fs:// 热共享是本地方案的结构性缺口。
这些对照实验能复现吗?
能:R8 代码导出包含负载客户端、编排脚本与原始数据;平台/软件版本全文公开(8×MI308X、ROCm 7.2、vLLM 0.20.1)。
为什么重算基线只测了并发 16?
报告如实记录:重算档 TTFT 已达 149.5s、吞吐 4.1 tok/s,其余并发档已无实用参考价值,报告注明该口径。
数据出处(可查证)
相关阅读
本站内容为商务合作信息展示,不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告(见证据库);厂商口径、公开口径、估算口径均如实标注。