铭信

外置 KV 阵列 vs 本地 NVMe vs NFS:三方实测对照

直接答案

同负载实测:FX100 对本地 NVMe 单盘 TTFT 低 26–32%、吞吐高 29–40%;对无外存重算快 8.6–20×;对 NFS 模型加载快 6.2–9.3×。三条基线全部有报告可查。

三方对照数据(480B·TP8·冷恢复)

并发 8 档:FX100 TTFT p50 7.53s / 吞吐 56.6 tok/s;本地盘 10.17s / 43.9 tok/s。并发 16 档:FX100 11.85s / 74.9;本地盘 17.31s / 53.6;无外存重算 149.48s / 4.1。并发 32 档:FX100 26.35s / 71.6;本地盘 35.73s / 53.9(R2 实测,重算仅测 conc16 档)。

NFS 对照在昇腾平台(R9):DeepSeek-32B/70B 服务加载 6.2×/9.3× 差距,训练 checkpoint 与数据读同样显著。

什么时候本地盘/NFS 反而合理

如实说:单节点小模型、低并发、无会话恢复需求——本地 NVMe 完全够用,不必上阵列。NFS 适合低频访问的冷数据与配置分发。外置阵列的适用区是多节点共享、长上下文高并发、模型频繁加载切换的生产集群——这也正是联测门禁要验证的(不达标即止损)。

常见问题

本地盘 RAID0 多盘会不会追平阵列?

带宽可以接近,但无法跨节点共享缓存、容量不池化、每节点重复建设;R3 实测的跨实例 fs:// 热共享是本地方案的结构性缺口。

这些对照实验能复现吗?

能:R8 代码导出包含负载客户端、编排脚本与原始数据;平台/软件版本全文公开(8×MI308X、ROCm 7.2、vLLM 0.20.1)。

为什么重算基线只测了并发 16?

报告如实记录:重算档 TTFT 已达 149.5s、吞吐 4.1 tok/s,其余并发档已无实用参考价值,报告注明该口径。

数据出处(可查证)

R2FX100 KV Cache 性能测试报告(480B·TP8 长上下文·正式版)2026-07-05
下载报告 PDF ↓
R3FX100 KV Cache 性能测试汇总报告(480B·TP4×2·全指标·正式版)2026-07-06
下载报告 PDF ↓
R8FX100-KVCache AMD 代码导出包 + KVCache 测试结果数据2026-07
联系我们获取 →
R9铭信 FX100-HBMM 与华为 910B 模型推理与训练性能测试(vs NFS 基线)2026-05-30
联系我们获取 →

相关阅读

先联测、后决策:门禁化验收,不达标即止损

完整测算模型 NDA 后 Python 可复现,客户可自行改参数重算;本站所有关键数字附报告编号,接受任何第三方查证。

本站内容为商务合作信息展示,不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告(见证据库);厂商口径、公开口径、估算口径均如实标注。