从 4,082 tok/s 说起：单节点吞吐锚点与多机扩展效率

发布2026/7/31效能优化GPU 利用率推理优化

在 480B 参数级 MoE 模型的长上下文推理场景中，单节点吞吐达到 4,082 tok/s 并非理论峰值，而是铭信 FX100 在 8× AMD MI308X 平台上、TP4×2 全机口径下实测得到的稳定工作点【出处：R3 实测】。这一数字的参考价值在于：它同时锚定了 KV 缓存分层加速在单机内的收益上限（吞吐提升 +35–36%），以及后续多机扩展时应当沿用的性能基线。对算力中心的技术决策者而言，理解这个锚点如何测得、能复现，比数字本身更重要。

4,082 tok/s 是怎么测出来的：测试条件决定数字含义

任何吞吐数字脱离测试条件都不具备可比性。4,082 tok/s 出自 R3 正式版测试报告，测试平台为 8× AMD Instinct MI308X（每卡 192 GB HBM），模型为 Qwen3-Coder-480B-FP8（MoE，权重约 450 GB），采用 TP4×2 的张量并行配置【出处：R3 实测】。测试负载为 480B 生产部署形态的长上下文冷恢复场景，即每次请求都需要从外部存储重新加载 KV 缓存——这是推理服务中最消耗 I/O 的环节之一。

在此条件下，铭信 FX100 全闪 NVMe-oF 阵列（4 盘 RAID0，RoCEv2，单口 100 GbE）对比本地 NVMe 单盘基线，吞吐从约 3,020 tok/s 提升至 4,082 tok/s，提升幅度 +35–36%【出处：R3 实测】。需要特别说明：这一吞吐数字是“冷恢复 + 长上下文”压力下的结果，不是理想化的空载吞吐。对于评估生产环境中的实际效能优化空间，这类带负载的实测数据比峰值数据更有决策参考价值。

单节点吞吐锚点如何指导多机扩展效率评估

单节点 4,082 tok/s 的意义不仅在于绝对值，更在于它作为扩展效率的基准分母。当算力中心从单机扩展到 2 机、4 机甚至更大规模时，线性扩展（吞吐随节点数等比增长）是理想上限，实际效率受制于三个因素：跨节点互联带宽、KV 缓存同步开销、以及调度器的全局协调能力。

铭信 FX100 的实测数据为扩展效率评估提供了两个参考维度。其一，单节点内 TP4×2 配置下吞吐提升 +35–36%【出处：R3 实测】，这意味着在节点内部已经通过 KV 分层加速将 I/O 瓶颈压缩到较低水平，多机扩展时新增的跨节点通信开销会相对更突出。其二，对无外存重算的加速倍数达到 8.6–20×【出处：R2 实测】，这一指标说明在极端冷启动场景下，存储加速对端到端延迟的贡献远大于网络传输——因此多机扩展时，优先保障存储侧带宽与延迟指标，其边际收益可能高于单纯增加节点间互联带宽。

建议的评估方法：以单节点 4,082 tok/s 为基准，在 2 机和 4 机规模下分别测量吞吐，计算扩展效率（实际吞吐 ÷ 节点数 × 单节点吞吐）。若扩展效率低于 70%，应优先排查 KV 缓存跨节点同步路径与调度器排队策略，而非盲目增加节点。

多机扩展的隐藏瓶颈：KV 缓存一致性而非网络带宽

业界讨论多机推理扩展时，通常聚焦于 NVLink/InfiniBand 带宽。但从铭信 R2/R3 实测数据反推，KV 缓存的分层存储与一致性维护才是更隐蔽的瓶颈。在 480B 模型、TP8 配置下，首 token 延迟（TTFT）p50 从 10.17–35.73s 降至 7.53–26.35s，降幅 26–32%【出处：R2 实测】。这一改善完全来自存储侧优化，而非网络或计算侧调整。

这意味着在多机场景中，每个节点都需要维护本地的 KV 缓存分层策略（热层在 HBM、温层在本地 NVMe、冷层在共享存储池），跨节点访问冷数据时，存储延迟直接叠加到 TTFT 上。铭信 FX100 在单节点内将冷读盘 TTFT 从 37.97s 压缩至 9.30s（LMCache 并行读补丁场景，单卡并发 16，Qwen2.5-32B）【出处：R1 实测】，这一量级的存储延迟改善，在多机环境下会直接决定扩展后的首 token 体验是否可接受。

因此，多机扩展效率的评估不应只看聚合吞吐，更应关注 TTFT 的分布变化。若 2 机扩展后 TTFT p99 较单机劣化超过 30%，说明 KV 缓存跨节点访问路径存在瓶颈，此时调整存储分层策略（如将高频访问的 KV 块预置到各节点本地 NVMe）比增加网络带宽更有效。

结语

从 4,082 tok/s 这个单节点锚点出发，可以建立一套可复现的多机扩展效率评估方法：先确认单机基线，再测量扩展效率，最后定位 TTFT 劣化来源。铭信科技在存储加速领域提供 FX100/FX200/FX300 系列产品，支持约 10 周门禁化联测（G3 主门禁要求 TTFT 降幅 ≥25%、吞吐 +29–40% 实测带内），欢迎有 480B 级模型推理需求的团队联系开展联合测试，用可复现的数据验证扩展方案。