铭信

存储加速 vs 直接加卡:同一笔预算的两种花法

直接答案

加卡的边际产能是线性的且贵;当瓶颈在 KV 重算、加载与切换空转时,存储加速以约 GPU 投入一成以内的成本换 29–40% 吞吐提升(实测)。先定位瓶颈,再决定花法。

如实呈现:什么时候该加卡

算力真饱和的时候:短上下文、高缓存命中、解码算力打满——此时集群没有「白吃算力」的重算与空转,存储加速收益有限,加卡是正解。我们如实建议先测后买,不适合的客户我们直接说不适合。

什么时候存储层是更优解

瓶颈在重算:长上下文冷恢复负载下,无外存重算基线 TTFT p50 149.5s、吞吐 4.1 tok/s(R2)——此时加卡买到的是更多做重复计算的卡。外置 KV 层同负载 11.85s / 74.9 tok/s。

瓶颈在空转:模型切换 20 次/小时档,慢存储下算力有效利用率仅 46.7%,FX100 提至 62.8%(R1);NFS 加载 70B 要 23 分钟(R9)。这些损耗加卡都解决不了,只会等比复制。

账本:存储投入约占 GPU 投入一成以内(联测口径),实测换来吞吐 +29–40%(R2/R3)——同等预算下有效产能更高。ROI 测算器可按你的卡数出区间。

常见问题

怎么判断我的瓶颈在哪?

看三个信号:TTFT 随并发雪崩(重算)、GPU 利用率周期性跌谷(加载/切换)、显存频繁逐出告警(KV 挤兑)。联测 G2 基线阶段会做完整画像。

两者能同时做吗?

能且常见:先补存储层把现有卡的有效产能提上来,扩卡计划按提效后的真实缺口重排——顺序对了能省一截预算。

一成以内的口径怎么算的?

联测口径:FX100 满配 ¥371,200 对 8 节点 GPU 服务器(每节点 8 卡)投入的比值。具体比例随 GPU 型号浮动,测算器可复现。

数据出处(可查证)

R1FX100 大模型推理与训练 综合性能测试报告(AMD MI308X ×8)2026-07-03
下载报告 PDF ↓
R2FX100 KV Cache 性能测试报告(480B·TP8 长上下文·正式版)2026-07-05
下载报告 PDF ↓
R3FX100 KV Cache 性能测试汇总报告(480B·TP4×2·全指标·正式版)2026-07-06
下载报告 PDF ↓
R9铭信 FX100-HBMM 与华为 910B 模型推理与训练性能测试(vs NFS 基线)2026-05-30
联系我们获取 →

相关阅读

先联测、后决策:门禁化验收,不达标即止损

完整测算模型 NDA 后 Python 可复现,客户可自行改参数重算;本站所有关键数字附报告编号,接受任何第三方查证。

本站内容为商务合作信息展示,不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告(见证据库);厂商口径、公开口径、估算口径均如实标注。