算力合作的验收标准怎么定：把实测口径写进合同

在AI应用从实验走向生产的今天，无论是部署Agent系统、视频生成服务，还是进行私有化算力建设，采购方与供应商之间的合作往往卡在一个环节：验收标准。

“峰值算力”或“理论IOPS”这类指标在宣传页上漂亮，但在实际负载中——比如长上下文推理、模型加载、训练检查点保存——往往与体验相去甚远。问题出在哪里？算力性能的测量口径不统一，且缺乏可复现的测试协议。

本文以铭信科技FX100全闪NVMe-oF阵列的实测数据为例，探讨如何将实测口径写入合同，让算力合作从“看参数”转向“看效果”。

为什么“峰值参数”不能当验收标准

算力设备采购中，供应商常提供“理论最大IOPS”或“峰值带宽”，但这些数字在真实负载下几乎无法复现。原因在于：

• 负载特征差异：AI推理的KV Cache访问是随机小IO（通常4KB-64KB），而训练检查点是顺序大IO（GB级）。同一块SSD在这两种场景下的性能可能差一个数量级。
• 系统瓶颈转移：在分布式推理中，网络延迟、CPU调度、显存带宽都可能成为瓶颈，单盘性能再高也未必能转化为吞吐提升。
• 口径不透明：部分厂商用“空盘测试”或“短时突发”数据，而实际部署中设备往往处于稳态负载。

因此，真正有效的验收标准，应当基于与生产环境一致的负载模型，并约定测试工具、并发数、数据规模、持续时间等参数。

实测口径的四个关键维度

以铭信FX100在AMD MI308X平台上的测试为例（报告编号R2/R3），其验收逻辑可拆解为四个维度，每个维度都有明确的测量方法和边界条件。

1. 吞吐提升：从“理论IOPS”到“推理吞吐”

合同应约定：在指定模型（如Qwen3-Coder-480B-FP8）、指定并发数（如16档）、指定上下文长度下的吞吐（tok/s）提升幅度。

• 铭信FX100实测：480B模型·TP4×2全机口径，吞吐提升+35–36%（R3实测）。这一数值来自vLLM服务端统计，而非磁盘层的IOPS换算。
• 合同写法建议：“在[模型名称]·[并发档位]·[上下文长度]条件下，对比本地NVMe基线，推理吞吐提升不低于[具体百分比]。”

2. 延迟改善：首token延迟（TTFT）的p50/p99

对于Agent、视频生成等对响应敏感的场景，首token延迟（TTFT）直接影响用户体验。

• 铭信FX100实测：480B·TP8三档并发下，TTFT p50从10.17–35.73s降至7.53–26.35s，降幅26–32%（R2实测）。
• 合同需明确：测量的是p50还是p99？是否包含网络传输时间？是否在冷启动（无预填充）状态下进行？

3. 加速倍数：针对“无外存重算”场景

当显存不足导致模型需要重新计算KV Cache时，性能会急剧下降。铭信FX100在此场景下实测加速8.6–20×（R2实测）。

• 合同价值：这是对“显存节省”能力的直接验证，尤其适合私有化部署中显存有限的客户。
• 注意：需约定重算基线的定义（如“使用本地NVMe单盘且无任何KV Cache加速”）。

4. 加载与保存：模型部署与训练效率

• 模型加载加速（vs NFS）：华为Atlas 910B平台上，DeepSeek-70B加载从1399s降至150s（9.3×，R9实测）。
• 训练检查点保存加速：8卡32B LoRA场景，持续写带宽从3.26提升至6.40 GB/s（+96%，R1实测）。
• 合同建议：明确文件系统类型（如XFS）、网络协议（如RoCEv2）、数据分片方式。

如何将实测协议写入合同

一份可执行的验收合同，应包含以下要素：

测试环境固定

• 硬件：指定服务器型号、GPU型号、网络配置。铭信测试中使用了8×AMD MI308X、2×AMD EPYC 9654、ROCm 7.2、vLLM 0.20.1+rocm721。
• 软件：指定推理框架版本、模型格式（如FP8）、操作系统、文件系统。
• 基线：明确对比对象（如“本地NVMe单盘”或“NFS”），且基线设备需与生产环境一致。

测试负载标准化

• 模型：指定名称、参数量、量化精度。例如“Qwen3-Coder-480B-FP8（MoE，权重≈450GB）”。
• 负载：约定并发数、上下文长度、请求模式（如“冷恢复”或“持续推理”）。
• 测量周期：至少持续30分钟以上，排除短时突发影响。

可复现性保障

• 工具链：指定测试脚本（如vLLM benchmark）、数据采集方法（如prometheus + grafana）。
• 代码开放：铭信的合作模式中，测算模型NDA后Python可复现。合同可约定“供应商需提供可独立运行的测试脚本”。
• 第三方见证：如可能，引入双方认可的第三方测试机构。

验收门槛与止损机制

• 通过阈值：例如“TTFT降幅≥25%”“吞吐提升≥29%”（铭信G3门禁标准）。
• 未达标处理：约定重新测试、限期整改或合同终止（如铭信“约10周门禁化联测，不达标即止损”）。

结语

算力采购正在从“买硬件”转向“买效果”。对于AI应用、Agent、视频生成等场景，尤其是私有化部署中，性能的“实测口径”远比“理论参数”更有意义。

铭信科技在FX100产品中，通过将KV加速、模型加载、检查点保存等指标以可复现的测试协议展示，为行业提供了一种参考范式。如果您正在规划算力中心建设或现有推理系统的性能优化，欢迎联系铭信进行联测合作，共同验证实测指标在您生产环境中的表现。