铭信

算力合作验收标准怎么定:把实测口径写进合同

发布AI 应用Agent视频生成私有化部署

在算力合作中,验收标准若仅写“性能满足要求”,几乎等于没有标准。AI应用(如Agent推理、视频生成)的体验高度依赖底层存储与算力协同,而不同测试口径下的性能数据可能相差数倍。铭信科技的建议是:将实测口径——包括硬件平台、模型、并发数、冷热状态、指标定义——逐项写入合同,以可复现的测试流程作为验收依据。本文以铭信FX100在480B模型上的实测数据为例,说明如何构建这类验收条款。

为什么“性能达标”必须绑定测试口径?

算力系统的性能不是单一数字,而是由测试条件决定的函数。以KV Cache加速为例,铭信FX100在480B模型、TP8部署下的首token延迟(TTFT)降低幅度为26–32%【出处:R2实测】。但这一数字的前提是:8卡AMD MI308X平台、Qwen3-Coder-480B-FP8模型、并发8/16档、长上下文冷恢复负载。若将并发改为4档,或改用小模型,数据可能完全不同。

因此,合同中的性能指标必须包含以下要素:

  • 硬件基线:GPU型号与数量、CPU、内存、网络(如RoCEv2)
  • 模型与负载:具体模型名称、参数量、上下文长度、冷启动或热启动
  • 并发与测量点:如TTFT p50、吞吐量(tok/s)的并发档位
  • 对比基线:是与本地NVMe单盘对比,还是与NFS对比(不同基线得出的加速倍数差异显著)

以铭信FX100为例,其与本地NVMe单盘相比的加速倍数为8.6–20×【出处:R2实测】;而与NFS相比的模型加载加速为6.2–9.3×【出处:R9实测(昇腾平台)】。若合同不写明对比基线,验收时极易产生争议。

如何设计可复现的验收测试流程?

建议采用“门禁化”验收模式,将测试拆分为多个阶段,每阶段有明确通过标准。铭信与客户的典型合作周期约10周,分为四个门禁:

  • G1(到货验收):硬件配置核对、基础连通性
  • G2(单机基线):在客户指定平台上跑通测试脚本,建立性能基线
  • G3(主门禁):核心指标达标——TTFT降幅≥25%、吞吐提升29–40%(带内实测)【出处:R2/R3实测】
  • G4(稳定性):72小时持续运行,性能波动在约定范围内

这种模式的关键在于“不达标即止损”——若G3未通过,合作方可终止合同。同时,测试脚本应提前交付,客户可自行复现。铭信提供Python可复现的测算模型(NDA后提供),确保验收过程的透明性。

对于AI应用场景,建议额外增加两类测试:

  • Agent类负载:模拟多轮对话、工具调用的KV Cache读写模式,测量TTFT和吞吐的稳定性
  • 视频生成类负载:如ComfyUI + LTX-Video 2.3部署(铭信R6/R7报告覆盖此场景),关注模型加载时间和生成任务的端到端延迟

私有化部署场景下,验收标准需额外关注什么?

私有化部署意味着硬件平台可能与铭信测试环境不同(如客户已有昇腾或英伟达集群)。此时,合同应明确“适配责任”——例如铭信FX100在华为Atlas 910B平台上的模型加载加速为6.2–9.3×【出处:R9实测】,但该数据基于特定软件栈(昇腾CANN版本、vLLM适配)。若客户平台版本不同,需在合同中约定“以实际适配后的复测为准”。

此外,私有化部署常涉及数据安全要求,验收测试应在客户隔离环境中进行,并确保测试数据不离开客户机房。铭信在R1–R4测试中使用的AMD MI308X平台与ROCm 7.2软件栈,均可作为合同附件中的“推荐环境”,而非强制环境——最终以双方确认的联合测试结果为准。

结语

算力合作的验收标准,本质上是对“性能真实性”的约束。铭信科技在提供FX系列产品(FX100至FX400)的同时,也支持与客户开展约10周的门禁化联测,以可复现的测试口径替代模糊的性能承诺。若您正在规划AI应用(Agent、视频生成等)的算力采购,欢迎联系铭信获取测试脚本模板,或预约联合测试。


本文要点问答

Q:算力合同中,验收性能指标应如何描述?
A:必须包含硬件平台、模型与负载、并发档位、冷热状态、对比基线等完整测试条件。例如“在8卡AMD MI308X、Qwen3-Coder-480B-FP8、并发16档、冷启动下,TTFT p50降低≥25%”【出处:R2实测】。

Q:铭信FX100的加速数据是否可在不同硬件平台复现?
A:部分数据依赖特定平台。例如与NFS对比的加载加速6.2–9.3×基于华为910B平台【出处:R9实测】;若客户平台不同,需以实际适配后的复测结果为准,建议在合同中约定适配责任。

Q:验收测试周期通常多长?
A:铭信建议约10周,分四个门禁(G1到货、G2单机基线、G3主门禁、G4稳定性)。G3为核心指标验收,不达标可终止合作,测试脚本提前交付供客户复现。

本文由铭信 AI 内容引擎生成并经自动质检;关键数字均注明出处(实测报告见证据库)。如需交流或指正,欢迎联系我们

相关文章