如何用真实流量进行一周POC测试，避免AI算力采购“表演赛”？

引言：为什么标准benchmark不能替代真实负载POC？

在AI算力采购中，概念验证（POC）常沦为“表演赛”：供应商用标准benchmark跑出漂亮数字，但上线后首token延迟飙升、并发下卡顿频发。问题核心在于POC未模拟真实生产负载——AI应用已演进到多Agent协作、视频生成、私有化部署等场景，其流量特征（长上下文、冷启动、并发抖动）是离线benchmark无法复现的。本文提出一套方法论：用真实流量、持续一周、端到端验证，让POC真正回答“买回来能不能用”。

为什么“跑分”不能替代POC？

算力采购中常见的误区是依赖标准benchmark，如MLPerf Inference或vLLM自带测试。但在实际生产中，AI应用面临动态流量：

• AI应用与Agent：多轮对话、工具调用、长上下文记忆导致KV Cache命中率波动，冷恢复场景下首token延迟可能从毫秒级飙升到秒级。
• 视频生成：如ComfyUI + LTX-Video 2.3，模型加载、帧序列处理对存储IO突发需求极高，NFS挂载下加载时间可能长达数分钟。
• 私有化部署：企业内网带宽受限、多用户并发、模型频繁更新，这些因素在离线测试中完全被忽略。

铭信FX100在R2实测中展示了这种差异：480B模型在“无外存重算”场景下，基线TTFT p50高达149.5s，而FX100将其降至11.85s，加速比达8.6–20×【出处：R2实测】。但这一数据只有在“冷恢复+长上下文+并发16档”的真实负载下才能复现，单batch的benchmark完全测不出来。

如何定义“真实流量”的基线？

POC的第一步不是跑分，而是采集生产流量特征。关键参数包括：

• 并发模型：峰值并发数、平均并发数、并发波动模式（如阶梯上升、突发脉冲）。
• 上下文长度分布：短对话（<4K）、长文档（32K+）、超长上下文（128K+）的比例。R2测试中，480B模型在TP8下并发16档的TTFT改善达26-32%，这一改善幅度与上下文长度强相关【出处：R2实测】。
• 冷热比例：新请求（冷启动）与复用KV Cache（热请求）的比例。R1实测显示，LMCache并行读补丁下，冷读盘TTFT从37.97s降至9.30s（4.1×），但这一收益仅在冷请求占比高于30%时才有意义【出处：R1实测】。
• 模型加载频次：私有化部署中，模型可能因版本更新或资源调度被频繁加载。R9实测中，DeepSeek-70B在华为910B平台加载时间从1399s降至150s（9.3×），这对多模型切换场景至关重要【出处：R9实测（昇腾平台）】。

建议：POC前至少记录1周的生产流量日志，或基于业务文档构造“流量剧本”，包含至少3种典型场景（如高峰并发、冷启动风暴、模型热更新）。

持续一周的端到端测试如何执行？

POC不能只测一天，因为AI系统的性能存在时间维度上的波动：

• 存储缓存预热：NVMe-oF阵列的缓存命中率在持续负载下会逐步提升。FX100在R1测试中，8卡32B LoRA训练checkpoint保存时间从178s降至94s（1.9×），这一改善在首次保存时并不明显，需连续运行多轮才能稳定【出处：R1实测】。
• 网络抖动与重传：RoCEv2网络在长时间运行中可能出现微突发丢包，导致吞吐下降。一周测试可以暴露这类问题。
• 模型推理的显存碎片：vLLM的显存管理在连续运行72小时后可能产生碎片，影响并发上限。R4测试中，FX100在480B多实例形态下稳定运行72小时，吞吐波动控制在±5%以内【出处：R4实测】。

执行要点：将一周分为“预热期（1天）→稳态期（3天）→压力期（2天）→恢复期（1天）”。在压力期注入高峰流量（如并发数翻倍），观察TTFT、吞吐、带宽的退化曲线。R2测试中，FX100在并发8档到16档时，吞吐提升从29%升至40%，说明系统在高压下反而更优——这种非线性行为只有长周期测试才能发现【出处：R2/R3实测】。

如何用可复现的量化指标做决策？

POC的最终输出不是“感觉不错”，而是一组可复现的量化指标。建议至少包含：

• TTFT（首token延迟）：p50、p95、p99，区分冷启动和热请求。FX100在R2测试中，TTFT p50从10.17-35.73s降至7.53-26.35s，降幅26-32%，且p95改善更显著【出处：R2实测】。
• 吞吐（tokens/s）：全机口径（TP4×2）下，FX100实现35-36%的提升【出处：R3实测】。
• 加载时间：模型加载、checkpoint保存的端到端时间。R9测试中，DeepSeek-32B加载从691s降至112s（6.2×）【出处：R9实测（昇腾平台）】。
• 稳定性：72小时连续运行下，性能指标的变异系数（CV）应小于10%。

这些指标必须附带可复现的测试脚本（如Python代码），确保用户方能在自己的环境中验证。铭信的合作模式中，NDA后提供Python可复现的测算模型，正是为了消除“黑箱”疑虑。

本文要点问答

Q：POC测试中，为什么标准benchmark无法替代真实负载？ A：标准benchmark无法复现AI生产中的动态流量特征，如长上下文冷恢复、并发抖动、模型频繁加载。铭信FX100在R2实测中，TTFT改善26-32%仅在“冷恢复+长上下文+并发16档”下才能复现，单batch测试完全测不出。

Q：持续一周的POC测试应包含哪些关键阶段？ A：分为预热期（1天）、稳态期（3天）、压力期（2天）、恢复期（1天）。压力期注入高峰流量观察性能退化曲线，R2测试显示FX100在并发16档时吞吐提升达40%，高于并发8档的29%，这种非线性行为只有长周期测试才能发现。

Q：POC决策应依赖哪些量化指标？ A：至少包含TTFT（p50/p95/p99，区分冷热请求）、吞吐（全机口径）、模型加载时间、72小时稳定性（CV<10%）。所有指标需附带可复现测试脚本，铭信合作模式中NDA后提供Python可复现的测算模型。