POC怎么做才有意义：用真实流量测一周的方法论

引言：当POC变成“表演赛”

在AI算力采购中，概念验证（POC）本应是技术决策最关键的环节。但现实是，许多POC沦为“表演赛”：供应商用标准benchmark跑出漂亮数字，用户方用简单脚本测一下吞吐，一周后双方签字，结果上线时首token延迟飙升、并发下卡顿频发。

问题出在哪里？POC没有模拟真实生产负载。AI应用已从单一模型推理演进到多Agent协作、视频生成、私有化部署等复杂场景，这些场景的流量特征——长上下文、冷启动、并发抖动——是任何离线benchmark都无法复现的。本文提出一套方法论：用真实流量、持续一周、端到端验证，让POC真正回答“买回来能不能用”。

为什么“跑分”不能替代POC

算力采购中常见的误区是依赖标准benchmark。例如，用MLPerf Inference或vLLM自带的性能测试，跑几个batch size下的吞吐和延迟，就认为覆盖了需求。但在实际生产中，AI应用面临的是动态流量：

• AI应用与Agent：多轮对话、工具调用、长上下文记忆，导致KV Cache命中率波动，冷恢复场景下首token延迟可能从毫秒级飙升到秒级。
• 视频生成：如ComfyUI + LTX-Video 2.3，模型加载、帧序列处理对存储IO的突发需求极高，NFS挂载下加载时间可能长达数分钟。
• 私有化部署：企业内网带宽受限、多用户并发、模型频繁更新，这些因素在离线测试中完全被忽略。

铭信FX100在R2实测中展示了这种差异：480B模型在“无外存重算”场景下，基线TTFT p50高达149.5s，而FX100将其降至11.85s，加速比达8.6–20×。但这一数据只有在“冷恢复+长上下文+并发16档”的真实负载下才能复现，单batch的benchmark完全测不出来。

方法论：真实流量测一周的三步框架

第一步：定义“真实流量”的基线

POC的第一步不是跑分，而是采集生产流量特征。如果用户尚无生产环境，则需基于业务场景构造模拟流量。关键参数包括：

• 并发模型：峰值并发数、平均并发数、并发波动模式（如阶梯上升、突发脉冲）。
• 上下文长度分布：短对话（<4K）、长文档（32K+）、超长上下文（128K+）的比例。R2测试中，480B模型在TP8下并发16档的TTFT改善达26–32%，这一改善幅度与上下文长度强相关。
• 冷热比例：新请求（冷启动）与复用KV Cache（热请求）的比例。R1实测显示，LMCache并行读补丁下，冷读盘TTFT从37.97s降至9.30s（4.1×），但这一收益仅在冷请求占比高于30%时才有意义。
• 模型加载频次：私有化部署中，模型可能因版本更新或资源调度被频繁加载。R9实测中，DeepSeek-70B在华为910B平台加载时间从1399s降至150s（9.3×），这对多模型切换场景至关重要。

建议：POC前至少记录1周的生产流量日志，或基于业务文档构造“流量剧本”，包含至少3种典型场景（如高峰并发、冷启动风暴、模型热更新）。

第二步：持续一周的端到端测试

POC不能只测一天，因为AI系统的性能存在时间维度上的波动：

• 存储缓存预热：NVMe-oF阵列的缓存命中率在持续负载下会逐步提升。FX100在R1测试中，8卡32B LoRA训练checkpoint保存时间从178s降至94s（1.9×），这一改善在首次保存时并不明显，需连续运行多轮才能稳定。
• 网络抖动与重传：RoCEv2网络在长时间运行中可能出现微突发丢包，导致吞吐下降。一周测试可以暴露这类问题。
• 模型推理的显存碎片：vLLM的显存管理在连续运行72小时后可能产生碎片，影响并发上限。R4测试中，FX100在480B多实例形态下稳定运行72小时，吞吐波动控制在±5%以内。

执行要点：将一周分为“预热期（1天）→稳态期（3天）→压力期（2天）→恢复期（1天）”。在压力期注入高峰流量（如并发数翻倍），观察TTFT、吞吐、带宽的退化曲线。R2测试中，FX100在并发8档到16档时，吞吐提升从29%升至40%，说明系统在高压下反而更优——这种非线性行为只有长周期测试才能发现。

第三步：用可复现的量化指标做决策

POC的最终输出不是“感觉不错”或“跑通了”，而是一组可复现的量化指标。建议至少包含：

• TTFT（首token延迟）：p50、p95、p99，区分冷启动和热请求。FX100在R2测试中，TTFT p50从10.17–35.73s降至7.53–26.35s，降幅26–32%，且p95改善更显著。
• 吞吐（tokens/s）：全机口径（TP4×2）下，FX100实现35–36%的提升【R3实测】。
• 加载时间：模型加载、checkpoint保存的端到端时间。R9测试中，DeepSeek-32B加载从691s降至112s（6.2×）。
• 稳定性：72小时连续运行下，性能指标的变异系数（CV）应小于10%。

这些指标必须附带可复现的测试脚本（如Python代码），确保用户方能在自己的环境中验证。铭信的合作模式中，NDA后提供Python可复现的测算模型，正是为了消除“黑箱”疑虑。

结语：POC不是终点，而是起点

用真实流量测一周，本质上是将POC从“供应商的展示”变为“用户的实验”。它要求双方投入更多时间，但换来的是上线后的确定性——尤其是对于AI应用、Agent、视频生成、私有化部署这类对延迟和稳定性敏感的场景，一次失败的POC可能意味着数百万投资的浪费。

铭信FX100在R2-R9测试中，从KV Cache加速到模型加载、训练checkpoint保存，均提供了可量化的实测数据（如TTFT↓26–32%、吞吐+29–40%）。我们欢迎用户携带真实流量剧本，进行为期一周的门禁化联测（约10周流程，含G1到货验收到G4 72h稳定性），不达标即止损。算力采购的决策，应该建立在真实数据之上，而非宣传话术之中。