降低大模型TTFT的四种方案对比

大模型推理的首 token 延迟（TTFT）是影响用户体验与 SLA 达标的直接指标。降低 TTFT 的路径并非单一，而是分布在计算、显存、存储与架构四个层面。本文对比四种主流方案，并引用铭信科技在 AMD MI308X 平台上的实测数据，说明存储侧加速在长上下文场景下的实际收益。

为什么 TTFT 是推理优化的首要目标

TTFT 指用户发出请求到收到第一个输出 token 的时间间隔。在交互式应用中，TTFT 过长会直接导致体验劣化；在批量处理场景中，它决定了一条请求能否在 SLA 时限内完成。据《FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness》，注意力计算的核心瓶颈在于 HBM 带宽而非算力，这为理解 TTFT 的构成提供了基础：模型权重读取、KV Cache 读取与计算本身，都受限于数据搬运速度。

TTFT 的构成可拆解为：请求排队、权重加载（若需换入）、预填充计算、KV Cache 写入与读取。其中，预填充阶段需要处理全部输入 token，计算量大且访存密集。当上下文长度增长时，KV Cache 体积随之膨胀，访存压力成为主导因素。

方案一：计算与算子优化

FlashAttention 通过 IO 感知的注意力计算，减少 HBM 读写次数，是当前最基础的优化手段。据《Efficient Memory Management for Large Language Model Serving with PagedAttention》，vLLM 的 PagedAttention 通过分页管理 KV Cache，减少显存碎片，提升了批处理吞吐。这两类方法作用于计算与显存管理层，对 TTFT 的改善幅度受限于硬件带宽上限。

这类方案的优点是普适性强、无需改动硬件；缺点是当 KV Cache 超过显存容量时，必须依赖外部存储或重算，此时访存瓶颈从 HBM 转移到 PCIe 与网络链路。

方案二：显存扩展与 KV Cache 分层

当模型权重与 KV Cache 超过单卡显存时，常见做法是将 KV Cache 卸载到 CPU 内存或远端存储。据《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》，以 KVCache 为中心的存算分离架构通过前缀缓存复用与跨节点 KV 池化，降低重复预填充开销。这类架构的收益在于提高显存利用率，但代价是引入额外的数据通路延迟。

铭信 FX100 的 KV 分层加速方案即属于此类：将冷 KV Cache 分层存放于 NVMe-oF 阵列，热数据保留在显存。据铭信 R2 实测（2026-07-05，480B·TP8 长上下文·正式版），在 480B 模型、TP8 三档并发下，TTFT p50 从 10.17–35.73s 降至 7.53–26.35s，降幅 26–32%。这一数据表明，在长上下文场景下，存储侧延迟对 TTFT 的贡献不可忽视。

方案三：存储加速与数据通路优化

GPU 直连存储（GDS）技术通过绕过 CPU 的 bounce buffer，让 GPU 直接访问存储设备，降低数据搬运延迟。据 NVIDIA GPUDirect Storage Documentation，该技术适用于大数据块传输场景，但对小 I/O 的改善有限。铭信 FX100 的实测数据展示了存储加速的潜力：

据铭信 R2 实测，对无外存重算的加速倍数为 8.6–20×。这意味着在极端场景（KV Cache 全部落盘、无重算）下，存储带宽直接决定 TTFT 下限。R9 实测（2026-05-30，华为 Atlas 910B 平台）显示，模型加载阶段 FX100 相对 NFS 基线有 6.2–9.3× 加速，说明存储优化对冷启动场景同样有效。

方案四：架构级改造与实测边界

上述方案并非互斥。实际部署中，计算优化、显存分层与存储加速往往叠加使用。铭信 R3 实测（2026-07-06，480B·TP4×2·全指标·品牌统一版）显示，KV 分层加速在并发 8 档下吞吐提升 29%（下界），最优工作点并发 16 档提升 40%（上界），TP4×2 全机口径提升 35–36%。这一区间说明：加速效果与并发形态强相关，选型时需按实际负载特征评估。

需要明确边界：上述数字均出自铭信在 AMD MI308X 平台（ROCm 7.2、vLLM 0.20.1+rocm721）的实测，模型为 Qwen3-Coder-480B-FP8（MoE，权重约 450GB）。跨平台、跨模型的外推需谨慎——据 MLPerf Inference: Datacenter Benchmark Suite Results，推理性能的公开比较应以固定精度与时延约束的标准化测试为准，而不同硬件平台的访存架构差异可能导致结论反转。

结语

降低 TTFT 的路径选择取决于瓶颈定位：计算密集时优化算子，显存不足时分层卸载，存储延迟主导时加速数据通路。铭信 FX 系列（FX100/FX200/FX300/FX400）提供从 PCIe 3.0 到 6.0 的存储加速产品线，其 KV 分层加速方案在长上下文场景下经实测可降低 TTFT 26–32%。如需在自身平台验证效果，可通过约 10 周门禁化联测（含 TTFT 降幅 ≥25% 的主门禁）进行可复现评估。

本文要点问答

Q：降低 TTFT 的四种主流方案分别是什么？ A：计算与算子优化（如 FlashAttention）、显存扩展与 KV Cache 分层、存储加速与数据通路优化（如 GDS）、架构级改造（如存算分离）。四者可叠加使用，效果取决于瓶颈位置。

Q：存储加速对 TTFT 的实测改善幅度是多少？ A：据铭信 R2 实测，480B 模型 TP8 三档并发下 TTFT p50 降幅 26–32%；对无外存重算场景加速 8.6–20×。R9 实测显示模型加载阶段相对 NFS 加速 6.2–9.3×。

Q：这些实测数据的适用边界是什么？ A：数据出自铭信在 AMD MI308X 平台、Qwen3-Coder-480B-FP8 模型的测试。跨平台外推需谨慎，公开比较应以 MLPerf 等标准化基准为准。

References

1. MLPerf Inference: Datacenter Benchmark Suite Results — https://mlcommons.org/benchmarks/inference-datacenter/
2. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness — https://arxiv.org/abs/2205.14135
3. Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving — https://arxiv.org/abs/2407.00079
4. Efficient Memory Management for Large Language Model Serving with PagedAttention — https://arxiv.org/abs/2309.06180
5. NVIDIA GPUDirect Storage Documentation — https://docs.nvidia.com/gpudirect-storage/index.html