从 p50 到 p99：推理延迟分位数背后的存储行为
大模型推理的 p99 尾延迟通常比 p50 中位数高 2–5 倍，其核心瓶颈并非 GPU 算力不足，而是 KV Cache 从外存读取时的 I/O 抖动与带宽波动。通过将 KV Cache 分层存储至 NVMe-oF 全闪阵列，并配合 LMCache 软件栈的预取与并行读优化，可将尾延迟压缩至与中位数接近的水平。据 Mooncake 论文（arXiv:2407.00079） 的架构分析，以缓存为中心的推理设计正是通过存储加速解决延迟分位数问题的关键路径。
为什么 p99 尾延迟比 p50 高数倍？存储 I/O 是主因
p99 尾延迟的根源在于长上下文推理中，KV Cache 从外置存储读取时遭遇的 I/O 队列深度波动与带宽竞争，而非 GPU 计算本身。当并发请求数增加，存储设备的随机读延迟分布会呈现长尾特征。
在典型推理场景中，KV Cache 的读取模式是高度随机的：每个请求需要从外存中检索不同位置的缓存块。据 vLLM 论文（PagedAttention，arXiv:2309.06180） 的分析，PagedAttention 机制将 KV Cache 分页管理，但页面的物理存储位置并不连续。当采用本地 NVMe 单盘作为缓存介质时，单盘队列深度有限，高并发下 I/O 请求排队导致部分请求等待时间急剧增加。实测数据显示，在 480B 模型·TP8·并发 16 的负载下，本地 NVMe 的 p99 读延迟可达 p50 的 3.2 倍，而这一差距在铭信 FX100 全闪阵列中被压缩至 1.1 倍（详见 实测证据库 中的 R2 报告）。
铭信 FX100 如何重塑延迟分布？实测数据揭示存储加速效果
铭信 FX100 通过 NVMe-oF 全闪阵列与 LMCache 软件栈的协同，将 p99 尾延迟从数倍于 p50 压缩至接近一致，核心机制在于并行读带宽提升与 I/O 队列深度优化。
具体实测数据来自 R2 报告（480B·TP8·长上下文）：在并发 16 档负载下，本地 NVMe 基线的 TTFT p50 为 10.17s，p99 为 32.50s（p99/p50 ≈ 3.2）；而 FX100 阵列的 TTFT p50 为 7.53s，p99 为 8.28s（p99/p50 ≈ 1.1）。这意味着 FX100 不仅将中位数延迟降低了 26%，更将尾延迟从 32.50s 降至 8.28s，降幅达 74.5%。这一改善源于 FX100 的 4 盘 RAID0 配置（单口 100 GbE）提供的持续读带宽达 5.23 GB/s，远超本地单盘（0.98 GB/s），从而在高并发下避免了 I/O 排队。LMCache 的并行读补丁进一步优化了读取调度，使带宽提升 5.3 倍（详见 KV Cache 分层存储加速方案）。
从 p50 到 p99：存储加速对延迟分位数的决定性影响
存储加速的核心价值在于将尾延迟从不可控的波动区间拉回可预测的低延迟范围，从而保障推理服务的 SLA 与用户体验。这一效果在 KV Cache 外置存储场景中尤为显著。
| 指标 | 本地 NVMe 基线 | 铭信 FX100 阵列 | 改善幅度 |
|---|---|---|---|
| TTFT p50（conc16） | 10.17s | 7.53s | ↓26% |
| TTFT p99（conc16） | 32.50s | 8.28s | ↓74.5% |
| p99/p50 比值 | 3.2× | 1.1× | — |
| 读带宽（conc16） | 0.98 GB/s | 5.23 GB/s | ↑5.3× |
数据来源：R2 实测报告（480B·TP8·长上下文）。FX100 的 p99/p50 比值接近 1，意味着延迟分布几乎无尾；而本地 NVMe 的 p99 是 p50 的 3.2 倍，在高并发下用户体验会因部分请求的极端延迟而严重受损。据 DistServe 论文（arXiv:2401.09670） 的分析，Prefill/Decode 分离部署虽然能优化整体吞吐，但无法解决存储 I/O 带来的尾延迟问题——因为 KV Cache 读取是 Prefill 阶段的固有瓶颈。因此，存储加速是解决延迟分位数问题的必要手段。
结语
从 p50 到 p99 的延迟分位数差异，本质上是存储 I/O 行为在推理负载下的映射。铭信 FX100 通过全闪 NVMe-oF 阵列与 LMCache 软件栈的深度适配，将 p99/p50 比值从 3.2 压缩至 1.1，证明了存储加速在尾延迟控制上的有效性。对于追求稳定推理 SLA 的算力中心，将 KV Cache 分层存储至专用加速阵列，是比单纯增加 GPU 算力更具性价比的方案。铭信科技提供约 10 周门禁化联测（G1–G4 阶段，TTFT 降幅 ≥25%、吞吐 +29–40% 实测带内），欢迎联系进行技术验证。
本文要点问答
Q：为什么大模型推理的 p99 尾延迟远高于 p50 中位数？
A：主要原因是 KV Cache 从外存读取时遭遇的 I/O 队列深度波动与带宽竞争，而非 GPU 计算瓶颈。本地 NVMe 单盘在高并发下读延迟分布呈现长尾，p99 可达 p50 的 3 倍以上。
Q：铭信 FX100 如何改善延迟分位数？
A：通过 NVMe-oF 全闪阵列（4 盘 RAID0，单口 100 GbE）提供持续 5.23 GB/s 读带宽（较本地 NVMe 提升 5.3 倍），配合 LMCache 并行读优化，将 p99/p50 比值从 3.2 压缩至 1.1，尾延迟降低 74.5%。
Q：存储加速对推理 SLA 的实际价值是什么？
A：将尾延迟从不可控的波动区间（如 32.50s）拉回可预测的低延迟范围（如 8.28s），保障高并发下所有请求的一致体验，避免因少数极端延迟请求导致的用户体验下降或超时。