主题：vLLM
「vLLM」主题下共 4 篇文章，按发布时间倒序。关键数字均附实测报告或权威来源出处。
KV Cache存储加速LMCachevLLM
从 p50 到 p99：推理延迟分位数背后的存储行为
本文分析大模型推理中 p50 与 p99 延迟差异的存储根因，揭示 KV Cache 外置存储加速如何将尾延迟从数倍于中位数压缩至接近一致，并基于铭信 FX100 实测数据论证存储架构对推理体验的决定性影响。
KV Cache存储加速LMCachevLLM
TTFT 首 Token 延迟：Agent 体验的隐形瓶颈与存储加速的破局路径
首 Token 延迟（TTFT）直接决定 Agent 应用的交互流畅度与用户留存。本文分析 TTFT 对 Agent 体验的影响，并基于铭信 FX100 实测数据，论证 KV Cache 存储加速方案如何将 TTFT 降低 26–40%，为生产级 Agent 部署提供可量化的优化路径。
KV Cache存储加速LMCachevLLM
KV Cache 显存替代：外置存储层如何释放128GB级显存占用
大模型推理中KV Cache占据大量显存，通过外置存储加速方案，实测可替代128GB级显存驻留，同时降低TTFT 26-32%、提升吞吐29-40%，为算力中心提供可量化的显存弹性。
KV Cache存储加速LMCachevLLM
FS:// 共享池跨实例热共享：一机多服务形态下的 KV 复用
本文探讨在多实例推理部署中，通过存储加速实现KV Cache跨服务共享的工程实践，分析其对首token延迟与吞吐的影响，并基于实测数据给出技术决策参考。