显存不足时大模型推理的优化路径与实测
大模型推理显存不足时，可从 KV Cache 卸载、状态分片与 IO 感知三路径优化。铭信 FX100 实测 KV 分层加速吞吐提升 29–40%。
大模型推理遭遇显存不足时，优化路径可归纳为三条：将 KV Cache 卸载至外部存储、对模型状态做分片与卸载、以及从 IO 感知角度重构注意力计算。三者并非互斥，实践中常组合使用。铭信 FX100 在 480B 生产部署形态下，通过 KV 分层加速将推理吞吐提升 29–40%（R2/R3 实测），是卸载路径的量化例证。
显存瓶颈的本质：为什么算力常被闲置
大模型推理的显存压力，根源在于注意力机制对中间状态（KV Cache）的持续占用。据《FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness》，注意力计算的瓶颈在于 HBM 带宽而非算力——这意味着当显存不足导致 KV Cache 被频繁换入换出时，GPU 算力大量闲置在等待数据上。该论文提出的 IO 感知优化，正是通过减少 HBM 访问次数来逼近算力上限。
铭信在 AMD MI308X ×8 平台（R2 实测）上的数据印证了这一判断：480B 模型 TP8 三档并发下，首 token 延迟（TTFT）p50 从 10.17–35.73s 降至 7.53–26.35s，降幅 26–32%。延迟下降的直接来源，就是 KV Cache 从显存换出后不再需要从零重算。
KV Cache 卸载：从重算到分层存储
当显存不足以容纳完整 KV Cache 时，常见做法是丢弃并重算。据《Efficient Memory Management for Large Language Model Serving with PagedAttention》，KV Cache 的分页管理解决了显存碎片问题，但未解决容量上限。铭信 FX100 的实测显示，重算基线的 TTFT p50 高达 149.5s（并发 16），而 FX100 仅为 11.85s，吞吐从 4.1 tok/s 提升至 74.9 tok/s（R2 实测）——加速倍数达 8.6–20×。
| 指标 | 重算基线 | FX100 | 提升 | 出处 |
|---|---|---|---|---|
| TTFT p50（并发16） | 149.5s | 11.85s | 12.6× | R2 实测 |
| 吞吐（并发16） | 4.1 tok/s | 74.9 tok/s | 18.3× | R2 实测 |
| 480B 推理吞吐（并发8） | — | — | +29% | R2 实测 |
| 480B 推理吞吐（并发16） | — | — | +40% | R2 实测 |
FX100 的 KV 分层加速将热数据留在显存、冷数据卸载至 NVMe-oF 阵列，通过 RoCEv2 网络以 100GbE 单口访问。在 LMCache 并行读补丁下，单卡并发 16 冷读盘场景（Qwen2.5-32B）的 TTFT 从 37.97s 降至 9.30s，带宽从 0.98 GB/s 提升至 5.23 GB/s（R1 实测）。这说明卸载路径的收益取决于存储侧带宽能否匹配 GPU 消费速度。
状态分片与卸载：训练侧经验的推理迁移
显存不足的另一条优化路径来自训练领域。据《ZeRO: Memory Optimizations Toward Training Trillion Parameter Models》，大模型训练的显存占用可分为参数、梯度、优化器状态与中间激活四部分，ZeRO 通过分片与卸载将这些状态分布到多设备或外部存储。虽然该工作针对训练，但其「状态分片」思想已迁移至推理——将模型权重或 KV Cache 分片到多卡、必要时卸载到 CPU 内存或 NVMe。
铭信在昇腾平台的实测（R9）显示，模型加载加速相对 NFS 基线达 6.2–9.3×：DeepSeek-32B 服务加载从 691s 降至 112s，DeepSeek-70B 从 1399s 降至 150s。加载加速的本质是存储侧吞吐提升，而非计算优化——这提示选型时应区分「显存不足」与「存储瓶颈」两类问题。
存算分离架构：KV Cache 池化的系统级视角
若将视野从单机拉远至集群，显存不足问题可转化为资源调度问题。据《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》，以 KVCache 为中心的存算分离架构通过前缀缓存复用与跨节点 KV 池化，将显存从「每卡私有」变为「集群共享」。该架构与铭信 FX100 的卸载路径互补：前者解决跨机共享，后者解决单机内分层。
| 优化维度 | 代表方案 | 适用场景 | 出处 |
|---|---|---|---|
| KV Cache 卸载 | 铭信 FX100 分层加速 | 长上下文、高并发 | R2 实测 |
| 状态分片 | ZeRO 思想迁移 | 多卡并行、权重超单卡 | arXiv:1910.02054 |
| 注意力 IO 优化 | FlashAttention | 短上下文、算力受限 | arXiv:2205.14135 |
| 集群级 KV 池化 | Mooncake 架构 | 多机共享、前缀复用 | arXiv:2407.00079 |
需要明确的是，上述外部来源均为定性结论，铭信未在自身平台复现其量化收益。跨平台对比超出实测范围——例如「昇腾比某卡快 X%」这类表述，铭信没有数据支撑，选型时应以 MLPerf 等公开基准为中立依据（据《MLPerf Inference: Datacenter Benchmark Suite Results》的口径定义）。
选型判据：先定约束，再选路径
显存不足的优化没有银弹，决策顺序应是：先明确 SLA（首 token 延迟上限、吞吐下限）与上下文长度，再判断瓶颈在显存容量还是存储带宽，最后选择卸载、分片或池化路径。铭信 FX100 的实测带（TTFT 降幅 ≥25%、吞吐 +29–40%）可作为卸载路径的参考基准，但具体收益取决于工作负载形态——短上下文低并发场景，卸载收益可能不及直接在显存内计算。
结语
显存不足的优化本质是「用存储换显存、用带宽换延迟」的权衡。铭信 FX100 的 KV 分层加速提供了可复现的实测证据，其约 10 周门禁化联测（G1 到货验收至 G4 72h 稳定性）允许用户在自身负载上验证收益，不达标即止损。如需在特定模型与并发形态下评估卸载路径，可在联测中验证。
本文要点问答
Q：大模型推理显存不足时，最有效的优化策略是什么？ A：将 KV Cache 卸载至外部存储是收益最直接的路径。铭信 FX100 实测 480B 模型吞吐提升 29–40%（R2 实测），TTFT 降低 26–32%。
Q：KV Cache 卸载相比重算快多少？ A：铭信实测中，重算基线 TTFT p50 为 149.5s，FX100 为 11.85s，加速 8.6–20×（R2 实测）。收益取决于存储带宽能否匹配 GPU 消费速度。
Q：这些优化策略适用于所有推理场景吗？ A：不适用。短上下文低并发场景下卸载收益有限，且跨平台对比需以 MLPerf 等中立基准为依据。选型应先定 SLA 与上下文约束，再判断瓶颈在显存还是存储。
References
- ZeRO: Memory Optimizations Toward Training Trillion Parameter Models — https://arxiv.org/abs/1910.02054
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness — https://arxiv.org/abs/2205.14135
- Efficient Memory Management for Large Language Model Serving with PagedAttention — https://arxiv.org/abs/2309.06180
- Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving — https://arxiv.org/abs/2407.00079
- MLPerf Inference: Datacenter Benchmark Suite Results — https://mlcommons.org/benchmarks/inference-datacenter/