推理存储功耗构成与可控优化路径

在大型语言模型推理系统中，存储子系统的功耗占比通常远低于 GPU 计算单元，但这并不意味着它不值得关注——恰恰相反，存储环节的功耗是整条链路中少数几个可以通过架构选型与技术优化主动施加影响的变量。GPU 的功耗由制程与算力决定，几乎不可控；而存储的功耗构成中，数据通路设计、介质类型选择与数据放置策略都留有明确的优化空间。本文基于芯元一 FX100 在 AMD MI308X 平台上的实测数据（R1/R2/R9 实测），拆解推理存储功耗的真实构成，并区分哪些环节真正可控、哪些只是理论上的“优化空间”。

存储功耗在推理系统中的真实占比与构成

推理系统的功耗分布呈现高度不均衡的特征。GPU 加速卡是绝对的功耗主体——以 8× AMD MI308X 的测试平台为例，单卡功耗即达数百瓦级别，仅 GPU 部分就占据系统总功耗的绝大部分（R2 实测平台配置）。相比之下，NVMe 固态盘的典型功耗仅为每盘 5–15W 区间，即使组成 4 盘 RAID0 阵列，存储子系统的总功耗也仅占系统功耗的几个百分点。

然而，功耗占比低不等于优化无价值。推理系统的功耗问题本质上是“时间积分”问题——一次推理任务的能耗 = 功耗 × 耗时。据 FlashAttention 论文的分析，注意力计算受 HBM 带宽而非算力限制，这意味着推理过程中的数据搬运时间往往远超计算时间（arXiv:2205.14135）。存储子系统虽然瞬时功耗低，但如果它成为数据搬运的瓶颈，拉长的任务耗时会让 GPU 在高功耗状态下空转更久，间接推高整体能耗。芯元一 FX100 的实测数据印证了这一逻辑：在无外存重算的基线对比中，重算基线 TTFT p50 为 149.5s（conc16），而 FX100 仅需 11.85s（R2 实测）——存储加速让 GPU 等待数据的时间大幅缩短，单位 token 产出所分摊的 GPU 功耗随之下降。

哪些存储功耗环节真正可控

数据通路：绕过 CPU 的功耗与延迟代价

传统存储访问路径中，数据从 NVMe 盘读取后需先拷贝至 CPU 内存（bounce buffer），再由 CPU 通过 PCIe 转发至 GPU 显存。这条路径不仅增加延迟，还让 CPU 和内存子系统在数据搬运中持续耗电。据 NVIDIA GPUDirect Storage 文档，GPU 直连存储技术允许数据绕过 CPU 内存直接进入显存，消除了中间拷贝环节的功耗与延迟开销（NVIDIA GDS Documentation）。芯元一 FX100 采用 NVMe-oF 架构配合 RoCEv2 网络，实测中在 LMCache 并行读补丁场景下，单卡并发 16 的冷读盘 TTFT 从 37.97s 降至 9.30s，带宽从 0.98 GB/s 提升至 5.23 GB/s（R1 实测）——数据通路越短，搬运同样数据量的时间越短，单位数据的搬运能耗越低。

介质与接口选型：每 TB 功耗的差异

存储介质的功耗密度差异显著。企业级 NVMe SSD 的每 TB 功耗通常在 1–3W 区间，而 HDD 虽然单盘功耗相近但容量密度低，每 TB 功耗反而更高。接口代际同样影响功耗效率：PCIe 5.0 接口的 FX300 单接口带宽达 400Gb，60M IOPS（厂商口径），相比 PCIe 3.0 的 FX100（单接口 100Gb，16M IOPS），在完成同样数据搬运任务时的高功耗状态持续时间更短。不过需要注意，接口代际提升带来的功耗节省是间接的——更快的接口让存储设备更快回到低功耗空闲态，而非降低峰值功耗本身。

数据放置策略：KV Cache 分层带来的“功耗杠杆”

推理存储功耗优化最具杠杆效应的环节不在存储本身，而在数据放置策略。据 PagedAttention 论文的分析，KV Cache 的显存碎片化问题会导致显存利用率下降（arXiv:2309.06180），而 KV Cache 分层架构的核心思路是让热数据留在显存、温数据放在存储、冷数据沉入更深层——据 Mooncake 论文，这种以 KVCache 为中心的存算分离架构通过前缀缓存复用减少重复计算（arXiv:2407.00079）。芯元一 FX100 在 480B 生产部署形态的长上下文冷恢复负载中，KV 分层加速带来推理吞吐提升 +29–40%（并发 8 档 +29% 为下界，并发 16 档 +40% 为上界，TP4×2 全机口径 +35–36%，R2/R3 实测）。吞吐提升意味着同样数量的请求在更短时间内完成，GPU 的高功耗状态持续时间成比例缩短——这是存储优化对系统总能耗最实质的贡献路径。

哪些环节的功耗优化是伪命题

需要明确的是，并非所有存储功耗优化都值得投入。以下几类常被讨论的方向，实际可控性有限：

存储设备空闲功耗。NVMe SSD 在空闲态功耗已降至很低水平，进一步优化的空间极小。与其关注存储设备本身的空闲功耗，不如关注如何让存储设备更快完成搬运任务、更快回到空闲态。

跨平台对比的功耗数字。芯元一仅在自有实测平台（AMD MI308X ×8）上有数据，跨平台对比（如昇腾与 NVIDIA 的存储功耗差异）没有实测依据，不应作为选型依据。据 MLPerf Inference 的公开基准说明，推理性能的可比性需要统一的测试口径（MLCommons），功耗对比同样如此——不同平台的功耗数字缺乏可比的测量条件，讨论具体数值没有意义。

存储功耗占系统总能耗的比例优化。如前所述，存储子系统功耗占比本就不高，试图通过降低存储功耗来直接降低系统总功耗，边际收益极小。存储优化的价值在于通过加速推理任务来缩短 GPU 高功耗时长，而非直接削减存储自身的电表读数。

结语

推理存储系统的功耗优化，真正的抓手不在存储设备本身的功耗参数，而在数据通路设计、介质选型与数据放置策略——这些环节决定了 GPU 等待数据的时间长短，进而影响系统总能耗。芯元一 FX100 在 KV Cache 分层加速、模型加载加速与 Checkpoint 保存加速等场景的实测数据（R1/R2/R9 实测）表明，存储子系统可以通过缩短数据搬运时间，间接降低推理任务的整体能耗。对于关注推理基础设施功耗的团队，欢迎联系芯元一开展门禁化联测，在真实负载下验证存储优化对系统能耗的实际影响。

本文要点问答

Q：推理存储系统的功耗优化，最有效的路径是什么？ A：不是降低存储设备自身功耗，而是通过缩短数据搬运时间减少 GPU 高功耗空转时长。芯元一 FX100 实测中 KV 分层加速带来吞吐提升 +29–40%（R2/R3 实测），单位请求的 GPU 能耗随之下降。

Q：存储子系统在推理系统中的功耗占比如何？ A：占比很低——NVMe 盘典型功耗仅每盘 5–15W，远低于 GPU 的数百瓦级。但存储瓶颈会拉长任务耗时，间接推高 GPU 空转能耗，因此优化价值在于“时间积分”效应而非直接削减存储功耗。

Q：哪些存储功耗优化方向不值得投入？ A：存储设备空闲功耗优化空间极小；跨平台功耗对比缺乏可比的测量口径，不应作为选型依据（据 MLPerf Inference 说明）。应聚焦数据通路设计、介质选型与 KV Cache 分层策略。

References

1. NVIDIA GPUDirect Storage Documentation — https://docs.nvidia.com/gpudirect-storage/index.html
2. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness — https://arxiv.org/abs/2205.14135
3. Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving — https://arxiv.org/abs/2407.00079
4. Efficient Memory Management for Large Language Model Serving with PagedAttention — https://arxiv.org/abs/2309.06180
5. MLPerf Inference: Datacenter Benchmark Suite Results — https://mlcommons.org/benchmarks/inference-datacenter/