引言

大模型推理的显存瓶颈正从“模型权重”转向“KV Cache”。以480B MoE模型为例，单次长上下文推理的KV Cache可达数百GB，远超单卡显存容量。传统做法是依赖GPU显存驻留，但这意味着要么限制并发、要么牺牲上下文长度。一个被反复讨论但鲜有落地的思路是：用外置存储层替代部分显存驻留，将KV Cache卸载到高速NVMe-oF存储上，仅在需要时加载。这一方案的核心挑战在于——存储延迟是否能匹配推理的实时性要求？铭信FX100在AMD MI308X平台上的实测数据提供了可量化的答案。

外置存储替代显存的可行性：从延迟到带宽

KV Cache卸载的核心矛盾在于：GPU显存延迟约100-300ns，而NVMe SSD延迟约10-100μs，差距达两个数量级。但现代推理框架（如vLLM、LMCache）通过预取、分层缓存和并行读优化，可大幅掩盖这一差距。铭信FX100在R2测试中，采用LMCache并行读补丁，将冷读盘场景下的TTFT从37.97秒降至9.30秒（改善4.1倍），带宽从0.98GB/s提升至5.23GB/s（提升5.3倍）【R1实测】。这意味着，当KV Cache被卸载到外置存储时，单次加载的延迟已从“不可接受”降至“可容忍”。

对于128GB级显存驻留的替代，关键在于“等效容量”。以480B模型为例，单次推理的KV Cache约需450GB显存（FP8权重约450GB，但KV Cache随序列长度动态增长）。在TP8配置下，8卡显存总量约1.5TB（每卡192GB HBM），但实际可用显存中，超过30%被KV Cache占用。通过外置存储卸载，可将KV Cache的显存占用降至接近零，释放出的显存可用于更高并发或更大模型。实测中，FX100在并发16档下，TTFT从基线（无外存重算）的149.5秒降至11.85秒（加速8.6-20倍），吞吐从4.1 tok/s提升至74.9 tok/s【R2实测】。这证明外置存储不仅能替代显存，还能在替代后保持甚至提升推理性能。

实测数据：TTFT降低与吞吐提升的量化边界

铭信FX100在R2/R3测试中，以480B·TP8配置，针对长上下文冷恢复负载，测得了清晰的性能边界。TTFT p50从10.17-35.73秒降至7.53-26.35秒，降幅26-32%【R2实测】。这一降幅并非线性：在低并发（8档）时，TTFT降幅接近下界（26%）；在高并发（16档）时，降幅达到上界（32%）。原因是高并发下，GPU显存压力更大，外置存储的卸载效果更显著。

吞吐方面，KV分层加速推理吞吐提升29-40%【R2/R3实测】。同样，下界出现在并发8档（+29%），上界出现在并发16档（+40%）。TP4×2全机口径下，吞吐提升35-36%【R3实测】。这些数字表明，外置存储替代显存的效果与并发度正相关：并发越高，显存压力越大，卸载带来的收益越明显。

值得注意的是，这些数据是在“无外存重算”条件下获得的。传统方案中，若KV Cache被驱逐，需从模型权重重新计算，TTFT可达149.5秒（并发16档）【R2实测】。FX100通过外置存储直接加载，避免了重算，TTFT降至11.85秒，加速比达12.6倍。这验证了外置存储作为“第二级显存”的可行性。

架构设计：LMCache与vLLM的协同路径

外置存储替代显存并非简单挂载NVMe盘，而是需要与推理框架深度集成。铭信FX100的实测基于LMCache（上游主线2026-06-29源码编译）与vLLM 0.20.1+rocm721的组合【R1-R4实测平台】。LMCache的并行读补丁是关键：它将单线程的磁盘读取改为多线程并发，使带宽从0.98GB/s提升至5.23GB/s（提升5.3倍）【R1实测】。这一优化直接降低了TTFT。

在训练场景，外置存储同样有效。8卡32B LoRA训练中，Checkpoint保存从178秒降至94秒（加速1.9倍），持续写带宽从3.26GB/s提升至6.40GB/s（+96%）【R1实测】。这表明外置存储不仅适用于推理，还能加速训练过程中的持久化操作。

对于算力中心决策者，关键问题是：外置存储的投入是否值得？铭信FX100的参考价约¥2,014/TB（FX100满配整机）【FX产品线】，而同等容量的GPU显存成本（以HBM3e约$20/GB计）约¥14,000/TB。外置存储的成本仅为显存的14%左右。考虑到实测中KV Cache卸载可释放128GB级显存，且TTFT降低26-32%、吞吐提升29-40%，ROI在多数生产场景中为正。

结语

外置存储替代显存驻留并非理论空谈。铭信FX100的实测数据表明，通过LMCache并行读优化和vLLM框架协同，NVMe-oF存储可在TTFT降低26-32%、吞吐提升29-40%的前提下，替代128GB级显存占用。这一方案的成本仅为等效显存的14%左右，且在高并发场景下收益更显著。铭信提供约10周的门禁化联测（G1到货验收至G3主门禁：TTFT降幅≥25%、吞吐+29-40%实测带内），不达标即止损。欢迎算力中心团队联系，针对您的模型与负载进行NDA后的Python可复现测算。