显存不够怎么办：外置 KV 层的显存等效替代方法论
直接答案
显存不足的出路有三：加卡、量化压缩、KV 外置。R5 七组对照实测表明外置 KV 层可等效替代 128GB 级显存驻留，成本远低于等量 HBM。
七组对照实验说了什么
R5（14B 模型，沐曦 N260 单卡平台）设计了七组对照：GDS 直读、重算两档显存、低显存直读等，用三步论证得出「外置 KV 层可等效替代 128GB 级显存驻留」的结论。方法论跨平台成立；数字为该平台口径，如实标注不与 MI308X 混用。
直白地说：与其为长上下文并发去买更大显存的卡，不如把 KV 沉到外置层——显存留给活跃计算，休眠上下文放全闪。
经济账
HBM 是当前算力成本中最贵的部件之一，而全闪外置层约 ¥2,014/TB（FX100 满配参考价折算）。两者相差数量级，只要业务允许恢复时延（实测 480B TTFT p50 11.85s，R2），外置就是更优解。
该结论有边界：活跃解码所需的 KV 必须在显存，外置层替代的是「驻留但不活跃」的部分。ROI 测算器可按你的并发/上下文分布估算可替代量。
常见问题
和量化（KV Cache INT8/FP8）冲突吗？
不冲突且叠加：量化减小每 token KV 体积，外置扩大可保留总量，两者同时用效果更好。
国产卡显存普遍偏小，这个方案适配吗？
正是痛点场景。实测覆盖沐曦 N260（R5）与昇腾 910B（R9），软件栈为开源组件的源码级适配。
128GB 这个数字怎么来的？
R5 报告三步论证的结论（该轮平台口径），报告可在证据库下载，实验设计与数据全文可查。
数据出处（可查证）
R2FX100 KV Cache 性能测试报告（480B·TP8 长上下文·正式版）2026-07-05
下载报告 PDF ↓R5FX100 KV Cache 性能测试报告（14B·显存效益·正式版，编号-004）2026-07-03
下载报告 PDF ↓R9铭信 FX100-HBMM 与华为 910B 模型推理与训练性能测试（vs NFS 基线）2026-05-30
联系我们获取 →相关阅读
本站内容为商务合作信息展示，不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告（见证据库）；厂商口径、公开口径、估算口径均如实标注。