技术专题
AI 推理存储加速 / KV Cache 分层细分赛道的技术专题库。每篇置顶 40–60 字直接答案， 全部数字附报告编号（R1–R9），任何第三方可查证复现。
KV Cache 外置存储：把推理缓存放到全闪阵列上
KV Cache 外置存储是把大模型推理产生的键值缓存从显存下沉到外置全闪阵列，命中时跳过重算。铭信 FX100 在 480B 生产形态实测吞吐提升 29–40%。
KV Cache 分层缓存：显存 → 内存 → 全闪的三级架构
KV Cache 分层是把推理缓存按热度放在显存、主机内存与外置全闪三级介质上，容量逐级放大、成本逐级下降。铭信 FX100 为第三级提供 NVMe-oF 全闪池。
AI 推理存储加速：不加卡提升集群产出的第三条路
推理存储加速指用高性能存储层提升 GPU 集群的 token 产出：KV 分层免重算、模型秒级加载、切换不空转。铭信实测三项分别带来 29–40%、6.2–9.3×、1.9× 的改善。
TTFT 优化：把大模型首 token 时延降下来的工程路径
TTFT 由排队、prefill 重算与 KV 读回三部分构成。长上下文场景 prefill 重算是大头，KV Cache 外置读回可将其大幅消除：铭信实测 TTFT p50 降 26–32%。
长上下文冷恢复：Agent 时代的推理性能主战场
冷恢复指长上下文会话中断后重新激活：KV 已被逐出显存，只能重算或从外置层读回。铭信实测外置读回比重算快 8.6–20×，比本地盘快 26–32%。
NVMe-oF 推理存储：RoCEv2 全闪阵列的实测表现
NVMe-oF 通过 RDMA 网络把全闪阵列以近本地时延挂给 GPU 节点。铭信 FX100 经 100GbE RoCEv2 实测：KV 读回性能超过本地 NVMe 单盘，TTFT 低 26–32%。
模型加载加速：从 23 分钟到 2.5 分钟的实测路径
模型加载受制于存储读带宽：NFS 方案下 70B 模型加载要 23 分钟。铭信 FX100 实测把 DeepSeek-70B 加载压到 150 秒（9.3×），32B 压到 112 秒（6.2×）。
上下文缓存（Context Caching）背后的存储技术
各大模型 API 的上下文缓存本质是 KV Cache 持久化复用：命中缓存的输入按折扣计价。自建推理平台用外置 KV 分层可获得同样机制，铭信实测吞吐 +29–40%。
显存不够怎么办：外置 KV 层的显存等效替代方法论
显存不足的出路有三：加卡、量化压缩、KV 外置。R5 七组对照实测表明外置 KV 层可等效替代 128GB 级显存驻留，成本远低于等量 HBM。
LMCache 生产化：从开源组件到签字级实测的工程实践
LMCache 是 vLLM 生态的开源 KV Cache 分层框架。铭信完成 ROCm 源码级编译适配并提交并行读补丁，实测 TTFT 改善 4.1×，代码以导出包形式可复现。