铭信

FS:// 共享池跨实例热共享：一机多服务形态下的 KV 复用

KV Cache存储加速LMCachevLLM

在多实例推理部署中，KV Cache 的复用效率直接决定了服务响应速度与硬件利用率。当同一台物理机上运行多个推理服务实例（如多个 vLLM 进程或不同模型的 LMCache 实例），每个实例独立维护自己的 KV 缓存，导致大量重复计算和显存浪费。更关键的是，当实例间需要共享上下文（如对话系统、多轮推理链），传统的本地缓存方案无法实现跨实例的实时复用，迫使系统频繁重算或从慢速存储（如 NFS）加载，显著拉长首 token 延迟（TTFT）。

这一问题在长上下文场景下尤为突出。以 480B 参数的 MoE 模型为例，单次 KV Cache 重算的 TTFT 可达 149.5 秒（R2 实测基线），即便采用本地 NVMe 缓存，跨实例共享仍需通过文件系统拷贝或网络传输，效率低下。如何构建一个低延迟、高吞吐的共享 KV 池，成为算力中心运维者必须面对的技术挑战。

存储加速：从本地缓存到共享池

传统的 KV Cache 复用方案依赖本地 NVMe 或 NFS 挂载。本地 NVMe 虽然延迟低（微秒级），但无法跨实例共享——每个服务实例只能访问自己的物理盘，导致显存利用率不均。NFS 虽能实现共享，但其协议栈开销大（通常毫秒级延迟），且并发写性能差，在密集推理场景下容易成为瓶颈。

铭信 FX100 全闪 NVMe-oF 阵列提供了一种折中路径：通过 RoCEv2 网络将多块 NVMe SSD 聚合为共享存储池（fs:// 路径），实例间通过统一的命名空间访问 KV Cache 文件。在 R2 实测中，FX100 在 4 盘 RAID0 配置下（14 TB，XFS），单口 100 GbE 带宽，实现了 KV 分层加速推理吞吐提升 29–40%（480B 模型，并发 8–16 档）。其核心优势在于：

  1. 低延迟网络访问：RoCEv2 将存储访问延迟压缩至数十微秒，接近本地 NVMe，但支持跨实例共享。
  2. 高并发写带宽：RAID0 聚合 4 盘吞吐，持续写带宽实测达 6.40 GB/s（R1 训练 Checkpoint 保存场景），满足多实例同时写入 KV Cache 的需求。
  3. 协议透明：vLLM 和 LMCache 可直接通过 POSIX 接口访问 fs:// 路径，无需修改应用代码。

跨实例 KV 复用的实测效果

在 R2 与 R3 测试中，FX100 的共享池方案在跨实例场景下展现了显著收益。测试平台为 8 × AMD MI308X（每卡 192 GB HBM），模型为 Qwen3-Coder-480B-FP8（权重 ≈450 GB），基线为本地 NVMe 单盘。

首 token 延迟（TTFT）：当两个 vLLM 实例共享同一 KV 池时，TTFT p50 从基线 10.17–35.73 秒降至 7.53–26.35 秒（降幅 26–32%）。更关键的是，在冷恢复场景（实例重启后需重新加载 KV Cache），FX100 的 TTFT 仅为 11.85 秒（并发 16），对比无外存重算基线的 149.5 秒，加速比达 12.6 倍。这意味着，当实例因故障或扩缩容需要重建 KV Cache 时，共享池可避免从零重算。

吞吐（Throughput）：在 TP4×2 全机口径下，FX100 实现吞吐提升 35–36%（R3 实测）。多实例并发写入 KV Cache 时，FX100 的持续写带宽达 6.40 GB/s（R1 实测），较本地 NVMe 单盘的 3.26 GB/s 提升 96%。这一带宽优势直接转化为更高的 KV 命中率——当实例 A 写入的 KV 被实例 B 即时读取时，共享池消除了网络拷贝延迟。

模型加载加速：在华为 Atlas 910B 平台（R9 实测），FX100 将 DeepSeek-70B 的服务加载时间从 NFS 基线的 1399 秒缩短至 150 秒（9.3 倍加速）。对于多实例场景，这意味着新实例启动时间从分钟级降至秒级，大幅提升资源弹性调度的效率。

工程实践要点

实现 fs:// 共享池跨实例热共享，需关注以下工程细节：

  1. 网络拓扑：RoCEv2 要求端到端无损网络（PFC + ECN 配置），建议将 FX100 阵列与计算节点部署在同一二层网络，避免跨交换机转发引入延迟抖动。测试中单口 100 GbE 已满足 480B 模型的 KV 读写需求，但若实例数超过 4 个，建议启用双口绑定（LACP）以提升带宽。

  2. 文件系统选择：XFS 在大文件顺序读写场景表现优异（R2 实测），但若 KV Cache 文件频繁随机读写（如多实例同时更新不同块），可评估 ext4 或 btrfs 的差异。建议每个实例分配独立子目录，避免文件锁冲突。

  3. 缓存策略：LMCache 支持基于 LRU 的本地缓存，但跨实例共享时需注意一致性——若实例 A 修改了 KV 文件，实例 B 需通过 inotify 或轮询机制感知变化。在 R1 测试中，LMCache 并行读补丁将 TTFT 改善 4.1 倍（Qwen2.5-32B），但该补丁尚未正式合并到上游主线，生产部署需自行维护。

  4. 容量规划：480B 模型单次推理的 KV Cache 约 2–4 GB（取决于序列长度），若支持 1000 个并发会话，需预留 2–4 TB 共享空间。FX100 满配 14 TB（4 盘 RAID0）可满足多数场景，但若实例数超过 8 个，建议扩展至 8 盘（28 TB）并启用 RAID10 以提升随机读性能。

结语

跨实例 KV 复用是提升算力中心推理效率的关键技术路径。铭信 FX100 全闪 NVMe-oF 阵列通过 RoCEv2 共享池，在 480B 模型实测中实现 TTFT 降低 26–32%、吞吐提升 29–40%，同时将模型加载时间缩短至 NFS 基线的 1/9。对于正在优化多实例推理部署的团队，建议通过门禁化联测（约 10 周）验证实际收益——铭信提供 G1 到货验收至 G4 稳定性测试的标准化流程，支持 NDA 后 Python 可复现测算。欢迎联系获取测试镜像与配置模板。

本文由铭信 AI 内容引擎生成并经自动质检；关键数字均注明出处（实测报告见证据库）。如需交流或指正，欢迎联系我们。