铭信

铭信 FX 与 Mooncake:开源 KV 传输层与存储硬件的关系

直接答案

Mooncake 是开源的以 KVCache 为中心的分离式推理架构(传输引擎+存储接口);它定义了 KV 怎么流动,仍需高性能存储硬件承接下沉。铭信 FX 是这一层的国产选项。

Mooncake 解决什么问题

Mooncake 由月之暗面(Kimi)开源,核心是「以 KVCache 为中心」的 PD 分离架构:Transfer Engine 负责 KV 在 RDMA/NVMe 介质间的高速搬运,Mooncake Store 提供分布式 KV 存储接口,已进入 vLLM/SGLang 生态集成(公开资料口径)。它验证了一个行业判断:KV Cache 值得被当成集群级一等公民数据来管理。

铭信在这张图里的位置

Mooncake 是软件编排与传输层,KV 数据最终要落在物理介质上——大容量温冷层的承接正是 FX 阵列的角色:标准 NVMe-oF 块设备,Mooncake/LMCache/NIXL 任何下沉路径都能对接。

如实说明实测边界:铭信签字级实测(R1–R4)基于 vLLM+LMCache 栈;Mooncake 栈的对接属同类架构(NVMe-oF 目标端无差别),但无实测数字不预支,欢迎按 G1–G4 门禁联测回填。

可比的锚点:存储层本身的能力与上层框架无关——并行读带宽 5.23 GB/s/卡(R1)、跨实例共享验证(R3)、480B 冷恢复 TTFT p50 11.85s(R2)。

常见问题

用 Mooncake 还需要买阵列吗?

Mooncake Store 管理 KV 的逻辑层,物理容量仍需介质:显存/内存承接热层,大容量温冷层用全闪阵列在容量成本上占优(约 ¥2,014/TB)。

LMCache 和 Mooncake 选哪个?

vLLM 单集群起步 LMCache 更轻;大规模 PD 分离与跨引擎场景 Mooncake 生态更全。两者与 FX 硬件层都不冲突,按架构阶段选。

铭信会做 Mooncake 适配吗?

源码级适配是铭信的常规能力(ROCm/LMCache 先例见 R1/R8);具体排期按客户联测需求推进,数字以报告回填。

数据出处(可查证)

R1FX100 大模型推理与训练 综合性能测试报告(AMD MI308X ×8)2026-07-03
下载报告 PDF ↓
R2FX100 KV Cache 性能测试报告(480B·TP8 长上下文·正式版)2026-07-05
下载报告 PDF ↓
R3FX100 KV Cache 性能测试汇总报告(480B·TP4×2·全指标·正式版)2026-07-06
下载报告 PDF ↓
R8FX100-KVCache AMD 代码导出包 + KVCache 测试结果数据2026-07
联系我们获取 →

相关阅读

先联测、后决策:门禁化验收,不达标即止损

完整测算模型 NDA 后 Python 可复现,客户可自行改参数重算;本站所有关键数字附报告编号,接受任何第三方查证。

本站内容为商务合作信息展示,不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告(见证据库);厂商口径、公开口径、估算口径均如实标注。