LMCache 生产化：从开源组件到签字级实测的工程实践
直接答案
LMCache 是 vLLM 生态的开源 KV Cache 分层框架。铭信完成 ROCm 源码级编译适配并提交并行读补丁，实测 TTFT 改善 4.1×，代码以导出包形式可复现。
开源组件到生产还差什么
LMCache 上游以 CUDA 生态为主，在 ROCm/国产平台落地需要源码级编译与问题修复。铭信基于 2026-06-29 上游主线源码在 ROCm 7.2 完成编译适配（vLLM 0.20.1+rocm721），并在过程中定位了 fs:// 后端缺陷（R1/R8 记录）。
性能层面最关键的发现：默认串行读盘打不满阵列带宽。并行读补丁把单卡并发 16 冷读的带宽从 0.98 GB/s 提到 5.23 GB/s（5.3×），TTFT 从 37.97s 降到 9.30s（4.1×，R1）。
可复现是第一原则
补丁以 git patch + 修改前后全文提供，连同负载客户端、编排脚本、探针取证脚本与原始数据打包为代码导出包（R8），任何第三方可独立复现全部结论——这也是铭信区别于「PPT 性能」的核心方式。
480B 生产形态的系统级验证见 R2/R3：吞吐 +29–40%、TTFT 降 26–32%、两轮独立测量偏差 ≤5%。
常见问题
补丁会回馈上游社区吗？
会。并行读补丁以 PR/独立仓库形式回馈 LMCache 社区，同时保留导出包供直接取用（开源计划见 GitHub 组织页）。
vLLM 版本升级怎么办？
补丁面向 LMCache 存储后端接口，与 vLLM 版本弱耦合；铭信提供适配服务与回归测试脚本。
只用开源不买硬件行吗？
行——LMCache 是开源的，本地盘也能跑。外置阵列的增量价值是容量池化、跨实例共享与更高带宽（实测差距见 R2 本地盘对照组）。
数据出处（可查证）
R1FX100 大模型推理与训练 综合性能测试报告（AMD MI308X ×8）2026-07-03
下载报告 PDF ↓R2FX100 KV Cache 性能测试报告（480B·TP8 长上下文·正式版）2026-07-05
下载报告 PDF ↓R3FX100 KV Cache 性能测试汇总报告（480B·TP4×2·全指标·正式版）2026-07-06
下载报告 PDF ↓R8FX100-KVCache AMD 代码导出包 + KVCache 测试结果数据2026-07
联系我们获取 →相关阅读
本站内容为商务合作信息展示，不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告（见证据库）；厂商口径、公开口径、估算口径均如实标注。