前缀缓存（Prefix Caching）：从显存内复用到集群级资产
直接答案
Prefix caching 让相同前缀（系统提示、文档、会话历史）的 KV 只算一次。显存内版本容量有限；外置分层把它扩展为集群级资产：跨实例共享、天级保留（R3 实测验证）。
前缀复用的价值与天花板
生产负载的前缀重复度远比直觉高：系统提示词全局相同、知识库文档被反复引用、多轮会话每轮都带全部历史。vLLM 的 prefix caching 按块哈希识别相同前缀，命中即跳过 prefill——这部分开源引擎免费送。
天花板在容量：显存里能留住的前缀以 GB 计，480B 模型单条长会话的 KV 就吃掉可观份额。并发一高，前缀块互相挤兑，命中率快速衰减——这不是算法问题，是介质容量问题。
扩展成集群级资产
外置分层把前缀缓存的介质从显存换成「显存+内存+全闪」三级：FX100 满配裸容量 184.3TB，前缀保留窗口从分钟级放宽到天级。命中路径实测：480B 冷恢复读回 TTFT p50 11.85s vs 重算 149.5s（R2）。
更关键的是共享：fs:// 共享池让集群内任意实例命中同一份前缀 KV（R3 验证）——新扩容的实例第一秒就带着全量缓存资产上线，这是显存内方案结构上做不到的。
常见问题
前缀命中率一般能到多少？
取决于负载：系统提示与知识库场景命中率高，一次性长尾问答低。无法一概而论，建议用真实 trace 联测（G3 门禁 TTFT 降幅 ≥25% 为验收线）。
前缀变了一个字怎么办？
按块粒度失配：变化点之后的块全部失效，之前的块照常命中。所以提示词工程上把稳定内容前置、可变内容后置，命中率更高。
和 API 厂商的 Context Caching 什么关系？
同一机制的两种商业形态：API 厂商按命中折扣计价，自建平台直接省算力。自建版实测吞吐 +29–40%（R2/R3）。
数据出处（可查证）
R2FX100 KV Cache 性能测试报告（480B·TP8 长上下文·正式版）2026-07-05
下载报告 PDF ↓R3FX100 KV Cache 性能测试汇总报告（480B·TP4×2·全指标·正式版）2026-07-06
下载报告 PDF ↓相关阅读
本站内容为商务合作信息展示，不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告（见证据库）；厂商口径、公开口径、估算口径均如实标注。