RAG 知识库问答的推理加速：前缀复用的最佳场景

直接答案

RAG 问答每次都把检索到的文档段落塞进上下文，同一热门文档被反复 prefill——这是前缀复用收益最高的负载之一。外置 KV 层让热门文档的 KV 全集群算一次、处处命中。

RAG 负载的隐藏浪费

典型企业 RAG 的上下文构成：系统提示（全局相同）+ 检索文档段（热点集中）+ 用户问题（真正变化的部分）。前两段占上下文的大头且高度重复，但显存内 prefix caching 容量有限，热门文档的 KV 反复被逐出重算。

重算的代价有实测锚点：480B 模型长上下文 prefill 的重算基线 TTFT p50 达 149.5s（并发 16，R2）——RAG 场景上下文普遍上万 token，量级完全适用。

热门文档 KV 沉入外置池后：任意实例命中同一份（R3 跨实例共享验证）、保留窗口天级（知识库更新周期通常以天/周计，命中窗口完美匹配）、读回 TTFT 实测 11.85s vs 重算 149.5s（R2）。

知识库更新时按文档粒度失效对应 KV 块即可（前缀哈希内容寻址），无需全量清空。配套的吞吐收益实测带：+29–40%（R2/R3），RAG 高并发问答直接转化为同集群更高 QPS。

文档换页/改版后缓存怎么办？

内容寻址天然处理：文档变了哈希就变，旧 KV 自然不再命中并按 LRU 逐出；不存在读到陈旧缓存的问题。

检索结果每次不同，前缀还能命中吗？

能：命中按块粒度，检索出的每个文档段独立成块；只要该段落被再次检索到（热点文档必然如此），其 KV 即命中。

多少并发规模起收益明显？

实测带覆盖并发 8–32（R2 三档全面成立）；更小规模建议用自己的问答 trace 联测（G3 门禁 TTFT 降幅 ≥25% 验收）。

R2FX100 KV Cache 性能测试报告（480B·TP8 长上下文·正式版）2026-07-05

R3FX100 KV Cache 性能测试汇总报告（480B·TP4×2·全指标·正式版）2026-07-06