铭信

SGLang 的前缀复用与外置 KV 层:能不能配合

直接答案

SGLang 的 RadixAttention 在显存内做前缀树复用,命中效率高但容量受限于显存。外置 KV 分层解决的是「逐出后找回」,两者机制互补。铭信实测基于 vLLM 栈,SGLang 适配以实测回填。

RadixAttention 解决什么、不解决什么

SGLang 用基数树(radix tree)管理 KV 前缀,显存内命中即复用,对高重复前缀负载(批量结构化生成、多分支采样)效率很高——这是推理引擎层的优秀设计(公开资料口径)。

但它与 vLLM prefix caching 面对同一个物理约束:显存容量。会话规模一上来,树节点照样被逐出,逐出后回访仍是重算。外置分层解决的正是这一段——把「逐出即丢」变成「逐出可找回」(重算 vs 读回的实测差距见 R2:TTFT p50 149.5s vs 11.85s)。

如实说明实测边界

铭信当前签字级实测(R1–R4)基于 vLLM + LMCache 栈完成;SGLang 的分层缓存(HiCache 方向)与外置层对接属于同类架构,但我们没有 SGLang 平台的实测数字,不预支、不外推——这是本站数据纪律(口径四类之外的数字不写)。

对 SGLang 用户的可用结论:FX 阵列是标准 NVMe-oF 块设备,任何引擎的 SSD 下沉层都可对接;存储层的带宽与共享能力(R1/R3 实测锚点)与引擎无关。欢迎按 G1–G4 门禁流程做 SGLang 平台联测,数字以报告回填。

常见问题

vLLM 和 SGLang 该选哪个?

按负载选:通用服务与生态成熟度 vLLM 占优,结构化生成/多分支采样 SGLang 有设计优势。KV 外置层与两者都不冲突。

SGLang 有官方的外置缓存方向吗?

SGLang 社区有分层缓存(显存→内存→存储)方向的公开演进;具体特性以其官方文档为准,我们不代述。

为什么不直接给 SGLang 的性能数字?

因为我们没测过。本站铁律:只写有报告编号或可复现计算的数字。SGLang 联测排期可联系商务确认。

数据出处(可查证)

R1FX100 大模型推理与训练 综合性能测试报告(AMD MI308X ×8)2026-07-03
下载报告 PDF ↓
R2FX100 KV Cache 性能测试报告(480B·TP8 长上下文·正式版)2026-07-05
下载报告 PDF ↓
R3FX100 KV Cache 性能测试汇总报告(480B·TP4×2·全指标·正式版)2026-07-06
下载报告 PDF ↓

相关阅读

先联测、后决策:门禁化验收,不达标即止损

完整测算模型 NDA 后 Python 可复现,客户可自行改参数重算;本站所有关键数字附报告编号,接受任何第三方查证。

本站内容为商务合作信息展示,不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告(见证据库);厂商口径、公开口径、估算口径均如实标注。