SGLang 的前缀复用与外置 KV 层:能不能配合
SGLang 的 RadixAttention 在显存内做前缀树复用,命中效率高但容量受限于显存。外置 KV 分层解决的是「逐出后找回」,两者机制互补。铭信实测基于 vLLM 栈,SGLang 适配以实测回填。
RadixAttention 解决什么、不解决什么
SGLang 用基数树(radix tree)管理 KV 前缀,显存内命中即复用,对高重复前缀负载(批量结构化生成、多分支采样)效率很高——这是推理引擎层的优秀设计(公开资料口径)。
但它与 vLLM prefix caching 面对同一个物理约束:显存容量。会话规模一上来,树节点照样被逐出,逐出后回访仍是重算。外置分层解决的正是这一段——把「逐出即丢」变成「逐出可找回」(重算 vs 读回的实测差距见 R2:TTFT p50 149.5s vs 11.85s)。
如实说明实测边界
铭信当前签字级实测(R1–R4)基于 vLLM + LMCache 栈完成;SGLang 的分层缓存(HiCache 方向)与外置层对接属于同类架构,但我们没有 SGLang 平台的实测数字,不预支、不外推——这是本站数据纪律(口径四类之外的数字不写)。
对 SGLang 用户的可用结论:FX 阵列是标准 NVMe-oF 块设备,任何引擎的 SSD 下沉层都可对接;存储层的带宽与共享能力(R1/R3 实测锚点)与引擎无关。欢迎按 G1–G4 门禁流程做 SGLang 平台联测,数字以报告回填。
常见问题
vLLM 和 SGLang 该选哪个?
按负载选:通用服务与生态成熟度 vLLM 占优,结构化生成/多分支采样 SGLang 有设计优势。KV 外置层与两者都不冲突。
SGLang 有官方的外置缓存方向吗?
SGLang 社区有分层缓存(显存→内存→存储)方向的公开演进;具体特性以其官方文档为准,我们不代述。
为什么不直接给 SGLang 的性能数字?
因为我们没测过。本站铁律:只写有报告编号或可复现计算的数字。SGLang 联测排期可联系商务确认。
数据出处(可查证)
相关阅读
本站内容为商务合作信息展示,不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告(见证据库);厂商口径、公开口径、估算口径均如实标注。