算力租赁平台:用存储把单卡产出提上去
直接答案
算力租赁的隐性成本是切换空转:换模型、换租户时 GPU 在等加载。实测 FX100 下 20 次/小时切换档算力有效利用率从 46.7% 提至 62.8%。
多租户平台的空转账
租赁平台按卡时售卖,但租户切换模型时的加载时间是纯损耗。R1 建模实测:切换频率 20 次/小时档,NFS/慢存储下算力有效利用率仅 46.7%——一半算力在空转。
FX100 下同档位利用率提至 62.8%:单模型加载快 30%、8 卡并发加载墙钟快 16%(R1)。对以卡时计费的平台,这直接是可售库存的增加。
叠加 KV 分层的完整方案
切换加速解决「换得快」,KV 分层解决「回来快」:租户会话恢复免重算(8.6–20×,R2),平台可以把「上下文保持」做成增值服务——这正是各大 API 厂商上下文缓存计价的私有化版本。
配比锚点:每台 FX100 服务 8 节点;三档产品(FX100/200/300)按接口带宽与 IOPS 选型,满配参考价公开可查。
常见问题
利用率数字怎么核算的?
R1 用「模型切换有效词元产出率」建模:单位时间内实际产出 token 的算力占比,切换/加载时间为损耗项,报告含完整方法。
租户数据隔离怎么做?
权重池共享(同一开源模型只存一份)、KV 按租户命名空间隔离;块层加密与访问控制在商务阶段按需求配置。
平台异构(N 卡+国产卡混部)支持吗?
FX 是标准 NVMe-oF 目标端,与 GPU 型号解耦;软件适配层已覆盖 ROCm/昇腾/沐曦(R1/R5/R9)。
数据出处(可查证)
R1FX100 大模型推理与训练 综合性能测试报告(AMD MI308X ×8)2026-07-03
下载报告 PDF ↓R2FX100 KV Cache 性能测试报告(480B·TP8 长上下文·正式版)2026-07-05
下载报告 PDF ↓相关阅读
本站内容为商务合作信息展示,不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告(见证据库);厂商口径、公开口径、估算口径均如实标注。