铭信

算力租赁平台:用存储把单卡产出提上去

直接答案

算力租赁的隐性成本是切换空转:换模型、换租户时 GPU 在等加载。实测 FX100 下 20 次/小时切换档算力有效利用率从 46.7% 提至 62.8%。

多租户平台的空转账

租赁平台按卡时售卖,但租户切换模型时的加载时间是纯损耗。R1 建模实测:切换频率 20 次/小时档,NFS/慢存储下算力有效利用率仅 46.7%——一半算力在空转。

FX100 下同档位利用率提至 62.8%:单模型加载快 30%、8 卡并发加载墙钟快 16%(R1)。对以卡时计费的平台,这直接是可售库存的增加。

叠加 KV 分层的完整方案

切换加速解决「换得快」,KV 分层解决「回来快」:租户会话恢复免重算(8.6–20×,R2),平台可以把「上下文保持」做成增值服务——这正是各大 API 厂商上下文缓存计价的私有化版本。

配比锚点:每台 FX100 服务 8 节点;三档产品(FX100/200/300)按接口带宽与 IOPS 选型,满配参考价公开可查。

常见问题

利用率数字怎么核算的?

R1 用「模型切换有效词元产出率」建模:单位时间内实际产出 token 的算力占比,切换/加载时间为损耗项,报告含完整方法。

租户数据隔离怎么做?

权重池共享(同一开源模型只存一份)、KV 按租户命名空间隔离;块层加密与访问控制在商务阶段按需求配置。

平台异构(N 卡+国产卡混部)支持吗?

FX 是标准 NVMe-oF 目标端,与 GPU 型号解耦;软件适配层已覆盖 ROCm/昇腾/沐曦(R1/R5/R9)。

数据出处(可查证)

R1FX100 大模型推理与训练 综合性能测试报告(AMD MI308X ×8)2026-07-03
下载报告 PDF ↓
R2FX100 KV Cache 性能测试报告(480B·TP8 长上下文·正式版)2026-07-05
下载报告 PDF ↓

相关阅读

先联测、后决策:门禁化验收,不达标即止损

完整测算模型 NDA 后 Python 可复现,客户可自行改参数重算;本站所有关键数字附报告编号,接受任何第三方查证。

本站内容为商务合作信息展示,不构成投资要约或任何收益承诺。实测数据均出自签字级/正式版测试报告(见证据库);厂商口径、公开口径、估算口径均如实标注。