量子位· 思邈·· 18 小时前AI 评分38
是石科技发布 TokenFleet 分布式调度框架,P95 首 Token 延迟降低 32.4%
首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效
AI 导读
是石科技在 2026 CCF 全国高性能计算学术大会上发布 TokenFleet 分布式调度框架,聚焦请求路由、跨机房容量协同与混合负载治理。基于 GLM5.3 的调优数据显示,采用预测延迟路由后 P95 首 Token 延迟降低 32.4%、P50 降低 71.3%;流控协同调度使达标输出吞吐提高约 29.4%,达标比例从约 67% 升至约 86%。
来源:量子位 · qbitai.com