最新搜看股票
报价
| 返回 放大 + 缩小 - | ||||
|
智谱(02513.HK)落地ZCube组网架构 相同规模和配置硬件投入下算力多出15%
推荐 8 利好 9 利淡 5 AASTOCKS新闻
|
||||
|
||||
|
智谱(02513.HK)公布，针对PD分离部署中日益严峻的结构性网络拥塞难题，智谱、驭驯网络与清华大学开展联合攻关，提出并在线上生产环境落地ZCube组网架构。 在GLM-5.1 coding生产环境的基准测试中，ZCube实现纯粹靠架构调优带来的跨越，包括GPU、软件栈及应用保持不变，交换机与光模块资本支出减少33%；GPU平均推理吞吐提升15%；TTFT P99降低40.6%。 总结来说，对相同规模和配置的GPU及服务器硬件，在不修改任何应用的前提下，组网架构升级为ZCube之后，不但节省三分一的光模块和交换机硬件，而且集群每秒能多服务15%的推理请求。这在当前推理业务暴增、算力资源紧缺的背景下，显得非常具有实用价值。当前，该ZCube集群已稳定运行两周多，在GLM-5.1 coding推理服务中发挥着重要作用。(jl/da)AASTOCKS新闻 |
||||
已将连结复制到剪贴簿
 |
||||
