最新搜看股票
报价
| 返回 放大 + 缩小 - | ||||
|
腾讯混元AI Infra推开源生产级高性能LLM推理核心算子库HPC-Ops 推理吞吐提升三成
推荐 10 利好 23 利淡 11 AASTOCKS新闻
|
||||
|
||||
|
腾讯(00700.HK)旗下大语言模型腾讯混元AI Infra团队宣布，推出开源生产级高性能LLM推理核心算子库HPC-Ops，基於生产环境痛点，采用CUDA和CuTe从零构建，通过抽象化工程架构、微架构深度适配及指令级极致优化等，降低底层算子开发门槛，将核心算子性能逼近硬件高峰，实现性能突破。 在真实场景下，基於HPC-Ops，混元模型推理QPM提升30%，DeepSeek模型QPM提升17%。同时，在单算子性能方面，HPC-Ops实现Attention相比FlashInfer / FlashAttention最高提升2.22 倍；GroupGEMM相比 DeepGEMM最高提升1.88倍；FusedMoE相比TensorRT-LLM最高提升1.49倍。(jl/w) AASTOCKS新闻 |
||||
已将连结复制到剪贴簿
 |
||||
