新聞分享
如欲分享新聞,請填寫收件人及閣下之電郵,再按「送出」。*必需填寫
收件者電郵*
請用分號「;」分隔不同電郵地址,例子:a@a.com;b@b.com
閣下之電郵*
分享內容
騰訊混元提出Stem稀疏注意力算法
為加速長文推理,騰訊混元提出Stem稀疏注意力算法,從「因果信息流」重新審視塊級稀疏,用Token位置衰減(TPD)和輸出感知度量(OAM)兩大創新,僅用25%算力就逼近稠密注意力的精度。配套的HPC...
重設
送出
視窗將於5秒內關閉
騰訊混元提出Stem稀疏注意力算法
關閉
AASTOCKS新聞
推薦
20
利好
21
利淡
11
 
 

為加速長文推理,騰訊混元提出Stem稀疏注意力算法,從「因果信息流」重新審視塊級稀疏,用Token位置衰減(TPD)和輸出感知度量(OAM)兩大創新,僅用25%算力就逼近稠密注意力的精度。配套的HPC算子庫則將這份理論加速比真正轉化為端到端的實測性能。

算子層面,HPC開源的Stem+BSA算子將稀疏收益轉化為真實硬件加速,128K上下文下首字延遲降低3.7倍。算法決定「省哪些計算」,算子決定「省下的計算能快多少」——兩者協同,構成從理論到部署的完整閉環。(jl/u)

相關內容《大行》招商證券:中國AI互聯網行業估值仍吸引 首選阿里、智譜、快手及歡聚

AASTOCKS新聞

AASTOCKS.com LIMITED 版權所有,不得轉載