<匯港通訊> 內地傳媒報道,騰訊(00700)旗下騰訊混元宣布,基於首個產業級2位元(bit)端側量化方案,正式推出一款面向消費級硬件場景的「極小」模型HY-1.8B-2Bit,等效參數量僅0.3B,記憶體佔用僅600MB,較常用的一些手機應用程式還小。
據介紹,通過對此前混元的小尺寸語言模型—HY-1.8B-Instruct進行2位元量化感知訓練(QAT)產出,這一模型對比原始精度模型等效參數量降低6倍,並且在沿用原模型全思考能力同時,在真實端側設備上對比原始精度模型生成速度提升2至3倍,可大幅提升使用體驗。
今次騰訊混元推出HY-1.8B-2Bit模型,可以在邊緣設備上無壓力部署,是首個在實現2位元產業級量化的端側模型實踐。 (ST)
#騰訊混元 (ST)
新聞來源 (不包括新聞圖片): 滙港資訊