3月26日|A股市場存儲芯片股集體下挫,其中,兆易創新、佰維存儲、恆爍股份跌超5%,江波龍、朗科科技、北京君正、太極實業、中電港跌超4%,普冉股份、同有科技、萬潤科技、科翔股份、精智達、雲漢芯城、聯芸科技跌超3%。
消息面上,谷歌發佈的新型AI內存壓縮技術TurboQuant,引發市場對存儲需求前景的擔憂。據稱,該技術可在不損失準確性的前提下,將大語言模型的緩存內存佔用至少減少6倍,並實現最高8倍的加速,旨在解決AI推理與向量搜索中的內存瓶頸問題。
不過摩根士丹利指出該技術僅作用於推理階段的鍵值緩存,不影響模型權重所佔用的高帶寬內存(HBM),也與訓練任務無關。因此,這並非存儲總需求或硬件總量減少6倍,而是通過效率提升增加單GPU吞吐量——相同硬件可支持4至8倍更長的上下文,或在不觸發內存溢出的前提下顯著提升批處理規模。摩根士丹利還提示,由於該壓縮技術可直接集成進平台基礎設施,對軟件層面可能形成邊際利空。
新聞來源 (不包括新聞圖片): 格隆匯