華為AI模型量化相關(guān)專利公布,可減少模型占用的內(nèi)存
2025-02-07 10:35
近日,華為技術(shù)有限公司申請(qǐng)的“人工智能模型的量化方法、處理系統(tǒng)和量化單元”專利公布。專欄顯示,量化單元可以基于運(yùn)行AI模型的計(jì)算設(shè)備的各個(gè)計(jì)算單元的處理粒度,將量化矩陣分割成多個(gè)適用于各個(gè)計(jì)算單元的處理粒度的分塊量化矩陣。量化單元可以對(duì)分塊量化矩陣進(jìn)行量化處理,以得到量化后的分塊量化矩陣,并存儲(chǔ)在存儲(chǔ)器中,可以減少AI模型占用的內(nèi)存。
瀏覽
15評(píng)論
圖片
表情
視頻
全部評(píng)論
