神經(jīng)網(wǎng)絡(luò)壓縮方法：模型量化的概念簡介

共 3807字，需瀏覽 8分鐘

2022-01-04 18:09

來源：DeepHub IMBA
本文約3200字，建議閱讀6分鐘?
本文為你介紹如何使用量化的方法優(yōu)化重型深度神經(jīng)網(wǎng)絡(luò)模型。

在過去的十年中，深度學(xué)習(xí)在解決許多以前被認(rèn)為無法解決的問題方面發(fā)揮了重要作用，并且在某些任務(wù)上的準(zhǔn)確性也與人類水平相當(dāng)甚至超過了人類水平。如下圖所示，更深的網(wǎng)絡(luò)具有更高的準(zhǔn)確度，這一點(diǎn)也被廣泛接受并且證明。

使用更深層次的網(wǎng)絡(luò)模型追求人類級(jí)別的準(zhǔn)確性會(huì)帶來一系列挑戰(zhàn)，例如：

更長的推理時(shí)間
更高的計(jì)算要求
更長的訓(xùn)練時(shí)間

高計(jì)算量的深度模型需要較長訓(xùn)練時(shí)間，對(duì)于線下訓(xùn)練還是可以接受的，因?yàn)橛?xùn)練通常進(jìn)行一次或以固定的時(shí)間間隔進(jìn)行，但在高吞吐量生產(chǎn)環(huán)境中進(jìn)行線上部署變得極其困難。在這種情況下模型壓縮技術(shù)變得至關(guān)重要，因?yàn)閴嚎s能夠在不影響準(zhǔn)確性的情況下減少龐大模型的占用空間。這篇介紹性文章將討論可用于優(yōu)化重型深度神經(jīng)網(wǎng)絡(luò)模型的不同技術(shù)。

模型壓縮方法

目前用于現(xiàn)代深度學(xué)習(xí)的模型壓縮的主流方法有三個(gè)：

基于量化的方法：量化涉及使用較低精度的數(shù)據(jù)類型來存儲(chǔ)模型權(quán)重和執(zhí)行計(jì)算（例如：8 位整數(shù)而不是 32 位浮點(diǎn)數(shù)）。

模型剪枝：模型修剪涉及清除對(duì)模型性能的貢獻(xiàn)較小的神經(jīng)元或某些神經(jīng)元之間的連接。剪枝之所以有效是因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)本質(zhì)上是稀疏的，正如 Frankle 等人在他們的論文 The Lottery Ticket Hypothesis：Finding Sparse, Trainable Neural Networks 中所描述的那樣。

知識(shí)蒸餾：這種方法訓(xùn)練一個(gè)小模型來模擬更大、更準(zhǔn)確的預(yù)訓(xùn)練模型的軟標(biāo)簽。

軟標(biāo)簽允許學(xué)生模型很好地泛化，因?yàn)檐洏?biāo)簽代表了更高級(jí)別的抽象和對(duì)不同類別相似性的理解，而不是峰值的獨(dú)熱編碼表示。

在以下部分中，我們?cè)敿?xì)介紹模型量化，這是最廣泛使用的模型壓縮形式。

什么是量化？

根據(jù)定義，量化是將值從大集合映射到較小集合的過程，其目標(biāo)是在轉(zhuǎn)換中具有最少的信息損失。這個(gè)過程被廣泛應(yīng)用于各個(gè)領(lǐng)域，包括信號(hào)處理、數(shù)據(jù)壓縮、信號(hào)轉(zhuǎn)換等等。

量化應(yīng)用于連續(xù)模擬信號(hào)，通過采樣和四舍五入到最接近的可表示量化值將它們轉(zhuǎn)換為離散數(shù)字信號(hào)。

浮點(diǎn)數(shù)表示

1985 年創(chuàng)建的 IEEE 754 標(biāo)準(zhǔn)是現(xiàn)代計(jì)算機(jī)中浮點(diǎn)值二進(jìn)制表示的技術(shù)標(biāo)準(zhǔn)。根據(jù) IEEE 754，定義了可用于表示浮點(diǎn)數(shù)的級(jí)別，范圍從 16 位（半精度）到 256 位（八位精度）。浮點(diǎn)數(shù)的表示包括三個(gè)部分：符號(hào)位、有效數(shù)（小數(shù)）和指數(shù)位。

這些二進(jìn)制形式的值被連接起來以表示內(nèi)存中的數(shù)字。下圖描述了 32 位精度浮點(diǎn)數(shù)的表示：

對(duì)于離散整數(shù)表示，我們最多可以使用 n 位表示 2^n 個(gè)不同的數(shù)字。使用浮點(diǎn)表示法使我們能夠在數(shù)軸上表示更大范圍的數(shù)字，如下圖所示：

還需要注意的是不同精度的浮點(diǎn)數(shù)使用不同的位來表示指數(shù)位和有效位，因此所表示的范圍也有所不同。下表顯示了數(shù)據(jù)類型 FP32、FP16 和 INT8 表示的范圍和最小值。

量化操作

可表示范圍的方差對(duì)不同數(shù)據(jù)類型中固定值的表示是有影響的。以??的數(shù)值為例，該值隨表示它的不同數(shù)據(jù)類型而變化。

從表中可以明顯看出，將數(shù)字從較高精度的數(shù)據(jù)類型直接轉(zhuǎn)換為較低精度的數(shù)據(jù)類型可能會(huì)導(dǎo)致值的表示誤差。這些誤差稱為量化誤差。在深度神經(jīng)網(wǎng)絡(luò)中出現(xiàn)此類誤差可能造成嚴(yán)重的后果的，因此將模型直接類型轉(zhuǎn)換為較低的精度并非易事。我們將在本節(jié)討論最小化此類誤差的方法。

理論上我們可以使用 n 位表示最多 2^n 個(gè)不同的值。由于鴿巢原理（pigeonhole principle，狄利克雷抽屜原理），由較高精度數(shù)據(jù)類型表示的整個(gè)范圍映射到較低精度數(shù)據(jù)類型必然會(huì)增加量化誤差。但是如果我們知道要先驗(yàn)轉(zhuǎn)換的分布的知識(shí)，那么它能被用來最小化誤差嗎?

從FP32到INT8 的代表性映射。

FP32 可以表示介于 3.4 * 103? 和 -3.4 * 103? 之間的范圍。但是大多數(shù)深度網(wǎng)絡(luò)模型的權(quán)重在它們的權(quán)重和激活方面沒有如此大的變化。如果我們事先知道或可以估計(jì)我們的輸入范圍，我們就可以確定我們輸入數(shù)據(jù)的范圍（而不是整個(gè) FP32 范圍）與較低精度數(shù)據(jù)類型的整個(gè)范圍之間的關(guān)系，這就可以使映射變得更優(yōu)化。

讓我們假設(shè)輸入數(shù)據(jù)的分布范圍是先驗(yàn)已知的，并以從浮點(diǎn)集（FP32）到整數(shù)（INT8）的轉(zhuǎn)換為例討論轉(zhuǎn)換過程。

深度學(xué)習(xí)中的量化

現(xiàn)在讓我們介紹一下量化在深度學(xué)習(xí)中的應(yīng)用。在深度神經(jīng)網(wǎng)絡(luò)中模型參數(shù)存儲(chǔ)為浮點(diǎn)值，模型的前向纏脖涉及一系列浮點(diǎn)運(yùn)算。所以對(duì)于深度學(xué)習(xí)量化是指對(duì)精度要求較低的數(shù)據(jù)類型中的權(quán)重和激活進(jìn)行量化，如下圖所示。

偏置層沒有量化嗎？在實(shí)踐中，偏置層通常從浮點(diǎn)數(shù)量化到 INT32 精度，而不是降低到 INT8 精度，因?yàn)槠玫臄?shù)量比權(quán)重/卷積層少得多。使用更大尺寸的 INT32 對(duì)深度神經(jīng)網(wǎng)絡(luò)模型的體量來說是微不足道的。

量化權(quán)重向量

在實(shí)踐中這是一個(gè)簡單的步驟，因?yàn)槲覀兺ǔ？梢钥吹侥Ｐ偷臋?quán)重并且在量化給定層的情況下，權(quán)重可以用作先驗(yàn)。我們觀察到神經(jīng)網(wǎng)絡(luò)權(quán)值的分布通常在一個(gè)很小的范圍內(nèi)，非常接近于0。下圖顯示了Alexnet模型和MobileNet v1模型中一些卷積和全連接層的權(quán)重分布。這個(gè)有限的范圍使得映射到較低精度的數(shù)據(jù)類型更不容易出現(xiàn)量化誤差。

量化激活

與模型的權(quán)重不同，神經(jīng)網(wǎng)絡(luò)層的激活根據(jù)提供給模型的輸入數(shù)據(jù)而變化，并且為了估計(jì)激活范圍，需要一組具有代表性的輸入數(shù)據(jù)樣本。因此量化激活是一個(gè)依賴于數(shù)據(jù)的過程，需要額外的數(shù)據(jù)來校準(zhǔn)神經(jīng)網(wǎng)絡(luò)層的輸出。我們可以使用不同的方法來確定比例因子和模型權(quán)重和激活的零點(diǎn)，我們將在下一節(jié)中討論。

量化類型

Pytorch、Tensorflow 等現(xiàn)代深度學(xué)習(xí)框架都支持不同類型的量化。我們可以將量化算法分類成兩大類：

訓(xùn)練后量化：在模型完全訓(xùn)練后執(zhí)行
量化感知訓(xùn)練：訓(xùn)練是在量化約束下完成的

1）訓(xùn)練后量化

在這種方法中，量化是在模型完全訓(xùn)練后執(zhí)行的。由于權(quán)重在訓(xùn)練后是固定的權(quán)重的映射很容易計(jì)算，因?yàn)閷拥募せ钪蹈鶕?jù)傳遞的輸入張量而變化，所以在訓(xùn)練后計(jì)算激活范圍就比較麻煩，這里有兩種處理方法：

a) 動(dòng)態(tài)訓(xùn)練后量化：

這涉及根據(jù)運(yùn)行時(shí)輸入到模型的數(shù)據(jù)分布，在推理過程中動(dòng)態(tài)微調(diào)激活范圍。這種方法最容易實(shí)現(xiàn)，因?yàn)榱炕恍枰~外的步驟。由于不需要額外的數(shù)據(jù)，這種方法最適合難以生成詳盡數(shù)據(jù)分布的情況——例如：序列到序列模型。但是在運(yùn)行時(shí)使用指數(shù)移動(dòng)平均線來估計(jì)激活范圍會(huì)增加模型延遲。

b) 靜態(tài)訓(xùn)練后量化：

這種方法會(huì)涉及額外的校準(zhǔn)步驟，例如使用代表性數(shù)據(jù)集來估計(jì)使數(shù)據(jù)集變化的激活范圍。為保證最大程度地減少誤差，這種估計(jì)會(huì)以全精度數(shù)據(jù)進(jìn)行，然后將激活按比例縮小到較低精度的數(shù)據(jù)類型。由于在運(yùn)行期間的推理過程中沒有進(jìn)行額外的計(jì)算，因此這種方法生成的模型速度最快（延遲最少）。

使用訓(xùn)練后量化的主要優(yōu)點(diǎn)是不需要在整個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練，8 位或 16 位量化可以應(yīng)用于任何現(xiàn)有的預(yù)訓(xùn)練模型。像 Pytorch 和 Tensorflow 這樣的現(xiàn)代深度學(xué)習(xí)框架對(duì)這些方法都有官方實(shí)現(xiàn)。但是這種策略會(huì)由于量化誤差而導(dǎo)致一些（通常是輕微的）精度損失。這些誤差可以在訓(xùn)練過程中通過使用一個(gè)技巧來進(jìn)一步減輕，我們將在下一節(jié)討論。

2）量化感知訓(xùn)練

量化感知訓(xùn)練 (QAT) 試圖解決由于模型訓(xùn)練過程中的量化誤差而導(dǎo)致的精度損失的問題。在前向傳遞中QAT 在權(quán)重和激活計(jì)算期間復(fù)制量化行為，而損失計(jì)算和損失的反向傳播保持不變（保持更高的精度）。這個(gè)想法是由 Jacob等人提出的。

使用 QAT，所有模型權(quán)重和激活在前向傳遞期間都被“偽量化”：也就是說浮點(diǎn)值被四舍五入以模擬較低精度（通常是 int8）值，但所有其他計(jì)算仍然使用浮點(diǎn)數(shù)完成。由于訓(xùn)練過程中的所有權(quán)重調(diào)整都是在“意識(shí)到”模型最終會(huì)被量化的情況下進(jìn)行的，因此在量化之后這種方法通常會(huì)產(chǎn)生比其他方法更高的準(zhǔn)確率，并且訓(xùn)練后的量化模型與全精度相比幾乎無損。

自動(dòng)混合精度量化

作為QAT的擴(kuò)展，在某些情況下仍不可能將某些層的輸入域的整個(gè)范圍完全擬合到較低精度的量化范圍中。這種情況下使用更高的精度值保留這些層是有益的。隨著自動(dòng)混合精度訓(xùn)練的引入這一問題在很大程度上得到了解決，自動(dòng)混合精度訓(xùn)練涉及到在訓(xùn)練時(shí)間內(nèi)根據(jù)層的激活范圍來確定單個(gè)層的量化，并且對(duì)模型的精度沒有影響。

量化類型的總結(jié)

下表從數(shù)據(jù)集需求和涉及的權(quán)衡方面總結(jié)了上面的討論。

可概括為以下流程圖:

模型的基準(zhǔn)測(cè)試

在本節(jié)中，我們將研究這些量化方法在各種實(shí)際模型中的影響。正如預(yù)期的那樣，我們看到量化感知訓(xùn)練(QAT)在準(zhǔn)確性和延遲方面比訓(xùn)練后量化表現(xiàn)得更好。經(jīng)過量化后大多數(shù)模型的精度都有小幅下降，但從整體上看延遲的改善可能掩蓋了實(shí)際應(yīng)用中性能的小幅下降。

CNN 模型對(duì)比

BERT模型對(duì)比

各種類型的量化速度對(duì)比

總結(jié)

在這篇文章中我們討論了各種量化方法，這些方法可用于壓縮深度神經(jīng)網(wǎng)絡(luò)，同時(shí)對(duì)模型的準(zhǔn)確性影響最小。我們經(jīng)常使用包括量化在內(nèi)的各種技術(shù)來優(yōu)化我們的模型。量化作為常用的模型壓縮方式，在生產(chǎn)環(huán)境中得到了廣泛的應(yīng)用。

編輯：于騰凱

校對(duì)：李敏

點(diǎn)贊

評(píng)論

舉報(bào)