一、樣本不均衡的介紹

1.1 樣本不均衡現(xiàn)象

樣本（類(lèi)別）樣本不平衡（class-imbalance）指的是分類(lèi)任務(wù)中不同類(lèi)別的訓(xùn)練樣例數(shù)目差別很大的情況，一般地，樣本類(lèi)別比例（Imbalance Ratio）（多數(shù)類(lèi)vs少數(shù)類(lèi)）明顯大于1:1（如4：1）就可以歸為樣本不均衡的問(wèn)題。現(xiàn)實(shí)中，樣本不平衡是一種常見(jiàn)的現(xiàn)象，如：金融欺詐交易檢測(cè)，欺詐交易的訂單樣本通常是占總交易數(shù)量的極少部分，而且對(duì)于有些任務(wù)而言少數(shù)樣本更為重要。

1.2 不均衡的根本影響

很多時(shí)候我們遇到樣本不均衡問(wèn)題時(shí)，很直接的反應(yīng)就是去“打破”這種不平衡。但是樣本不均衡有什么影響？有必要去解決嗎？

具體舉個(gè)例子，在一個(gè)欺詐識(shí)別的案例中，好壞樣本的占比是1000：1，而如果我們直接拿這個(gè)比例去學(xué)習(xí)模型的話，因?yàn)槿舆M(jìn)去模型學(xué)習(xí)的樣本大部分都是好的，就很容易學(xué)出一個(gè)把所有樣本都預(yù)測(cè)為好的模型，而且這樣預(yù)測(cè)的概率準(zhǔn)確率還是非常高的。而模型最終學(xué)習(xí)的并不是如何分辨好壞，而是學(xué)習(xí)到了”好 遠(yuǎn)比 壞的多“這樣的先驗(yàn)信息，憑著這個(gè)信息把所有樣本都判定為“好”就可以了。這樣就背離了模型學(xué)習(xí)去分辨好壞的初衷了。

所以，樣本不均衡帶來(lái)的根本影響是：模型會(huì)學(xué)習(xí)到訓(xùn)練集中樣本比例的這種先驗(yàn)性信息，以致于實(shí)際預(yù)測(cè)時(shí)就會(huì)對(duì)多數(shù)類(lèi)別有側(cè)重（可能導(dǎo)致多數(shù)類(lèi)精度更好，而少數(shù)類(lèi)比較差）。

如下圖（示例代碼請(qǐng)見(jiàn)：github.com/aialgorithm)，類(lèi)別不均衡情況下的分類(lèi)邊界會(huì)偏向“侵占”少數(shù)類(lèi)的區(qū)域。更重要的一點(diǎn)，這會(huì)影響模型學(xué)習(xí)更本質(zhì)的特征，影響模型的魯棒性。

總結(jié)一下也就是，我們通過(guò)解決樣本不均衡，可以減少模型學(xué)習(xí)樣本比例的先驗(yàn)信息，以獲得能學(xué)習(xí)到辨別好壞本質(zhì)特征的模型。

1.3 判斷解決不均衡的必要性

從分類(lèi)效果出發(fā)，通過(guò)上面的例子可知，不均衡對(duì)于分類(lèi)結(jié)果的影響不一定是不好的，那什么時(shí)候需要解決樣本不均衡？

• 判斷任務(wù)是否復(fù)雜：復(fù)雜度 學(xué)習(xí)任務(wù)的復(fù)雜度與樣本不平衡的敏感度是成正比的（參見(jiàn)《Survey on deep learning with class imbalance》），對(duì)于簡(jiǎn)單線性可分任務(wù)，樣本是否均衡影響不大。需要注意的是，學(xué)習(xí)任務(wù)的復(fù)雜度是相對(duì)意義上的，得從特征強(qiáng)弱、數(shù)據(jù)噪音情況以及模型容量等方面綜合評(píng)估。

• 判斷訓(xùn)練樣本的分布與真實(shí)樣本分布是否一致且穩(wěn)定，如果分布是一致的，帶著這種正確點(diǎn)的先驗(yàn)對(duì)預(yù)測(cè)結(jié)果影響不大。但是，還需要考慮到，如果后面真實(shí)樣本分布變了，這個(gè)樣本比例的先驗(yàn)就有副作用了。

• 判斷是否出現(xiàn)某一類(lèi)別樣本數(shù)目非常稀少的情況，這時(shí)模型很有可能學(xué)習(xí)不好，類(lèi)別不均衡是需要解決的，如選擇一些數(shù)據(jù)增強(qiáng)的方法，或者嘗試如異常檢測(cè)的單分類(lèi)模型。

二、樣本不均衡解決方法

基本上，在學(xué)習(xí)任務(wù)有些難度的前提下，不均衡解決方法可以歸結(jié)為：通過(guò)某種方法使得不同類(lèi)別的樣本對(duì)于模型學(xué)習(xí)中的Loss（或梯度）貢獻(xiàn)是比較均衡的。以消除模型對(duì)不同類(lèi)別的偏向性，學(xué)習(xí)到更為本質(zhì)的特征。本文從數(shù)據(jù)樣本、模型算法、目標(biāo)（損失）函數(shù)、評(píng)估指標(biāo)等方面，對(duì)個(gè)中的解決方法進(jìn)行探討。

2.1 樣本層面

2.1.1欠采樣、過(guò)采樣

最直接的處理方式就是樣本數(shù)量的調(diào)整了，常用的可以：

• 欠采樣：減少多數(shù)類(lèi)的數(shù)量（如隨機(jī)欠采樣、NearMiss、ENN）。

• 過(guò)采樣：盡量多地增加少數(shù)類(lèi)的的樣本數(shù)量（如隨機(jī)過(guò)采樣、以及2.1.2數(shù)據(jù)增強(qiáng)方法），以達(dá)到類(lèi)別間數(shù)目均衡。

• 還可結(jié)合兩者做混合采樣（如Smote+ENN）。

  具體還可以參見(jiàn)【scikit-learn的imbalanced-learn.org/stable/user_guide.html以及github的awesome-imbalanced-learning】

2.1.2 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)（Data Augmentation）是在不實(shí)質(zhì)性的增加數(shù)據(jù)的情況下，從原始數(shù)據(jù)加工出更多數(shù)據(jù)的表示，提高原數(shù)據(jù)的數(shù)量及質(zhì)量，以接近于更多數(shù)據(jù)量產(chǎn)生的價(jià)值，從而提高模型的學(xué)習(xí)效果（其實(shí)也是過(guò)采樣的方法的一種。如下列舉常用的方法：

• 基于樣本變換的數(shù)據(jù)增強(qiáng)

樣本變換數(shù)據(jù)增強(qiáng)即采用預(yù)設(shè)的數(shù)據(jù)變換規(guī)則進(jìn)行已有數(shù)據(jù)的擴(kuò)增，包含單樣本數(shù)據(jù)增強(qiáng)和多樣本數(shù)據(jù)增強(qiáng)。單樣本增強(qiáng)(主要用于圖像)：主要有幾何操作、顏色變換、隨機(jī)擦除、添加噪聲等方法產(chǎn)生新的樣本，可參見(jiàn)imgaug開(kāi)源庫(kù)。

多樣本增強(qiáng)：是通過(guò)組合及轉(zhuǎn)換多個(gè)樣本，主要有Smote類(lèi)（可見(jiàn)imbalanced-learn.org/stable/references/over_sampling.html）、SamplePairing、Mixup等方法在特征空間內(nèi)構(gòu)造已知樣本的鄰域值樣本。

• 基于深度學(xué)習(xí)的數(shù)據(jù)增強(qiáng)

生成模型如變分自編碼網(wǎng)絡(luò)(Variational Auto-Encoding network, VAE)和生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)，其生成樣本的方法也可以用于數(shù)據(jù)增強(qiáng)。這種基于網(wǎng)絡(luò)合成的方法相比于傳統(tǒng)的數(shù)據(jù)增強(qiáng)技術(shù)雖然過(guò)程更加復(fù)雜, 但是生成的樣本更加多樣。

數(shù)據(jù)樣本層面解決不均衡的方法，需要關(guān)注的是：

• 隨機(jī)欠采樣可能會(huì)導(dǎo)致丟棄含有重要信息的樣本。在計(jì)算性能足夠下，可以考慮數(shù)據(jù)的分布信息（通常是基于距離的鄰域關(guān)系）的采樣方法，如ENN、NearMiss等。

• 隨機(jī)過(guò)采樣或數(shù)據(jù)增強(qiáng)樣本也有可能是強(qiáng)調(diào)（或引入）片面噪聲，導(dǎo)致過(guò)擬合。也可能是引入信息量不大的樣本。此時(shí)需要考慮的是調(diào)整采樣方法，或者通過(guò)半監(jiān)督算法(可借鑒Pu-Learning思路)選擇增強(qiáng)數(shù)據(jù)的較優(yōu)子集，以提高模型的泛化能力。

2.2 損失函數(shù)的層面

損失函數(shù)層面主流的方法也就是常用的代價(jià)敏感學(xué)習(xí)（cost-sensitive），為不同的分類(lèi)錯(cuò)誤給予不同懲罰力度（權(quán)重），在調(diào)節(jié)類(lèi)別平衡的同時(shí)，也不會(huì)增加計(jì)算復(fù)雜度。如下常用方法：

2.2.1 class weight

這最常用也就是scikit模型的’class weight‘方法，If ‘balanced’, class weights will be given by n_samples / (n_classes * np.bincount(y)). If a dictionary is given, keys are classes and values are corresponding class weights. If None is given, the class weights will be uniform.，class weight可以為不同類(lèi)別的樣本提供不同的權(quán)重（少數(shù)類(lèi)有更高的權(quán)重），從而模型可以平衡各類(lèi)別的學(xué)習(xí)。如下圖通過(guò)為少數(shù)類(lèi)做更高的權(quán)重，以避免決策偏重多數(shù)類(lèi)的現(xiàn)象（類(lèi)別權(quán)重除了設(shè)定為balanced，還可以作為一個(gè)超參搜索。示例代碼請(qǐng)見(jiàn)（github.com/aialgorithm）：

clf2 = LogisticRegression(class_weight={0:1,1:10}) # 代價(jià)敏感學(xué)習(xí)

2.2.2 OHEM 和 Focal Loss

In this work, we first point out that the class imbalance can be summarized to the imbalance in difficulty and the imbalance in difficulty can be summarized to the imbalance in gradient norm distribution.

——原文可見(jiàn)《Gradient Harmonized Single-stage Detector》

上文的大意是，類(lèi)別的不平衡可以歸結(jié)為難易樣本的不平衡，而難易樣本的不平衡可以歸結(jié)為梯度的不平衡。按照這個(gè)思路，OHEM和Focal loss都做了兩件事：難樣本挖掘以及類(lèi)別的平衡。（另外的有 GHM、 PISA等方法，可以自行了解）

• OHEM（Online Hard Example Mining）算法的核心是選擇一些hard examples（多樣性和高損失的樣本）作為訓(xùn)練的樣本，針對(duì)性地改善模型學(xué)習(xí)效果。對(duì)于數(shù)據(jù)的類(lèi)別不平衡問(wèn)題，OHEM的針對(duì)性更強(qiáng)。

• Focal loss的核心思想是在交叉熵?fù)p失函數(shù)（CE）的基礎(chǔ)上增加了類(lèi)別的不同權(quán)重以及困難（高損失）樣本的權(quán)重（如下公式），以改善模型學(xué)習(xí)效果。

2.3 模型層面

模型方面主要是選擇一些對(duì)不均衡比較不敏感的模型，比如，對(duì)比邏輯回歸模型（lr學(xué)習(xí)的是全量訓(xùn)練樣本的最小損失，自然會(huì)比較偏向去減少多數(shù)類(lèi)樣本造成的損失），決策樹(shù)在不平衡數(shù)據(jù)上面表現(xiàn)相對(duì)好一些，樹(shù)模型是按照增益遞歸地劃分?jǐn)?shù)據(jù)（如下圖），劃分過(guò)程考慮的是局部的增益，全局樣本是不均衡，局部空間就不一定，所以比較不敏感一些（但還是會(huì)有偏向性）。相關(guān)實(shí)驗(yàn)可見(jiàn)arxiv.org/abs/2104.02240。

解決不均衡問(wèn)題，更為優(yōu)秀的是基于采樣+集成樹(shù)模型等方法，可以在類(lèi)別不均衡數(shù)據(jù)上表現(xiàn)良好。

2.3.1采樣+集成學(xué)習(xí)

這類(lèi)方法簡(jiǎn)單來(lái)說(shuō)，通過(guò)重復(fù)組合少數(shù)類(lèi)樣本與抽樣的同樣數(shù)量的多數(shù)類(lèi)樣本，訓(xùn)練若干的分類(lèi)器進(jìn)行集成學(xué)習(xí)。

• BalanceCascade BalanceCascade基于Adaboost作為基分類(lèi)器，核心思路是在每一輪訓(xùn)練時(shí)都使用多數(shù)類(lèi)與少數(shù)類(lèi)數(shù)量上相等的訓(xùn)練集，然后使用該分類(lèi)器對(duì)全體多數(shù)類(lèi)進(jìn)行預(yù)測(cè)，通過(guò)控制分類(lèi)閾值來(lái)控制FP（False Positive）率，將所有判斷正確的類(lèi)刪除，然后進(jìn)入下一輪迭代繼續(xù)降低多數(shù)類(lèi)數(shù)量。

• EasyEnsemble EasyEnsemble也是基于Adaboost作為基分類(lèi)器，就是將多數(shù)類(lèi)樣本集隨機(jī)分成 N 個(gè)子集，且每一個(gè)子集樣本與少數(shù)類(lèi)樣本相同，然后分別將各個(gè)多數(shù)類(lèi)樣本子集與少數(shù)類(lèi)樣本進(jìn)行組合，使用AdaBoost基分類(lèi)模型進(jìn)行訓(xùn)練，最后bagging集成各基分類(lèi)器，得到最終模型。示例代碼可見(jiàn)：www.kaggle.com/orange90/ensemble-test-credit-score-model-example

通常，在數(shù)據(jù)集噪聲較小的情況下，可以用BalanceCascade，可以用較少的基分類(lèi)器數(shù)量得到較好的表現(xiàn)（基于串行的集成學(xué)習(xí)方法，對(duì)噪聲敏感容易過(guò)擬合）。噪聲大的情況下，可以用EasyEnsemble，基于串行+并行的集成學(xué)習(xí)方法，bagging多個(gè)Adaboost過(guò)程可以抵消一些噪聲影響。此外還有RUSB、SmoteBoost、balanced RF等其他集成方法可以自行了解。

2.3.2 異常檢測(cè)

類(lèi)別不平衡很極端的情況下（比如少數(shù)類(lèi)只有幾十個(gè)樣本），將分類(lèi)問(wèn)題考慮成異常檢測(cè)（anomaly detection）問(wèn)題可能會(huì)更好。異常檢測(cè)是通過(guò)數(shù)據(jù)挖掘方法發(fā)現(xiàn)與數(shù)據(jù)集分布不一致的異常數(shù)據(jù)，也被稱(chēng)為離群點(diǎn)、異常值檢測(cè)等等。無(wú)監(jiān)督異常檢測(cè)按其算法思想大致可分為幾類(lèi)：基于聚類(lèi)的方法、基于統(tǒng)計(jì)的方法、基于深度的方法(孤立森林)、基于分類(lèi)模型（one-class SVM）以及基于神經(jīng)網(wǎng)絡(luò)的方法（自編碼器AE）等等。

2.4 決策及評(píng)估指標(biāo)

本節(jié)關(guān)注的重點(diǎn)是，當(dāng)我們采用不平衡數(shù)據(jù)訓(xùn)練模型，如何更好決策以及客觀地評(píng)估不平衡數(shù)據(jù)下的模型表現(xiàn)。對(duì)于分類(lèi)常用的precision、recall、F1、混淆矩陣，樣本不均衡的不同程度，都會(huì)明顯改變這些指標(biāo)的表現(xiàn)。對(duì)于類(lèi)別不均衡下模型的預(yù)測(cè)，我們可以做分類(lèi)閾值移動(dòng)，以調(diào)整模型對(duì)于不同類(lèi)別偏好的情況（如模型偏好預(yù)測(cè)負(fù)樣本，偏向0，對(duì)應(yīng)的我們的分類(lèi)閾值也往下調(diào)整），達(dá)到?jīng)Q策時(shí)類(lèi)別平衡的目的。這里，通常可以通過(guò)P-R曲線，選擇到較優(yōu)表現(xiàn)的閾值。

對(duì)于類(lèi)別不均衡下的模型評(píng)估，可以采用AUC、AUPRC(更優(yōu))評(píng)估模型表現(xiàn)。AUC的含義是ROC曲線的面積，其數(shù)值的物理意義是：隨機(jī)給定一正一負(fù)兩個(gè)樣本，將正樣本預(yù)測(cè)分值大于負(fù)樣本的概率大小。AUC對(duì)樣本的正負(fù)樣本比例情況是不敏感，即使正例與負(fù)例的比例發(fā)生了很大變化，ROC曲線面積也不會(huì)產(chǎn)生大的變化。

小結(jié)

我們通過(guò)解決樣本不均衡，可以減少模型學(xué)習(xí)樣本比例的先驗(yàn)信息，以獲得能學(xué)習(xí)到辨別好壞本質(zhì)特征的模型。

可以將不均衡解決方法歸結(jié)為：通過(guò)某種方法使得不同類(lèi)別的樣本對(duì)于模型學(xué)習(xí)中的Loss（或梯度）貢獻(xiàn)是比較均衡的。具體可以從數(shù)據(jù)樣本、模型算法、目標(biāo)函數(shù)、評(píng)估指標(biāo)等方面進(jìn)行優(yōu)化，其中數(shù)據(jù)增強(qiáng)、代價(jià)敏感學(xué)習(xí)及采樣+集成學(xué)習(xí)是比較常用的，效果也是比較明顯的。其實(shí)，不均衡問(wèn)題解決也是結(jié)合實(shí)際再做方法選擇、組合及調(diào)整，在驗(yàn)證中調(diào)優(yōu)的過(guò)程。

如果覺(jué)得有用，就請(qǐng)分享到朋友圈吧！