目錄：

1. cross entropy loss
2. weighted loss
3. focal loss
4. dice soft loss
5. soft iou loss
6. 總結

1、cross entropy loss

用于圖像語義分割任務的最常用損失函數(shù)是像素級別的交叉熵損失，這種損失會逐個檢查每個像素，將對每個像素類別的預測結果（概率分布向量）與我們的獨熱編碼標簽向量進行比較。

假設我們需要對每個像素的預測類別有5個，則預測的概率分布向量長度為5：

每個像素對應的損失函數(shù)為：

整個圖像的損失就是對每個像素的損失求平均值。

特別注意的是，binary entropy loss 是針對類別只有兩個的情況，簡稱 bce loss，損失函數(shù)公式為：

2、weighted loss

由于交叉熵損失會分別評估每個像素的類別預測，然后對所有像素的損失進行平均，因此我們實質(zhì)上是在對圖像中的每個像素進行平等地學習。如果多個類在圖像中的分布不均衡，那么這可能導致訓練過程由像素數(shù)量多的類所主導，即模型會主要學習數(shù)量多的類別樣本的特征，并且學習出來的模型會更偏向?qū)⑾袼仡A測為該類別。

FCN論文和U-Net論文中針對這個問題，對輸出概率分布向量中的每個值進行加權，即希望模型更加關注數(shù)量較少的樣本，以緩解圖像中存在的類別不均衡問題。

比如對于二分類，正負樣本比例為1: 99，此時模型將所有樣本都預測為負樣本，那么準確率仍有99%這么高，但其實該模型沒有任何使用價值。

為了平衡這個差距，就對正樣本和負樣本的損失賦予不同的權重，帶權重的二分類損失函數(shù)公式如下：

要減少假陰性樣本的數(shù)量，可以增大 pos_weight；要減少假陽性樣本的數(shù)量，可以減小 pos_weight。

3、focal loss

上面針對不同類別的像素數(shù)量不均衡提出了改進方法，但有時還需要將像素分為難學習和容易學習這兩種樣本。

容易學習的樣本模型可以很輕松地將其預測正確，模型只要將大量容易學習的樣本分類正確，loss就可以減小很多，從而導致模型不怎么顧及難學習的樣本，所以我們要想辦法讓模型更加關注難學習的樣本。

對于較難學習的樣本，將 bce loss 修改為：

其中的 通常設置為2。

舉個例子，預測一個正樣本，如果預測結果為0.95，這是一個容易學習的樣本，有 ，損失直接減少為原來的1/400。

而如果預測結果為0.4，這是一個難學習的樣本，有 ，損失減小為原來的1/4，雖然也在減小，但是相對來說，減小的程度小得多。

所以通過這種修改，就可以使模型更加專注于學習難學習的樣本。

而將這個修改和對正負樣本不均衡的修改合并在一起，就是大名鼎鼎的 focal loss：

4、dice soft loss

語義分割任務中常用的還有一個基于 Dice 系數(shù)的損失函數(shù)，該系數(shù)實質(zhì)上是兩個樣本之間重疊的度量。此度量范圍為 0~1，其中 Dice 系數(shù)為1表示完全重疊。Dice 系數(shù)最初是用于二進制數(shù)據(jù)的，可以計算為：

代表集合A和B之間的公共元素，并且 代表集合A中的元素數(shù)量（對于集合B同理）。

對于在預測的分割掩碼上評估 Dice 系數(shù)，我們可以將 近似為預測掩碼和標簽掩碼之間的逐元素乘法，然后對結果矩陣求和。

計算 Dice 系數(shù)的分子中有一個2，那是因為分母中對兩個集合的元素個數(shù)求和，兩個集合的共同元素被加了兩次。為了設計一個可以最小化的損失函數(shù)，可以簡單地使用 。這種損失函數(shù)被稱為 soft Dice loss，這是因為我們直接使用預測出的概率，而不是使用閾值將其轉(zhuǎn)換成一個二進制掩碼。

Dice loss是針對前景比例太小的問題提出的，dice系數(shù)源于二分類，本質(zhì)上是衡量兩個樣本的重疊部分。

對于神經(jīng)網(wǎng)絡的輸出，分子與我們的預測和標簽之間的共同激活有關，而分母分別與每個掩碼中的激活數(shù)量有關，這具有根據(jù)標簽掩碼的尺寸對損失進行歸一化的效果。

對于每個類別的mask，都計算一個 Dice 損失：

將每個類的 Dice 損失求和取平均，得到最后的 Dice soft loss。

下面是代碼實現(xiàn)：

def?soft_dice_loss(y_true,?y_pred,?epsilon=1e-6):?
????'''?
????Soft?dice?loss?calculation?for?arbitrary?batch?size,?number?of?classes,?and?number?of?spatial?dimensions.
????Assumes?the?`channels_last`?format.
??
????#?Arguments
????????y_true:?b?x?X?x?Y(?x?Z...)?x?c?One?hot?encoding?of?ground?truth
????????y_pred:?b?x?X?x?Y(?x?Z...)?x?c?Network?output,?must?sum?to?1?over?c?channel?(such?as?after?softmax)?
????????epsilon:?Used?for?numerical?stability?to?avoid?divide?by?zero?errors
????
????#?References
????????V-Net:?Fully?Convolutional?Neural?Networks?for?Volumetric?Medical?Image?Segmentation?
????????https://arxiv.org/abs/1606.04797
????????More?details?on?Dice?loss?formulation?
????????https://mediatum.ub.tum.de/doc/1395260/1395260.pdf?(page?72)
????????
????????Adapted?from?https://github.com/Lasagne/Recipes/issues/99#issuecomment-347775022
????'''
????
????#?skip?the?batch?and?class?axis?for?calculating?Dice?score
????axes?=?tuple(range(1,?len(y_pred.shape)-1))?
????numerator?=?2.?*?np.sum(y_pred?*?y_true,?axes)
????denominator?=?np.sum(np.square(y_pred)?+?np.square(y_true),?axes)
????
????return?1?-?np.mean(numerator?/?(denominator?+?epsilon))?#?average?over?classes?and?batch

5、soft IoU loss

前面我們知道計算 Dice 系數(shù)的公式，其實也可以表示為：

其中 TP 為真陽性樣本，F(xiàn)P 為假陽性樣本，F(xiàn)N 為假陰性樣本。分子和分母中的 TP 樣本都加了兩次。

IoU 的計算公式和這個很像，區(qū)別就是 TP 只計算一次：

和 Dice soft loss 一樣，通過 IoU 計算損失也是使用預測的概率值：

其中 C 表示總的類別數(shù)。

總結：

交叉熵損失把每個像素都當作一個獨立樣本進行預測，而 dice loss 和 iou loss 則以一種更“整體”的方式來看待最終的預測輸出。

這兩類損失是針對不同情況，各有優(yōu)點和缺點，在實際應用中，可以同時使用這兩類損失來進行互補。

參考：

An overview of semantic image segmentation.（https://www.jeremyjordan.me/semantic-segmentation/）

Loss Functions for Medical Image Segmentation（https://medium.com/@junma11/loss-functions-for-medical-image-segmentation-a-taxonomy-cefa5292eec0）

Losses for Image Segmentation（https://lars76.github.io/neural-networks/object-detection/losses-for-segmentation/）