醫(yī)學(xué)影像分割是醫(yī)學(xué)影像分析中的重要領(lǐng)域，也是計算機(jī)輔助診斷、監(jiān)視、干預(yù)和治療所必需的一環(huán)，其關(guān)鍵任務(wù)是對醫(yī)學(xué)影像中感興趣的對象（例如器官或病變）進(jìn)行分割，可以為疾病的精準(zhǔn)識別、詳細(xì)分析、合理診斷、預(yù)測與預(yù)防等方面提供非常重要的意義和價值。

在醫(yī)學(xué)影像分割任務(wù)中，目前主要存在以下幾個難點：

1. 標(biāo)注數(shù)據(jù)少。造成該問題的一個重要的原因是收集標(biāo)注困難，手工標(biāo)注醫(yī)學(xué)影像是一個費時費力的過程，而這個標(biāo)注過程在實際的臨床實踐中可能并不需要。

2. 傳感器噪聲或偽影?，F(xiàn)代醫(yī)學(xué)影像最基本的成像模態(tài)有 X 光、超聲、CT 和 MRI 等，用于成像的醫(yī)學(xué)設(shè)備會存在物理噪聲和圖像重建誤差，而醫(yī)學(xué)影像模態(tài)和成像參數(shù)設(shè)定的差別則會造成不同大小的偽影。

3. 分割目標(biāo)形態(tài)差異大。患者之間存在高矮胖瘦等體型差異，且病變的大小、形狀和位置可能存在巨大差異，因此解剖結(jié)構(gòu)上會有差異。不同的分割部位也存在差異，往往需要不同的算法，有時還需要考慮到先驗知識的加入。

4. 組織邊界信息弱。人體內(nèi)部的一些器官都是具有相似特征的軟組織，它們相互接觸且邊界信息非常弱，而胰腺腫瘤、肝腫瘤、腎臟腫瘤等邊界不清楚的腫瘤往往還非常小，導(dǎo)致很難被識別到。

▍二、基于 U-Net 的醫(yī)學(xué)影像分割算法

U-Net 是醫(yī)學(xué)影像分割領(lǐng)域著名的一個網(wǎng)絡(luò)架構(gòu)，在 2015 年由 Ronneberger等人參加 ISBI Challenge 提出的一種基于 FCN 的分割網(wǎng)絡(luò)。經(jīng)過修改和擴(kuò)展后的 U-Net 能夠適應(yīng)很小的訓(xùn)練集，并且輸出更加精確的分割結(jié)果。U-Net 的上采樣過程中依然有大量通道，這使得網(wǎng)絡(luò)將上下文信息向更高分辨率傳播，且其擴(kuò)展路徑與收縮路徑對稱，形成了一個 U 型的形狀段，并通過跳躍連接的方式融合來自不同階段的特征圖。

圖1 U-Net 網(wǎng)絡(luò)架構(gòu)

當(dāng)面對醫(yī)學(xué)影像分割任務(wù)時，U-Net 這種擴(kuò)展路徑和收縮路徑所組成的編碼—解碼的網(wǎng)絡(luò)架構(gòu)成為了首選，同時發(fā)展出很多變體。

2

加入密集連接的 U-Net 算法

密集連接的思想來自于 DenseNet，在 DenseNet 出現(xiàn)之前，卷積神經(jīng)網(wǎng)絡(luò)的進(jìn)化一般通過層數(shù)的加深或者加寬進(jìn)行，DenseNet 通過對特征的復(fù)用提出了一種新的結(jié)構(gòu)，不但減緩了梯度消失的現(xiàn)象同時模型的參數(shù)量也更少。U-Net++ 網(wǎng)絡(luò)架構(gòu)在 2018 年被 Zhou 等人提出，創(chuàng)新點在于將密集連接加入 U-Net 網(wǎng)絡(luò)，從而引入深度監(jiān)督的思想，并通過重新設(shè)計的跳躍連接路徑把不同尺寸的U-Net 結(jié)構(gòu)融入到了一個網(wǎng)絡(luò)里。在原始的U-Net網(wǎng)絡(luò)架構(gòu)上，UNet++ 加入了更多的跳躍連接路徑和上采樣卷積塊，用于彌補(bǔ)編碼器和解碼器之間的語義鴻溝。中間隱藏層使用的深度監(jiān)督一方面可以解決 U-Net++ 網(wǎng)絡(luò)訓(xùn)練時的梯度消失問題，另一方面允許網(wǎng)絡(luò)在測試的階段進(jìn)行剪枝，減少模型的推斷時間。

圖2 U-Net++網(wǎng)絡(luò)架構(gòu)

U-Net++ 網(wǎng)絡(luò)架構(gòu)的第一個優(yōu)勢就是精度的提升，這是由于它整合了不同層次的特征，第二個是靈活的網(wǎng)絡(luò)結(jié)構(gòu)配合深度監(jiān)督，讓參數(shù)量巨大的深度神經(jīng)網(wǎng)絡(luò)在可接受的精度范圍內(nèi)大幅度地縮減參數(shù)量。但是因為多次跳躍連接操作，同樣的數(shù)據(jù)在網(wǎng)絡(luò)中會存在多個復(fù)制，模型訓(xùn)練時的顯存占用相對較高，需要采用一些顯存優(yōu)化技術(shù)來更好地訓(xùn)練模型。

3

融合殘差思想的 U-Net 算法

神經(jīng)網(wǎng)絡(luò)因為寬度和深度的增加，會面臨梯度消失或梯度爆炸引起的網(wǎng)絡(luò)退化問題，為此 He 等人提出了殘差網(wǎng)絡(luò)（ResNet）。殘差塊的輸入通過殘差路徑直接疊加到殘差塊的輸出之中，殘差塊會嘗試去學(xué)習(xí)并擬合殘差以保證增加的網(wǎng)絡(luò)層數(shù)不會削弱網(wǎng)絡(luò)的表達(dá)性能。

圖3 ResNet 殘差學(xué)習(xí)塊

2019年 Ibtehaz 等人提出了 MultiResUNet 網(wǎng)絡(luò)，MultiResUNet 運(yùn)用殘差思想改造了 U-Net 中的卷積塊和跳躍連接。MultiResNet 使用一系列 3×3 卷積核來模擬 5×5 卷積核和 7×7 卷積核的感受野，卷積塊的輸入經(jīng)過 1×1 卷積核后經(jīng)由殘差路徑直接與卷積后的輸入疊加，作者稱之為 MultiResblock，在減少網(wǎng)絡(luò)計算量的同時可以提取不同尺度的空間特征。作者同時提出了 ResPath 來減少跳躍連接過程中所丟失的空間信息，ResPath 由一系列的 3×3 卷積、1×1卷積和殘差路徑組成，編碼器的輸入特征圖經(jīng)過 ResPath 與解碼器特征圖連接，一方面減少了語義鴻溝，另一方面增強(qiáng)了網(wǎng)絡(luò)的學(xué)習(xí)能力。

圖4 MultiResUNet 網(wǎng)絡(luò)架構(gòu)

圖5 MultiResUNet 的 MultiRes block 和 Res Path

4

集成注意力機(jī)制的 U-Net 算法

注意力機(jī)制借鑒了人類的注意力思維方式，最初被應(yīng)用于基于 RNN 循環(huán)神經(jīng)網(wǎng)絡(luò)模型的圖像分類、自然語言處理等深度學(xué)習(xí)任務(wù)中并取得了顯著成果。2018年 Oktay 等人提出了 Attention U-Net 網(wǎng)絡(luò)架構(gòu)。AttentionU-Net 在對擴(kuò)展路徑每個階段上的特征圖與收縮路徑中對應(yīng)特征圖進(jìn)行拼接之前，使用了一個注意力門抑制無關(guān)區(qū)域中的特征激活來提高模型的分割準(zhǔn)確性，在達(dá)到高分割精度的同時而無需額外的定位模塊。與 U-Net 和相比，AttentionU-Net 在胰腺和腹部多器官分割數(shù)據(jù)集上，提升了分割的精度，同時減少了模型訓(xùn)練和推理的時間。

圖6 Attention U-Net網(wǎng)絡(luò)架構(gòu)

5

面向 3D 影像的 U-Net 算法

3D U-Net 網(wǎng)絡(luò)架構(gòu)是原始 U-Net 網(wǎng)絡(luò)架構(gòu)的一個簡單擴(kuò)展，由 U-Net 的研究團(tuán)隊在 2016 年提出并應(yīng)用于三維圖像分割。因為電腦屏幕上只能展示二維的切片，所以直接在三維層面上標(biāo)注分割標(biāo)簽比較困難。與此同時，相鄰的二維切片往往包含了近似的圖片信息。基于上述兩個事實，作者提出了只需要稀疏標(biāo)注的二維圖像進(jìn)行訓(xùn)練的 3D U-Net 網(wǎng)絡(luò)架構(gòu)。3D U-Net 通過將 U-Net 原來的 2D 卷積、池化、上采樣操作替換成對應(yīng)的 3D 操作，并加入 Batch Normalization 層實現(xiàn)了對三維醫(yī)學(xué)影像的直接分割。

2016年 Milletari 等人提出了 V-Net 網(wǎng)絡(luò)架構(gòu)，是原始 U-Net 網(wǎng)絡(luò)架構(gòu)的另一種 3D 實現(xiàn)。V-Net 相比 3D U-Net 最大的亮點在于吸收了 ResNet 的思想，在網(wǎng)絡(luò)拓展路徑和收縮路徑的每個階段中都引入殘差學(xué)習(xí)的機(jī)制。同時，V-Net 以步長為 2 的 2×2×2 卷積核取代拓展路徑里的池化操作來降低特征圖的分辨率。

V-Net 和 3D U-Net 都是針對三維醫(yī)學(xué)影像所直接構(gòu)建的端到端的深度卷積神經(jīng)網(wǎng)絡(luò)，目的是運(yùn)用 3D 卷積從三維進(jìn)行編碼，以良好的分割某些在二維沒有明顯表征的病理。3D分割算法在利用醫(yī)學(xué)影像的三維組織連通性方面具有優(yōu)勢，但相較2D分割算法其參數(shù)量更多，訓(xùn)練和推理過程對設(shè)備的算力要求更高。

---

參考資料：彭璟，羅浩宇，趙淦森等《深度學(xué)習(xí)下的醫(yī)學(xué)影像分割算法綜述》