基于深度學(xué)習的自然圖像和醫(yī)學(xué)圖像分割：網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

↑ 點擊藍字?關(guān)注極市平臺

作者丨李慕清@知乎

來源丨h(huán)ttps://zhuanlan.zhihu.com/p/104854615

極市導(dǎo)讀

?

在利用CNNs進行圖像語義分割時，有一些針對網(wǎng)絡(luò)結(jié)構(gòu)的創(chuàng)新點，主要包括了新神經(jīng)架構(gòu)和新組件或?qū)拥脑O(shè)計。文章的后半部分則對醫(yī)學(xué)圖像分割領(lǐng)域中網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的應(yīng)用進行了梳理。>>>極市七夕粉絲福利活動：煉丹師們，七夕這道算法題，你會解嗎？

本文總結(jié)了利用CNNs進行圖像語義分割時，針對網(wǎng)絡(luò)結(jié)構(gòu)的創(chuàng)新，這些創(chuàng)新點主要包括新神經(jīng)架構(gòu)的設(shè)計（不同深度、寬度、連接和拓撲結(jié)構(gòu)）和新組件或?qū)拥脑O(shè)計。前者是利用已有的組件組裝復(fù)雜的大型網(wǎng)絡(luò)，后者是更偏向于設(shè)計底層組件。首先介紹一些經(jīng)典的語義分割網(wǎng)絡(luò)及其創(chuàng)新點，然后介紹網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計在醫(yī)學(xué)圖像分割領(lǐng)域內(nèi)的一些應(yīng)用。

1. 圖像語義分割網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)新

1.1 FCN網(wǎng)絡(luò)

FCN整體架構(gòu)簡圖

單獨將FCN網(wǎng)絡(luò)列出來是因為FCN網(wǎng)絡(luò)是第一個從全新的角度來解決語義分割問題的網(wǎng)絡(luò)。此前的基于神經(jīng)網(wǎng)絡(luò)的圖像語義分割網(wǎng)絡(luò)是利用以待分類像素點為中心的圖像塊來預(yù)測中心像素的標簽，一般用CNN+FC的策略構(gòu)建網(wǎng)絡(luò)，顯然這種方式無法利用圖像的全局上下文信息，而且逐像素推理速度很低；而FCN網(wǎng)絡(luò)舍棄全連接層FC，全部用卷積層構(gòu)建網(wǎng)絡(luò)，通過轉(zhuǎn)置卷積以及不同層特征融合的策略，使得網(wǎng)絡(luò)輸出直接是輸入圖像的預(yù)測mask，效率和精度得到大幅度提升。

FCN不同層特征融合示意圖

創(chuàng)新點：全卷積網(wǎng)絡(luò)（不含fc層）；轉(zhuǎn)置卷積deconv（反卷積）；不同層特征圖跳躍連接（相加）

1.2 編解碼結(jié)構(gòu)（Enconder-decoder）

• SegNet和FCN網(wǎng)絡(luò)的思路基本一致。編碼器部分使用VGG16的前13層卷積，不同點在于Decoder部分Upsampling的方式。FCN通過將特征圖deconv得到的結(jié)果與編碼器對應(yīng)大小的特征圖相加得到上采樣結(jié)果；而SegNet用Encoder部分maxpool的索引進行Decoder部分的上采樣（原文描述：the decoder upsamples the lower resolution input feature maps. Speci?cally, the decoder uses pooling indices computed in the max-pooling step of the corresponding encoder to perform non-linear upsampling.）。

創(chuàng)新點：Encoder-Decoder結(jié)構(gòu)；Pooling indices。

SegNet網(wǎng)絡(luò)

SegNet與FCN的Upsample方式對比

• U-Net網(wǎng)絡(luò)最初是針對生物醫(yī)學(xué)圖像設(shè)計的，但由于其初四的性能，現(xiàn)如今UNet及其變體已經(jīng)廣泛應(yīng)用到CV各個子領(lǐng)域。UNet網(wǎng)絡(luò)由U通道和短接通道（skip-connection）組成，U通道類似于SegNet的編解碼結(jié)構(gòu)，其中編碼部分（contracting path）進行特征提取和捕獲上下文信息，解碼部分（expanding path）用解碼特征圖來預(yù)測像素標簽。短接通道提高了模型精度并解決了梯度消失問題，特別要注意的是短接通道特征圖與上采用特征圖是拼接而不是相加（不同于FCN）。

創(chuàng)新點：U型結(jié)構(gòu)；短接通道（skip-connection）

U-Net網(wǎng)絡(luò)

• V-Net網(wǎng)絡(luò)結(jié)構(gòu)與U-Net類似，不同在于該架構(gòu)增加了跳躍連接，并用3D操作物替換了2D操作以處理3D圖像（volumetric image）。并且針對廣泛使用的細分指標（如Dice）進行優(yōu)化。

V-Net網(wǎng)絡(luò)

創(chuàng)新點：相當于U-Net網(wǎng)絡(luò)的3D版本

• FC-DenseNet (百層提拉米蘇網(wǎng)絡(luò))（paper title: The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation）該網(wǎng)絡(luò)結(jié)構(gòu)是由用密集連接塊（Dense Block）和UNet架構(gòu)組建的。該網(wǎng)絡(luò)最簡單的版本是由向下過渡的兩個下采樣路徑和向上過渡的兩個上采樣路徑組成。且同樣包含兩個水平跳躍連接，將來自下采樣路徑的特征圖與上采樣路徑中的相應(yīng)特征圖拼接在一起。上采樣路徑和下采樣路徑中的連接模式不完全同：下采樣路徑中，每個密集塊外有一條跳躍拼接通路，從而導(dǎo)致特征圖數(shù)量的線性增長，而在上采樣路徑中沒有此操作。（多說一句，這個網(wǎng)絡(luò)的簡稱可以是Dense Unet，但是有一篇論文叫Fully Dense UNet for 2D Sparse Photoacoustic Tomography Artifact Removal， 是一個光聲成像去偽影的論文，我看到過好多博客引用這篇論文里面的插圖來談?wù)Z義分割，根本就不是一碼事好么 =_=||，自己能分清即可。）

FC-DenseNet（百層提拉米蘇網(wǎng)絡(luò)）

創(chuàng)新點：融合DenseNet與U-Net網(wǎng)絡(luò)（從信息交流的角度看，密集連接確實要比殘差結(jié)構(gòu)更強大）

• Deeplab系列網(wǎng)絡(luò)是在編解碼結(jié)構(gòu)的基礎(chǔ)上提出的改進版本，2018年DeeplabV3+網(wǎng)絡(luò)在VOC2012和Cityscapes數(shù)據(jù)集上的表現(xiàn)優(yōu)異，達到SOTA水平。DeepLab系列共有V1、V2、V3和V3+共四篇論文。簡要總結(jié)一些各篇論文的核心內(nèi)容：

1) DeepLabV1：融合卷積神經(jīng)網(wǎng)絡(luò)和概率圖模型：CNN+CRF，提高了分割定位精度；

2) DeepLabV2：ASPP（擴張空間金字塔池化)；CNN+CRF

3) DeepLabV3：改進ASPP，多了1*1卷積和全局平均池化（global avg pool）；對比了級聯(lián)和并聯(lián)空洞卷積的效果。

級聯(lián)空洞卷積

并聯(lián)空洞卷積（ASPP）

4) DeepLabV3+：加入編解碼架構(gòu)思想，添加一個解碼器模塊來擴展DeepLabv3；將深度可分離卷積應(yīng)用于ASPP和解碼器模塊；將改進的Xception作為Backbone。

DeepLabV3+

總的來說，DeepLab系列的核心貢獻: 空洞卷積；ASPP；CNN+CRF（僅V1和V2使用CRF，應(yīng)該是V3和V3+通過深度網(wǎng)絡(luò)解決了分割邊界模糊的問題，效果要比加了CRF更好）

• PSPNet（pyramid scene parsing network）通過對不同區(qū)域的上下文信息進行聚合，提升了網(wǎng)絡(luò)利用全局上下文信息的能力。在SPPNet，金字塔池化生成的不同層次的特征圖最終被flatten并concate起來，再送入全連接層以進行分類，消除了CNN要求圖像分類輸入大小固定的限制。而在PSPNet中，使用的策略是：poolling-conv-upsample，然后拼接得到特征圖，然后進行標簽預(yù)測。

PSPNet網(wǎng)絡(luò)

創(chuàng)新點：多尺度池化，更好地利用全局圖像級別的先驗知識來理解復(fù)雜場景

• RefineNet通過細化中間激活映射并分層地將其連接到結(jié)合多尺度激活，同時防止銳度損失。網(wǎng)絡(luò)由獨立的Refine模塊組成，每個Refine模塊由三個主要模塊組成，即:剩余卷積單元(RCU)，多分辨率融合(MRF)和鏈剩余池(CRP)。整體結(jié)構(gòu)有點類似U-Net，但在跳躍連接處設(shè)計了新的組合方式（不是簡單的concat）。個人認為，這種結(jié)構(gòu)其實非常適合作為自己網(wǎng)絡(luò)設(shè)計的思路，可以加入許多其他CV問題中使用的CNN module，而且以U-Net為整體框架，效果不會太差。

RefineNet網(wǎng)絡(luò)

創(chuàng)新點：Refine模塊

1.3 降低計算復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)

也有很多工作致力于降低語義分割網(wǎng)絡(luò)的計算復(fù)雜度。一些簡化深度網(wǎng)絡(luò)結(jié)構(gòu)的方法：張量分解；通道/網(wǎng)絡(luò)剪枝；稀疏化連接。還有一些利用NAS（神經(jīng)架構(gòu)搜索）取代人工設(shè)計來搜索模塊或整個網(wǎng)絡(luò)的結(jié)構(gòu)，當然AutoDL所需的GPU資源會勸退一大批人。因此，也有一些人使用隨機搜索來搜索小的多的ASPP模塊，然后基于小模塊來搭建整個網(wǎng)絡(luò)模型。

網(wǎng)絡(luò)輕量化設(shè)計是業(yè)內(nèi)共識，移動端部署不可能每臺機器配一張2080ti，另外耗電量、存儲等問題也會限制模型的推廣應(yīng)用。不過5G如果能普及的話，數(shù)據(jù)就可以全部在云端處理，會很有意思。當然，短期內(nèi)（十年），5G全方位部署不知道是否可行。

1.4 基于注意力機制的網(wǎng)絡(luò)結(jié)構(gòu)

注意力機制可以定義為：使用后續(xù)層/特征圖信息來選擇和定位輸入特征圖中最具判斷力（或顯著性）的部分。簡單地可以認為是給特征圖加權(quán)的一種方式（權(quán)值通過網(wǎng)絡(luò)計算得到），按照權(quán)值的作用方式的不同，可以分為通道注意力機制（CA）和空間注意力機制（PA）。FPA（Feature Pyramid Attention，特征金字塔注意力）網(wǎng)絡(luò)是一種基于注意力機制的語義分割網(wǎng)絡(luò)，它將注意力機制和空間金字塔相結(jié)合，以提取用于像素級標記的精密特征，而沒有采用膨脹卷積和人為設(shè)計的解碼器網(wǎng)絡(luò)。

1.5 基于對抗學(xué)習的網(wǎng)絡(luò)結(jié)構(gòu)

Goodfellow等人在2014年提出了一種對抗的方法來學(xué)習深度生成模型， 生成對抗網(wǎng)絡(luò)（GANs）中需要同時訓(xùn)練兩個模型：捕獲數(shù)據(jù)分布的生成模型G，和估計樣本來自訓(xùn)練數(shù)據(jù)的概率的判別模型D。

● G是一個生成式的網(wǎng)絡(luò)，它接收一個隨機的噪聲z（隨機數(shù)），通過這個噪聲生成圖像

● D是一個判別網(wǎng)絡(luò)，判別一張圖片是不是“真實的”。它的輸入?yún)?shù)是x（一張圖片），輸出D（x）代表x為真實圖片的概率，如果為1，就代表100%是真實的圖片，而輸出為0，就代表不可能是真實的圖片。

G的訓(xùn)練程序是將D錯誤的概率最大化?？梢宰C明在任意函數(shù)G和D的空間中，存在唯一的解決方案，使得G重現(xiàn)訓(xùn)練數(shù)據(jù)分布，而D=0.5。訓(xùn)練過程中，生成網(wǎng)絡(luò)G的目標就是盡量生成真實的圖片去欺騙判別網(wǎng)絡(luò)D。而D的目標就是盡量辨別出G生成的假圖像和真實的圖像。這樣，G和D構(gòu)成了一個動態(tài)的“博弈過程”，最終的平衡點即納什均衡點.。在G和D由神經(jīng)網(wǎng)絡(luò)定義的情況下，整個系統(tǒng)可以用反向傳播進行訓(xùn)練。

GANs網(wǎng)絡(luò)結(jié)構(gòu)示意

受到GANs啟發(fā)，Luc等人訓(xùn)練了一個語義分割網(wǎng)絡(luò)（G）以及一個對抗網(wǎng)絡(luò)（D），對抗網(wǎng)絡(luò)區(qū)分來自ground truth或語義分割網(wǎng)絡(luò)（G）的分割圖。G和D不斷地博弈學(xué)習， 它們的損失函數(shù)定義為 ：

GANs loss function

其中 和 分別代表分割網(wǎng)絡(luò)（G）和對抗網(wǎng)絡(luò)（D）的參數(shù)。 和 分別是多類和二類交叉熵損失，兩部分共同組成網(wǎng)絡(luò)的損失函數(shù)。

回顧一下原始的GAN損失函數(shù)：

GANs的損失函數(shù)體現(xiàn)的是一種零和博弈的思想，原始的GANs的損失函數(shù)如下：

損失的計算位置是在D（判別器）輸出處，而D的輸出一般是fake/true的判斷，所以整體可以認為是上采用了二分類交叉熵函數(shù)。由GANs的損失函數(shù)的形式可知，訓(xùn)練要分為兩部分：

首先是maxD部分，因為訓(xùn)練一般是先保持G（生成器）不變訓(xùn)練D的。D的訓(xùn)練目標是正確區(qū)分fake/true，如果我們以1/0代表true/fake，則對第一項E因為輸入采樣自真實數(shù)據(jù)所以我們期望D(x)趨近于1，也就是第一項更大。同理第二項E輸入采樣自G生成數(shù)據(jù)，所以我們期望D(G(z))趨近于0更好，也就是說第二項又是更大。所以是這一部分是期望訓(xùn)練使得整體更大了，也就是maxD的含義了。這部分只更新D的參數(shù)。

第二部分保持D不變（不進行參數(shù)更新），訓(xùn)練G，這個時候只有第二項E有用了，關(guān)鍵來了，因為我們要迷惑D，所以這時將label設(shè)置為1(我們知道是fake，所以才叫迷惑)，希望D(G(z))輸出接近于1更好，也就是這一項越小越好，這就是minG。當然判別器哪有這么好糊弄，所以這個時候判別器就會產(chǎn)生比較大的誤差，誤差會更新G，那么G就會變得更好了，這次沒有騙過你，只能下次更努力了（引自https://www.cnblogs.com/walter-xh/p/10051634.html）。這時候只更新G的參數(shù)。

從另一個角度看GANs，判別器（D）相當于一種特殊的損失函數(shù)（由神經(jīng)經(jīng)網(wǎng)絡(luò)構(gòu)成，不同于傳統(tǒng)的L1、L2、交叉熵等損失函數(shù)）。

另外GANs訓(xùn)練方式特殊，存在梯度消失、模式崩潰等問題（目前好像有辦法可以解決），但其設(shè)計思想確實是深度學(xué)習時代一個偉大的發(fā)明。

1.6 小結(jié)

基于深度學(xué)習的圖像語義分割模型大多遵循編碼器-解碼器體系結(jié)構(gòu)，如U-Net。近幾年的研究成果表明，膨脹卷積和特征金字塔池可以改善U-Net風格的網(wǎng)絡(luò)性能。在第2節(jié)中，我們總結(jié)一下，如何將這些方法及其變體應(yīng)用于醫(yī)學(xué)圖像分割。

2. 網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)新在醫(yī)學(xué)圖像分割中的應(yīng)用

這部分介紹一些網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)新在2D/3D醫(yī)學(xué)圖像分割中的應(yīng)用研究成果。

2.1 基于模型壓縮的分割方法

為了實現(xiàn)實時處理高分辨率的2D/3D醫(yī)學(xué)圖像（例如CT、MRI和組織病理學(xué)圖像等），研究人員提出了多種壓縮模型的方法。weng等人利用NAS技術(shù)應(yīng)用于U-Net網(wǎng)絡(luò)，得到了在CT，MRI和超聲圖像上具有更好的器官/腫瘤分割性能的小型網(wǎng)絡(luò)。Brugger通過利用組歸一化（group normalization ）和Leaky-ReLU（leaky ReLU function），重新設(shè)計了U-Net架構(gòu)，以使網(wǎng)絡(luò)對3D醫(yī)學(xué)圖像分割的存儲效率更高。也有人設(shè)計了參數(shù)量更少的擴張卷積module。其他一些模型壓縮的方法還有權(quán)重量化（十六位、八位、二值量化）、蒸餾、剪枝等等。

2.2 編碼-解碼結(jié)構(gòu)的分割方法

Drozdal提出了一種在將圖像送入分割網(wǎng)絡(luò)之前應(yīng)用簡單的CNN來對原始輸入圖像進行歸一化的方法，提高了單子顯微鏡圖像分割、肝臟CT、前列腺MRI的分割精度。Gu提出了在主干網(wǎng)絡(luò)利用擴張卷積來保留上下文信息的方法。Vorontsov提出了一種圖到圖的網(wǎng)絡(luò)框架，將具有ROI的圖像轉(zhuǎn)換為沒有ROI的圖像（例如存在腫瘤的圖像轉(zhuǎn)換為沒有腫瘤的健康圖像），然后將模型去除的腫瘤添加到新的健康圖像中，從而獲得對象的詳細結(jié)構(gòu)。Zhou等人提出了一種對U-Net網(wǎng)絡(luò)的跳躍連接重新布線的方法，并在胸部低劑量CT掃描中的結(jié)節(jié)分割，顯微鏡圖像中的核分割，腹部CT掃描中的肝臟分割以及結(jié)腸鏡檢查視頻中的息肉分割任務(wù)中測試了性能。Goyal將DeepLabV3應(yīng)用到皮膚鏡彩色圖像分割中，以提取皮膚病變區(qū)域。

2.3 基于注意力機制的分割方法

Nie提出了一種注意力模型，相比于baseline模型（V-Net和FCN），可以更準確地分割前列腺。SinHa提出了一種基于多層注意力機制的網(wǎng)絡(luò)，用于MRI圖像腹部器官分割。Qin等人提出了一個擴張卷積模塊，以保留3D醫(yī)學(xué)圖像的更多細節(jié)。其他基于注意力機制的啼血圖像分割論文還有很多。

2.4 基于對抗學(xué)習的分割網(wǎng)絡(luò)

Khosravan提出了從CT掃描中進行胰腺分割的對抗訓(xùn)練網(wǎng)絡(luò)。Son用生成對抗網(wǎng)絡(luò)進行視網(wǎng)膜圖像分割。Xue使用全卷積網(wǎng)絡(luò)作為生成對抗框架中的分割網(wǎng)絡(luò)，實現(xiàn)了從MRI圖像分割腦腫瘤。還有其他一些成功應(yīng)用GANs到醫(yī)學(xué)圖像分割問題的論文，不再一一列舉。

2.5 基于RNN的分割模型

遞歸神經(jīng)網(wǎng)絡(luò)（RNN）主要用于處理序列數(shù)據(jù)，長短期記憶網(wǎng)絡(luò)（LSTM）是RNN的一個改進版本，LSTM通過引入自環(huán)（self-loops）使得梯度流能長期保持。在醫(yī)學(xué)圖像分析領(lǐng)域，RNN用于對圖像序列中的時間依賴性進行建模。Bin等人提出了一種將全卷積神經(jīng)網(wǎng)絡(luò)與RNN融合的圖像序列分割算法，將時間維度上的信息納入了分割任務(wù)。Gao等人利用CNN和LSTM拉對腦MRI切片序列中的時間關(guān)系進行建模，以提高4D圖像中的分割性能。Li等人先用U-Net獲得初始分割概率圖，后用LSTM從3D CT圖像中進行胰腺分割，改善了分割性能。其他利用RNN進行醫(yī)學(xué)圖像分割的論文還有很多，不再一一介紹。

2.6 小結(jié)

這部分內(nèi)容主要是分割算法在醫(yī)學(xué)圖像分割中的應(yīng)用，所以創(chuàng)新點并不多，主要還是對不同格式（CT還是RGB，像素范圍，圖像分辨率等等）的數(shù)據(jù)和不同部位數(shù)據(jù)的特點（噪聲、對象形態(tài)等等），經(jīng)典網(wǎng)絡(luò)需要針對不同數(shù)據(jù)進行改進，以適應(yīng)輸入數(shù)據(jù)格式和特征，這樣能更好的完成分割任務(wù)。雖然說深度學(xué)習是個黑盒，但整體上模型的設(shè)計還是有章可循的，什么策略解決什么問題、造成什么問題，可以根據(jù)具體分割問題進行取舍，以達到最優(yōu)的分割性能。

部分參考文獻：

1 Deep Semantic Segmentation of Natural and Medical Images: A Review

2 NAS-Unet: Neural architecture search for medical image segmentation. IEEE Access, 7:44247–44257, 2019.

3 Boosting segmentation with weak supervision from image-to-image translation. arXiv preprint arXiv:1904.01636, 2019

4 Multi-scale guided attention for medical image segmentation. arXiv preprint arXiv:1906.02849,2019.

5 SegAN: Adversarial network with multi-scale L1 loss for medical image segmentation.

6 Fully convolutional structured LSTM networks for joint 4D medical image segmentation. In 2018 IEEE

7 https://www.cnblogs.com/walter-xh/p/10051634.html

推薦閱讀

• 51篇最新CV領(lǐng)域綜述論文速遞！涵蓋14個方向：目標檢測/圖像分割/醫(yī)學(xué)影像/人臉識別等方向

• 使用注意力機制來做醫(yī)學(xué)圖像分割的解釋和Pytorch實現(xiàn)
  

• 煉丹師們，七夕這道算法題，你會解嗎？

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標檢測-深圳），即可申請加入極市目標檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學(xué)影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實項目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~

△長按添加極市小助手

△長按關(guān)注極市平臺，獲取最新CV干貨

覺得有用麻煩給個在看啦~??