代碼：https://github.com/kayoyin/tiny-inst-segmentation

介紹

計(jì)算機(jī)視覺的進(jìn)步帶來了許多有前途的應(yīng)用，如自動(dòng)駕駛汽車或醫(yī)療診斷。在這些任務(wù)中，我們依靠機(jī)器的能力來識(shí)別物體。

我們經(jīng)?？吹降呐c目標(biāo)識(shí)別相關(guān)的任務(wù)有4個(gè)：分類和定位、目標(biāo)檢測(cè)、語義分割和實(shí)例分割。

在分類和定位中，我們感興趣的是為圖像中目標(biāo)的分配類標(biāo)簽，并在目標(biāo)周圍繪制一個(gè)包圍框。在這個(gè)任務(wù)中，要檢測(cè)的目標(biāo)數(shù)量是固定的。

物體檢測(cè)不同于分類和定位，因?yàn)檫@里我們沒有預(yù)先假設(shè)圖像中物體的數(shù)量。我們從一組固定的目標(biāo)類別開始，我們的目標(biāo)是分配類標(biāo)簽，并在每次這些類別中的一個(gè)目標(biāo)出現(xiàn)在圖像中時(shí)繪制邊界框。

在語義分割中，我們?yōu)?strong>每個(gè)圖像像素分配一個(gè)類標(biāo)簽：所有屬于草的像素被標(biāo)記為“grass”，屬于羊的像素被標(biāo)記為“sheep”。值得注意的是，例如，這個(gè)任務(wù)不會(huì)對(duì)兩只羊產(chǎn)生區(qū)別。

我們的任務(wù)是實(shí)例分割，它建立在目標(biāo)檢測(cè)和語義分割之上。在目標(biāo)檢測(cè)中，我們的目標(biāo)是在預(yù)定義的類別中標(biāo)記和定位目標(biāo)的所有實(shí)例。但是，我們沒有為檢測(cè)到的目標(biāo)生成邊界框，而是進(jìn)一步識(shí)別哪些像素屬于該目標(biāo)，就像語義分割一樣。與語義分割不同的是，實(shí)例分割為每個(gè)目標(biāo)實(shí)例繪制一個(gè)單獨(dú)的掩碼，而語義分割將為同一類的所有實(shí)例使用相同的掩碼。

在本文中，我們將在一個(gè)很小的Pascal VOC數(shù)據(jù)集上訓(xùn)練一個(gè)實(shí)例分割模型，其中只有1349張圖像用于訓(xùn)練，100張圖像用于測(cè)試。這里的主要挑戰(zhàn)是在不使用外部數(shù)據(jù)的情況下防止模型過擬合。

數(shù)據(jù)處理

標(biāo)注采用COCO格式，因此我們可以使用pycocotools中的函數(shù)來檢索類標(biāo)簽和掩碼。在這個(gè)數(shù)據(jù)集中，共有20個(gè)類別。

下面是一些訓(xùn)練圖像和相關(guān)mask的可視化顯示。mask的不同陰影表示同一目標(biāo)類別的多個(gè)實(shí)例的不同掩碼。

圖像的大小和長(zhǎng)寬比各不相同，因此在將圖像輸入模型之前，我們調(diào)整每個(gè)圖像的尺寸500x500。當(dāng)圖像尺寸小于500時(shí)，我們對(duì)圖像進(jìn)行優(yōu)化，使最大邊的長(zhǎng)度為500，并添加必要的零以獲得正方形圖像。

為了使模型能夠很好地泛化，特別是在這樣一個(gè)有限的數(shù)據(jù)集上，數(shù)據(jù)增強(qiáng)是克服過擬合的關(guān)鍵。對(duì)于每一個(gè)圖像，以0.5的概率水平翻轉(zhuǎn)，以0.9到1倍的尺度進(jìn)行隨機(jī)剪裁，以0.5的概率進(jìn)行高斯模糊，標(biāo)準(zhǔn)差為隨機(jī)，對(duì)比度隨機(jī)調(diào)整尺度為0.75和1.5之間，亮度隨機(jī)調(diào)整尺度在0.8和1.2之間，以及一系列隨機(jī)仿射變換如縮放、平移、旋轉(zhuǎn)，剪切。

Mask-RCNN

我們使用matterport實(shí)現(xiàn)的Mask-RCNN進(jìn)行訓(xùn)練。雖然結(jié)果可能會(huì)很好看，但我們不會(huì)用MS COCO的預(yù)訓(xùn)練權(quán)重來展示我們?nèi)绾沃挥?349張訓(xùn)練圖像就能得到好的結(jié)果。

Mask-RCNN是在2017年Mask-RCNN論文中提出的，是同一作者對(duì)Faster-RCNN的擴(kuò)展。Faster-RCNN被廣泛應(yīng)用于目標(biāo)檢測(cè)，模型在被檢測(cè)物體周圍生成包圍盒。Mask-RCNN進(jìn)一步生成了目標(biāo)的mask 。

我將在下面簡(jiǎn)要介紹模型體系結(jié)構(gòu)。

首先，我們使用一個(gè)主干模型從輸入圖像中提取相關(guān)的特征。在這里，我們使用ResNet101架構(gòu)作為骨干。圖像由張量(500,500,3)轉(zhuǎn)換為特征圖(32,32,2048)。

然后將之前獲得的特征輸入到一個(gè)區(qū)域建議網(wǎng)絡(luò)(RPN)中。RPN掃描feature map的區(qū)域，稱為anchors，并嘗試確定包含目標(biāo)的區(qū)域。這些anchor的尺寸和縱橫比各不相同。RPN為每個(gè)anchor分配一個(gè)類別：前景(正樣本anchor)或背景(負(fù)樣本anchor)。中性anchor是指不影響訓(xùn)練的anchor。

建議層然后挑選最有可能包含目標(biāo)的anchor，并優(yōu)化anchor框以更接近目標(biāo)。當(dāng)太多anchor點(diǎn)重疊時(shí)，只保留前景分?jǐn)?shù)最高的那個(gè)(非最大抑制)。這樣，我們就得到了感興趣的區(qū)域 (ROI)。

對(duì)于每個(gè)由ROI分類器選中的目標(biāo)區(qū)域，模型生成28x28的mask。在訓(xùn)練過程中，將 ground truth mask縮小，用預(yù)測(cè)的mask計(jì)算損失，在推理過程中，將生成的mask放大到ROI的邊界框大小。

遷移學(xué)習(xí)

特別是在數(shù)據(jù)有限的情況下，更快更好地訓(xùn)練模型的關(guān)鍵是遷移學(xué)習(xí)。Imagenet數(shù)據(jù)集是一個(gè)巨大的自然圖像語料庫，類似于我們的圖像。因此，我們可以將Resnet101骨干模型的權(quán)值初始化為在Imagenet上預(yù)先訓(xùn)練的權(quán)值。這將提高我們得到的特征圖的準(zhǔn)確性，從而提高整個(gè)模型。

為了微調(diào)在Imagenet上預(yù)訓(xùn)練的模型，我們首先只訓(xùn)練model heads。然后我們?cè)谑Ｏ碌膃pochs中訓(xùn)練從ResNet level 4和以上的層。這個(gè)訓(xùn)練方案也有助于最小化過擬合。我們可以不去微調(diào)第一層，因?yàn)槲覀兛梢灾赜媚Ｐ蛷淖匀粓D像中提取特征的權(quán)重。

結(jié)果 & 檢測(cè)pipeline可視化

我們的測(cè)試集上獲得的mAP為0. 53650。下面是隨機(jī)選擇測(cè)試圖像的模型輸出的一些可視化結(jié)果：

我們還可以看到算法不同步驟的輸出。下面，我們有在邊界框細(xì)化之前的top anchors的得分。

接下來，我們有了細(xì)化的邊界框和非最大抑制后的輸出。這些建議然后被輸入分類網(wǎng)絡(luò)。注意，在這里，我們有一些框框住了一些目標(biāo)，比如標(biāo)志，這些目標(biāo)不屬于我們定義的目標(biāo)類別。

在建議區(qū)域上運(yùn)行分類網(wǎng)絡(luò)，得到正樣本的檢測(cè)，生成類概率和邊界框回歸。

在得到邊界框并對(duì)其進(jìn)行細(xì)化后，實(shí)例分割模型為每個(gè)檢測(cè)到的目標(biāo)生成mask。mask是soft masks(具有浮點(diǎn)像素值)，在訓(xùn)練時(shí)大小為28x28。

最后，預(yù)測(cè)的mask被調(diào)整為邊界框的尺寸，我們可以將它們覆蓋在原始圖像上以可視化最終的輸出。