語義分割是將數(shù)字圖像中的每一個像素自動標注為多個類別(人、貓、飛機、表等)中的一個，應用于基于內(nèi)容的圖像檢索、醫(yī)學圖像和目標識別等。

基于機器學習的語義分割系統(tǒng)通常是在目標邊界已經(jīng)精心手工標注過的圖像上訓練，這是一個耗時的操作。另一方面，目標檢測系統(tǒng)可以對圖像進行訓練，在這些圖像中，目標被稱為邊界框的矩形框框起來。對于人類標注者來說，手動分割一幅圖像平均花費的時間是標記邊界框的35倍。在ECCV上發(fā)表的一篇論文中，我們描述了一個新的系統(tǒng)，我們稱之為Box2Seg，它只使用邊界框訓練數(shù)據(jù)來學習分割圖像，這是弱監(jiān)督學習的一個例子。在實驗中，我們的系統(tǒng)在一個(mIoU)的度量上比以前的弱監(jiān)督系統(tǒng)提高了2%，該度量度量了系統(tǒng)分割圖像和手動分割圖像之間的一致性。我們的系統(tǒng)的性能也可以與對一般圖像數(shù)據(jù)進行預訓練，然后對完全分割的數(shù)據(jù)進行訓練相比。此外，當我們使用弱監(jiān)督方法訓練系統(tǒng)，然后對完全分割的數(shù)據(jù)進行微調(diào)時，它比對一般圖像數(shù)據(jù)進行預訓練的系統(tǒng)性能提高了16%。這表明，即使分割訓練數(shù)據(jù)可用，使用我們的弱監(jiān)督方法進行預處理訓練仍然有優(yōu)勢。

有噪聲的標簽

我們的方法是將邊界框視為噪聲標簽。我們把框里的每個像素當作我們要尋找的邊界的對象的一部分，然而，其中一些像素被錯誤地標記了?？蛲獾乃邢袼囟急徽_標記為背景像素。在訓練過程中，我們系統(tǒng)的輸入通過三個卷積神經(jīng)網(wǎng)絡：一個目標分割網(wǎng)絡和兩個輔助網(wǎng)絡。在運行過程中，我們丟棄了輔助網(wǎng)絡，這樣它們就不會增加已部署系統(tǒng)的復雜性。

其中一個輔助網(wǎng)絡對圖像中的像素進行兩兩比較，試圖學習區(qū)分背景和前景的一般方法。直觀地說，它是在邊界框內(nèi)尋找與框外正確標記的背景像素相似的像素，并在框內(nèi)尋找彼此不同的像素簇。我們稱這個網(wǎng)絡為“嵌入”網(wǎng)絡，因為它可以學習像素的向量表示，即嵌入，這些像素只捕捉那些對區(qū)分背景和前景有用的屬性。我們使用一種叫做GrabCut的標準分割算法提供的相對粗糙的分割來預先訓練嵌入網(wǎng)絡。在訓練過程中，嵌入網(wǎng)絡的輸出為目標分割網(wǎng)絡提供監(jiān)督信號，也就是說，我們用來評價嵌入網(wǎng)絡性能的標準之一是其輸出與嵌入網(wǎng)絡的輸出是否一致。

另一個輔助網(wǎng)絡是特定標簽注意力網(wǎng)絡。它學會識別具有相同標簽的邊框內(nèi)像素之間頻繁出現(xiàn)的視覺屬性。可以將其視為一個目標檢測器，其輸出不是一個目標標簽，而是一個突出顯示特定對象類的像素簇特征的圖像映射。

在使用標準基準數(shù)據(jù)集的實驗中，我們發(fā)現(xiàn)，僅使用邊界框訓練數(shù)據(jù)，Box2Seg比使用完全分割訓練數(shù)據(jù)訓練的其他12個系統(tǒng)表現(xiàn)得更好。當使用Box2Seg訓練的網(wǎng)絡在完全分段的數(shù)據(jù)上進行微調(diào)時，性能改進甚至更顯著。這表明，當沒有完全分割的訓練數(shù)據(jù)時，甚至在完全分割的訓練數(shù)據(jù)可用時，對象分割的弱監(jiān)督訓練可能是有用的。

—END—

英文原文：https://www.amazon.science/blog/learning-to-segment-images-without-manually-segmented-training-data

如果覺得有用，就請分享到朋友圈吧！