用于語義分割的特征共享協(xié)作網(wǎng)絡(luò)

點擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時間送達

近年來，深度神經(jīng)網(wǎng)絡(luò)在圖像識別領(lǐng)域取得了較高的精度。在借鑒人類學(xué)習(xí)方法的基礎(chǔ)上，提出了一種基于協(xié)作學(xué)習(xí)的語義分割方法。我們使用兩個相同的網(wǎng)絡(luò)和路徑在兩個網(wǎng)絡(luò)之間發(fā)送特征映射。同時訓(xùn)練兩個網(wǎng)絡(luò)。通過共享特征映射，兩個網(wǎng)絡(luò)中的一個可以獲得單個網(wǎng)絡(luò)無法獲得的信息。此外，為了提高合作程度，我們提出了只連接同一層和多層的兩種方法。我們在兩種網(wǎng)絡(luò)上評估了我們提出的想法。一個是雙注意網(wǎng)絡(luò)(DANet)，另一個是DeepLabv3+。與傳統(tǒng)的單一網(wǎng)絡(luò)和集成網(wǎng)絡(luò)相比，該方法具有更好的分割精度。

我們準(zhǔn)備兩個網(wǎng)絡(luò)，并引入兩個網(wǎng)絡(luò)之間的連接，從頂部網(wǎng)絡(luò)獲得的特征映射可以發(fā)送到底部網(wǎng)絡(luò)，并將兩個特征映射連接起來。由于這兩個網(wǎng)絡(luò)都訓(xùn)練來解決分割問題，為任務(wù)尋址好的信息被發(fā)送到底層網(wǎng)絡(luò)。因此，底層網(wǎng)絡(luò)可以利用從頂層網(wǎng)絡(luò)獲得的好的特征映射來解決任務(wù)，而底層網(wǎng)絡(luò)則專注于頂層網(wǎng)絡(luò)無法解決的問題。由于底層網(wǎng)絡(luò)將上層網(wǎng)絡(luò)獲得的特征圖進行拼接，拼接后的特征圖中濾波器的數(shù)量比原網(wǎng)絡(luò)多出兩倍。這就是我們在本文中提出的合作學(xué)習(xí)。

在我們的方法中，我們采用了以下?lián)p失，因為我們的方法同時分別訓(xùn)練兩個cnn。我們使用Softmax交叉熵來計算損失（Loss = Loss1 + Loss2）其中Loss1為CNN1的Loss, Loss2為CNN2的Loss。兩種損耗同時得到優(yōu)化。在這種網(wǎng)絡(luò)結(jié)構(gòu)中，我們可以訓(xùn)練兩個網(wǎng)絡(luò)，同時共享單個網(wǎng)絡(luò)無法獲得的特征映射。合作學(xué)習(xí)有幾個優(yōu)點。首先，我們可以通過使用兩個網(wǎng)絡(luò)之間的特征映射來增加有用信息的數(shù)量。由于第一個網(wǎng)絡(luò)解決了分割任務(wù)，因此已經(jīng)獲得了解決該任務(wù)的特征。因此，第二網(wǎng)絡(luò)可以學(xué)習(xí)任務(wù)使用信息從第一個網(wǎng)絡(luò)作為參考。基于以上原因，我們認為合作學(xué)習(xí)對于提高準(zhǔn)確性是有效的。

在本文中，我們提出了兩種合作學(xué)習(xí)的連接方法。第一種連接方法是在相同的層之間。第二種連接方法是多層之間的連接。下面的小節(jié)將解釋這兩種方法。通過與集成網(wǎng)絡(luò)的比較，驗證了協(xié)同連接的有效性。集成網(wǎng)絡(luò)使用兩個相同的cnn。集成網(wǎng)絡(luò)與我們方法的區(qū)別如圖2 (a)所示。

圖1合作網(wǎng)絡(luò)的結(jié)構(gòu)

圖2集成網(wǎng)絡(luò)(a)和提出的協(xié)作網(wǎng)絡(luò)(b)(c)結(jié)構(gòu)

城市景觀數(shù)據(jù)集上的分割結(jié)果(val)。baseline是DANet。

城市景觀數(shù)據(jù)集上的分割結(jié)果(val)。baseline為Deeplabv3+

通過以上實驗，我們證實了無論使用哪種基線網(wǎng)絡(luò)，合作學(xué)習(xí)都能提高準(zhǔn)確率。對于DANet而言，采用同一層連接的合作學(xué)習(xí)比采用不同層連接的合作學(xué)習(xí)具有更高的準(zhǔn)確率。另一方面，DeepLabv3+的多層連接精度更高。從這些結(jié)果來看，最優(yōu)的連接方法依賴于基線CNN。DANet使用注意模塊對feature map進行增強。因此，同一層連接可以使用對應(yīng)層的重要特征。另一方面，不同的層連接不能在不同的層上很好地使用這些特性。

在DeepLabv3+的情況下，使用一種編碼解碼器結(jié)構(gòu)來聚合多尺度信息。多層連接可以從多層中提供有效的信息。因此，DeepLabv3+結(jié)構(gòu)的多層連接獲得了較高的精度，因為來自不同層次的許多信息可以幫助DeepLabv3+結(jié)構(gòu)獲得有效的信息。我們認為采用一種簡單的編譯碼結(jié)構(gòu)網(wǎng)絡(luò)是有效的不同層連接。如果我們在圖4中使用注意模塊。城市景觀數(shù)據(jù)集上的分割結(jié)果(val)?；€是由Deeplabv3+增強特征映射，同層連接的合作學(xué)習(xí)是有效的。

在實驗中，我們將圖2(a)所示的網(wǎng)絡(luò)集成與提出的協(xié)作網(wǎng)絡(luò)進行了比較。所提出的兩種連接方法比兩種網(wǎng)絡(luò)集成的方法更精確。通過兩種實驗驗證了該協(xié)作網(wǎng)絡(luò)的有效性。

論文鏈接：https://arxiv.org/pdf/2101.07905.pdf

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~