使用條件卷積進行實例和全景分割

點擊上方“小白學視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

小白導讀

論文是學術(shù)研究的精華和未來發(fā)展的明燈。小白決心每天為大家?guī)斫?jīng)典或者最新論文的解讀和分享，旨在幫助各位讀者快速了解論文內(nèi)容。個人能力有限，理解難免出現(xiàn)偏差，建議對文章內(nèi)容感興趣的讀者，一定要下載原文，了解具體內(nèi)容。

摘要

我們提出了一個簡單而有效的框架，用于實例和全景分割，稱為CondInst(條件卷積的實例和全景分割)。在文獻中，最優(yōu)秀的實例分割方法通常遵循Mask R-CNN范式，并依賴ROI操作(通常是ROIAlign)來處理每個實例。相反，我們建議使用動態(tài)條件卷積處理實例。我們不是使用實例明智的roi作為固定權(quán)重的實例掩碼頭的輸入，而是設計動態(tài)的實例感知掩碼頭，以要預測的實例為條件。CondInst有三個優(yōu)點:實例和全景分割被統(tǒng)一到一個完全卷積的網(wǎng)絡中，消除了對ROI的裁剪和特征對齊的需要。2)。消除ROI裁剪也顯著提高了輸出實例掩模的分辨率。3)。由于動態(tài)生成的條件分布的能力大大提高,面具頭非常緊湊(如3 conv.層,每個只有8頻道),導致更快推理每個實例,使整體推理時間幾乎不變,與實例的數(shù)量無關(guān)。我們演示了一種更簡單的方法，可以在實例和全景分割任務上實現(xiàn)更高的精度和推理速度。在COCO數(shù)據(jù)集上，我們優(yōu)于一些最先進的方法。我們希望CondInst可以成為一個強大的基線，例如全景分割。

代碼鏈接：https://git.io/AdelaiDet

論文創(chuàng)新點

我們將我們的主要貢獻總結(jié)如下。

• 我們嘗試從一個新的角度來解決實例分割問題，即使用動態(tài)掩模頭。與現(xiàn)有的Mask R-CNN等方法相比，這一新的解決方案獲得了更好的實例分割性能。據(jù)我們所知，這是第一次一個新的實例分割框架在精度和速度上超過了最近的國家最先進的水平。

• CondInst是完全卷積的，并且避免了前面提到的許多現(xiàn)有方法中使用的調(diào)整大小操作，因為CondInst不依賴于ROI操作。不需要調(diào)整特征地圖的大小，就可以得到具有更精確邊緣的高分辨率實例掩碼。

• 由于CondInst中的掩碼頭非常緊湊，與box檢測器FCOS相比，CondInst只需要10%的計算時間就可以獲得掩碼結(jié)果，即使在處理每張圖像的最大實例數(shù)(即100個實例)時也是如此?？偟耐茢鄷r間也是穩(wěn)定的，因為它不依賴于映像中的實例數(shù)量。

• 通過額外的語義分割分支，CondInst可以很容易地擴展到全景分割，從而為實例和全景分割任務生成統(tǒng)一的全卷積網(wǎng)絡。

• CondInst實現(xiàn)了最先進的性能，在實例和全景分割任務，同時是快速和簡單的。我們希望CondInst能夠成為實例和全景分割任務以及其他實例級識別任務(如關(guān)鍵點檢測)的強大替代方案。

框架結(jié)構(gòu)

CondInst的整體架構(gòu)。C3、C4、C5為骨干網(wǎng)(如ResNet-50)的特征圖。P3到P7是FPN的特征映射，如[26]，[43]。Fbottom為底部分支s的輸出，其分辨率與P3相同。在[6]之后，底部的分支聚合了功能映射P3、P4和P5。Fbottom是通過連接相對坐標到Fbottom得到的。分類頭預測目標實例在位置(x, y)處的分類概率px,y，與FCOS相同。控制器為實例生成掩模頭的濾波器參數(shù)θx,y。與FCOS類似，也有與控制器并行的中心度和盒頭(為了簡單起見，圖中沒有顯示)。注意，虛線框中的頭重復應用于P3···P7。蒙版頭部是實例感知的，在F底部的應用次數(shù)為圖像中實例數(shù)的多少。

通過附加一個語義分割分支來實現(xiàn)全景分割的CondInst插圖。語義分割分支在[22]之后。從實例分割和分割的結(jié)果分割分支結(jié)合在一起使用相同的后處理在[23]。

實驗結(jié)果

城市景觀的定性結(jié)果。值得注意的是，CondInst可以很好地歪曲細節(jié)(最好在屏幕上觀看)。

在COCO數(shù)據(jù)集上的全景分割結(jié)果(在屏幕上看得更好)。顏色編碼類別和實例。正如我們所看到的，CondInst表現(xiàn)得很好。

實驗結(jié)果

我們提出了一個新的和簡單的實例分割框架，稱為CondInst。與之前的Mask R-CNN等方法不同，前者使用固定權(quán)重的掩碼頭，將掩碼頭限定在實例上，并動態(tài)生成掩碼頭的過濾器。這不僅減少了掩模頭的參數(shù)和計算復雜度，而且消除了ROI操作，從而得到了一個更快、更簡單的實例分割框架。據(jù)我們所知，CondInst是第一個框架，可以在準確性和速度上超過Mask R-CNN，無需更長的訓練時間表。我們相信CondInst可以成為一個新的強大的替代屏蔽R-CNN實例分割。

論文鏈接：https://arxiv.org/pdf/2102.03026.pdf

每日堅持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周圍的同學。

- END?-

下載1：OpenCV-Contrib擴展模塊中文版教程

在「小白學視覺」公眾號后臺回復：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目52講

在「小白學視覺」公眾號后臺回復：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學校計算機視覺。

下載3：OpenCV實戰(zhàn)項目20講

在「小白學視覺」公眾號后臺回復：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學習進階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~