用于RGB-D語(yǔ)義分割的全局-局部傳播網(wǎng)絡(luò)

點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)

小白導(dǎo)讀

論文是學(xué)術(shù)研究的精華和未來(lái)發(fā)展的明燈。小白決心每天為大家?guī)?lái)經(jīng)典或者最新論文的解讀和分享，旨在幫助各位讀者快速了解論文內(nèi)容。個(gè)人能力有限，理解難免出現(xiàn)偏差，建議對(duì)文章內(nèi)容感興趣的讀者，一定要下載原文，了解具體內(nèi)容。

摘要

深度信息在RGB-D語(yǔ)義分割任務(wù)中很重要，它為彩色圖像提供了額外的幾何信息?，F(xiàn)有的方法大多采用多級(jí)融合策略將深度特征傳播到RGB分支。然而，在非常深的階段，以簡(jiǎn)單的元素相加方式傳播并不能充分利用深度信息。為了解決這一問(wèn)題，作者提出了全局-局部傳播網(wǎng)絡(luò)(GLPNet)。引入局部上下文融合模塊(L-CFM)在元素融合前對(duì)兩種模式進(jìn)行動(dòng)態(tài)對(duì)齊，引入全局上下文融合模塊(G-CFM)對(duì)多模態(tài)全局上下文特征進(jìn)行聯(lián)合建模，將深度信息傳播到RGB分支。大量的實(shí)驗(yàn)證明了該融合模塊的有效性和互補(bǔ)性。作者的GLPNet將兩個(gè)融合模塊嵌入到一個(gè)雙流編碼器-解碼器結(jié)構(gòu)中，從而在兩個(gè)具有挑戰(zhàn)性的室內(nèi)場(chǎng)景分割數(shù)據(jù)集(即ny - depth v2和SUN-RGBD數(shù)據(jù)集)上實(shí)現(xiàn)了最先進(jìn)的性能。

論文創(chuàng)新點(diǎn)

提出了利用深度特征和RGB特征互補(bǔ)模式的全局-局部傳播網(wǎng)絡(luò)(global - local Propagation Network, GLPNet)，設(shè)計(jì)了一個(gè)局部上下文融合模塊(local context fusion module, L-CFM)和一個(gè)全局上下文融合模塊(global context fusion module, G-CFM)，分別解決了特征融合中的空間失調(diào)和語(yǔ)義傳播問(wèn)題。L-CFM不是直接向RGB分支添加深度特征，而是在模式融合之前動(dòng)態(tài)地對(duì)兩種模式的特征進(jìn)行對(duì)齊。其中，對(duì)齊過(guò)程是根據(jù)卷積層預(yù)測(cè)的偏移量，同時(shí)扭曲兩種模式的特征映射。卷積層的設(shè)計(jì)靈感來(lái)自于視頻處理領(lǐng)域的光流和語(yǔ)義流[4]。此外，提出了通過(guò)聯(lián)合多模態(tài)上下文建模將深度特征傳播到RGB分支的G-CFM算法。具體來(lái)說(shuō)，作者從兩種模式中提取全局上下文特征，并使用注意機(jī)制將其聚合到每個(gè)RGB像素。與L-CFM精確對(duì)齊兩種模式的局部特征相比，G-CFM旨在從全局語(yǔ)境的角度利用深度信息?？紤]到本文提出的兩個(gè)融合模塊從全局和局部的正交角度幫助深度特征傳播，將它們并行結(jié)合進(jìn)一步提高了深度階段的傳播效率。

本文提出的GLPNet在兩個(gè)具有挑戰(zhàn)性的RGB-D語(yǔ)義分割數(shù)據(jù)集上實(shí)現(xiàn)了最新的性能，即NYU-Depth v2 和 SUN-RGBD數(shù)據(jù)集。

框架結(jié)構(gòu)

作者的GLPNet概述。在最后階段作者使用擴(kuò)張策略，整體步幅為16。

實(shí)驗(yàn)結(jié)果

G-CFM對(duì)NYU-Depth v2測(cè)試集的兩個(gè)示例gbd對(duì)預(yù)測(cè)的池掩碼的可視化。為了節(jié)省空間，作者為每個(gè)模式提供了5個(gè)具有高度代表性的掩碼(15個(gè))。

SUN-RGBD測(cè)試集對(duì)比結(jié)果

結(jié)論

作者提出了用于RGB-D語(yǔ)義分割的GLPNet。GLPNet幫助信息在深度階段從深度支路傳播到RGB支路。局部上下文融合模塊在融合前對(duì)兩種模式進(jìn)行動(dòng)態(tài)對(duì)齊，全局上下文融合模塊通過(guò)聯(lián)合多模態(tài)上下文建模進(jìn)行深度信息傳播。大量的消融實(shí)驗(yàn)驗(yàn)證了本文方法的有效性，GLPNet在兩個(gè)室內(nèi)場(chǎng)景分割數(shù)據(jù)集上取得了最新的性能，即NYU-Depth v2和SUN-RGBD數(shù)據(jù)集。

論文鏈接：https://arxiv.org/pdf/2101.10801.pdf

每日?qǐng)?jiān)持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周圍的同學(xué)。

- END -

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程

在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺(jué)、目標(biāo)跟蹤、生物視覺(jué)、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目52講

在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測(cè)、車道線檢測(cè)、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺(jué)實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺(jué)。

下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講

在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~