點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
本文轉(zhuǎn)自：計(jì)算機(jī)視覺工坊
以前提到過(guò)此文（在想法中），WACV‘2021錄?。骸癈enterFusion: Center-based Radar and Camera Fusion for 3D Object Detection“，作者來(lái)自田納西大學(xué)。
摘要：這是一個(gè)middle fusion方法，CenterFusion，它先通過(guò)一個(gè)center point檢測(cè)法得到圖像的目標(biāo)，然后和雷達(dá)檢測(cè)結(jié)果做數(shù)據(jù)相關(guān)，采用的是一個(gè)frustum-based方法。最后關(guān)聯(lián)的目標(biāo)檢測(cè)產(chǎn)生基于雷達(dá)的特征圖補(bǔ)充圖像特征，這樣回歸目標(biāo)的深度、旋轉(zhuǎn)角和深度。作者提供了代碼：https://github.com/mrnabati/CenterFusion網(wǎng)絡(luò)架構(gòu)如圖所示：跟摘要說(shuō)的那樣，細(xì)節(jié)見下面模塊分析。
首先，需要搞清楚雷達(dá)信號(hào)檢測(cè)的是徑向深度和目標(biāo)實(shí)際速度的不同，如圖：
作者采用CenterNet方法，無(wú)錨單目的目標(biāo)檢測(cè)方法。其中keypoint的heatmap定義為：
采用一個(gè)卷積encoder-decoder網(wǎng)絡(luò)預(yù)測(cè)Y。基于此，回歸3D目標(biāo)的深度、尺寸和朝向。其訓(xùn)練分類損失，即focal loss：
CenterFusion利用CenterNet先得到一個(gè)初步檢測(cè)，然后修正的DLA（deep layer aggregation）網(wǎng)絡(luò)作為主干，在primary regression head中預(yù)測(cè)初步的3D目標(biāo)信息，其中構(gòu)成包括一個(gè)3X3的卷積層和一個(gè)1X1的卷積層。Frustum association是關(guān)鍵融合雷達(dá)和圖像的機(jī)制。用圖像2D框和其深度+大小的估計(jì)構(gòu)建一個(gè)3D RoI frustum，如圖所示：
如果有多個(gè)雷達(dá)檢測(cè)點(diǎn)在這個(gè)RoI，直接取距離最近的一個(gè)。注意這里提到一個(gè)scaling factor可增大frustum尺寸，以便包容深度估計(jì)的誤差。另外，目標(biāo)高度的不準(zhǔn)確，作者采用Pillar expansion對(duì)雷達(dá)點(diǎn)云做預(yù)處理。如圖所示：第一行是雷達(dá)點(diǎn)云擴(kuò)大成3D pillar的顯示，第二行是直接把pillars和圖像匹配的結(jié)果，相關(guān)較弱。第三行是frustum相關(guān)，減少了上面的深度值重疊，也防止背景目標(biāo)（如大樓）錯(cuò)分類成前景。
圖像和雷達(dá)的數(shù)據(jù)相關(guān)之后，可以提取雷達(dá)目標(biāo)特征，深度和速度等。
如果兩個(gè)目標(biāo)有重疊的heatmap區(qū)域，按距離取最近的。之后，這些特征進(jìn)入secondary regression head，其結(jié)構(gòu)包括3個(gè)3X3卷積層和一個(gè)1X1卷積層。最后結(jié)果需要經(jīng)過(guò)一個(gè)box decoder得到。訓(xùn)練中regression head的損失采用SmoothL1 loss，center point heatmap采用focal loss，而attributes regression head基于Binary Cross Entropy (BCE) loss。
直觀結(jié)果比較如下：1-2行CenterFusion，3-4行CenterNet。
雷達(dá)點(diǎn)云綠色，目標(biāo)框GT紅色，目標(biāo)預(yù)測(cè)速度藍(lán)色箭頭。下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程
在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目52講在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測(cè)、車道線檢測(cè)、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺。下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。交流群
歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~
