最新綜述：激光雷達(dá)感知深度的域適應(yīng)方法

點(diǎn)擊左上方藍(lán)字關(guān)注我們

一個(gè)專注于目標(biāo)檢測與深度學(xué)習(xí)知識分享的公眾號

編者薦語

在遷移學(xué)習(xí)中，當(dāng)源域和目標(biāo)的數(shù)據(jù)分布不同，但兩個(gè)任務(wù)相同時(shí)，這種特殊的遷移學(xué)習(xí)叫做域適應(yīng) （Domain Adaptation）。

作者丨黃浴@知乎

鏈接丨h(huán)ttps://zhuanlan.zhihu.com/p/393208234

arXiv在2021年6月上傳的綜述論文“A Survey on Deep Domain Adaptation for LiDAR Perception“。

為了實(shí)現(xiàn)規(guī)?；詣?dòng)駕駛，需要一個(gè)高效的考慮域漂移的方法。這個(gè)不是針對視覺感知，而是激光雷達(dá)感知的域適應(yīng)方法回顧。

域適應(yīng)（DA）是遷移學(xué)習(xí)（TL）的特例，一種transductive方法，是無監(jiān)督。域適應(yīng)可以細(xì)分如下：根據(jù)學(xué)習(xí)過程中考慮的類發(fā)布而定，分5種（來源于“Unsupervised Domain Adaptation in Semantic Segmentation: a Review”）

• Closed Set DA, 所有類在source domain 和 target domain出現(xiàn)。
• Partial DA, 只有source domain 的一部分類出現(xiàn)在 target domain。
• Open Set DA，完全沒有共享類。
• Open-Partial DA，共享和獨(dú)特類都有。
• Boundless DA 是Open Set DA，其中所有目標(biāo)域的類可以逐個(gè)學(xué)習(xí)。

最常見的baseline是entropy minimization方法，其他還有CyCADA，F(xiàn)eaDA和OutDA。

大多數(shù)工作的數(shù)據(jù)集是KITTI, SemanticKITTI, nuScenes, SemanticPOSS, 和 A2D2。

DA的use case：模擬器的采用產(chǎn)生一個(gè)新類DA方法 sim-to-real DA；還有g(shù)eography-to-geography DA，weather-to-weather DA，day-to-night DA（相比攝像頭，這種變化不大），sensor-to-sensor DA（姿態(tài)設(shè)置和內(nèi)部參數(shù)）和 dataset-to-dataset DA。

如下是激光雷達(dá)感知的DA分類：基本分?jǐn)?shù)據(jù)驅(qū)動(dòng)和模型驅(qū)動(dòng)兩個(gè)方向

domain-invariant representation方法如圖：hand-crafted方法，針對sensor-to-sensor domain shift，做數(shù)據(jù)預(yù)處理，包括Sampling Alignment in 2D Space和Geometric Representation in 3D Space。

Domain mapping方法如圖：主要是sim-to-real 和 dataset-to-dataset DA，域數(shù)據(jù)遷移，包括Adversarial Domain Mapping和Non-Adversarial Domain Mapping。

domain-invariant feature learning方法如圖：基本是兩個(gè)原則的方法分類，Divergence Minimization和Discriminator-based 方法。

還有Normalization Statistics及其他方法：在DNN，normalization layers 改進(jìn)訓(xùn)練收斂性，主要通過對訓(xùn)練數(shù)據(jù)分布校準(zhǔn)（Distribution alignment），這樣控制內(nèi)部covariate shift 和梯度尺度；不過，在圖像域有效的方法，即通過每個(gè)域不同的batch norm statistics對初始pseudo-labels迭代細(xì)化，對激光雷達(dá)域的效果沒有實(shí)驗(yàn)驗(yàn)證過。

最后，文章總結(jié)了激光雷達(dá)DA面臨的主要挑戰(zhàn)：

1.Comparability and Transfer from other Modalities：缺乏基準(zhǔn)和測度，有些采用圖像域的方法做基準(zhǔn)。

2.Discrepancies in Domain Gap Quality：測度是model-specific 和 task-specific，但是目前sensor-to-sensor domain gap不好處理。

3.Relevance of Cross-Sensor Adaptation：需要開發(fā)sensor-invariant perception systems，建立domain-invariant data representation。

4.Adaptation in Different Weather Scenarios：需要adverse weather scenarios 的數(shù)據(jù)，這樣才可以實(shí)現(xiàn)weather-to-weather DA。

5.Generative Models for Domain Translation：adversarial domain mapping方法有限，generative models方法研究不夠。

6.Open-Partial Domain Adaptation：好多是研究dataset-to-dataset DA，可是標(biāo)注類往往不同，這樣的問題就是Open-Partial DA，一般是采用label mapping 策略，就轉(zhuǎn)化成為 Closed Set DA 問題來求解。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

END

雙一流大學(xué)研究生團(tuán)隊(duì)創(chuàng)建，專注于目標(biāo)檢測與深度學(xué)習(xí)，希望可以將分享變成一種習(xí)慣！

整理不易，點(diǎn)贊三連↓