↑ 點擊藍(lán)字?關(guān)注極市平臺

作者丨R

來源丨曠視研究院

編輯丨極市平臺

極市導(dǎo)讀

?

在CVPR 2020 SLAM挑戰(zhàn)賽上，曠視研究院參賽團(tuán)隊獲得了兩個賽道的冠軍。本文分享了他們采用的技術(shù)方案，并介紹了曠視SLAM機(jī)器人研究進(jìn)展。

相信做SLAM（即時定位與地圖構(gòu)建）的同學(xué)都知道或者領(lǐng)略過TartanAir，這個CMU于今年3月發(fā)布的超難數(shù)據(jù)集的“風(fēng)采”。據(jù)CMU研究人員介紹，構(gòu)建該數(shù)據(jù)集的目的就是為了推動視覺SLAM的極限。而在完全基于該數(shù)據(jù)集舉辦的 CVPR2020 SLAM 挑戰(zhàn)賽上，曠視研究院 SLAM 組以絕對優(yōu)勢包攬該挑戰(zhàn)賽全部賽道的冠軍。本文對團(tuán)隊的方案進(jìn)行了介紹，希望與同學(xué)們交流討論。

實時定位與地圖構(gòu)建（Simultaneous Localization and Mapping，SLAM）技術(shù)是機(jī)器人導(dǎo)航控制領(lǐng)域一項極為重要的基礎(chǔ)技術(shù)，雖然近年來SLAM領(lǐng)域發(fā)展迅猛，但算法在各類環(huán)境下的魯棒性問題仍然有待探索，這其中數(shù)據(jù)集扮演著關(guān)鍵角色。

一個典型的SLAM工作：利用視頻序列同時估計相機(jī)姿態(tài)和構(gòu)建環(huán)境地圖，視頻源于Direct Sparse Visual-Inertial Odometry using Dynamic Marginalization, Lukas von Stumberg, Vladyslav Usenko, Daniel Cremers, 2018 IEEE International Conference on Robotics and Automation (ICRA)

當(dāng)前已有的數(shù)據(jù)集雖然極大推動了領(lǐng)域的發(fā)展，但與實際應(yīng)用當(dāng)中的場景豐富度與運動模式相比，它們依然存在較大提升空間。為此 TartanAir 數(shù)據(jù)集橫空出世，作為對真實世界數(shù)據(jù)不足的補充，基于虛幻引擎強(qiáng)大擬真能力構(gòu)建的 TartanAir，包含大量風(fēng)格迥異、環(huán)境變量多元的場景。

另外，正是由于使用了虛擬環(huán)境，團(tuán)隊才能從各種視角、運動模式出發(fā)來收集數(shù)據(jù)樣本，這在真實世界的數(shù)據(jù)收集中往往十分困難。

??

TartanAir 數(shù)據(jù)示例，官網(wǎng)：http://theairlab.org/tartanair-dataset/

?

CVPR2020 SLAM 挑戰(zhàn)賽完全基于TartanAir開展，共有兩個賽道 Monocular Track、Stereo Track。每個比賽都要在給定的16個序列上算出軌跡并提交。

比賽官網(wǎng)：

https://sites.google.com/view/vislocslamcvpr2020/slam-challenge

?

評價指標(biāo)Score的計算方式為：，Score越小越好。其中取來平衡平移和旋轉(zhuǎn)的誤差，因為在該數(shù)據(jù)集上平均角速度（角度為單位）是平均線速度的7倍。

?

比賽提交時間于2020.08.15截止，根據(jù)提交的最優(yōu)的Score進(jìn)行排名。曠視研究院 SLAM 組最終包攬該挑戰(zhàn)賽全部賽項冠軍。此次登頂一方面證明曠視研究院在 SLAM 領(lǐng)域所具備的國際頂尖水平，同時這份成績也反映了曠視在機(jī)器人建圖定位方面的業(yè)界領(lǐng)先水平。

?

CVPR2020 SLAM 挑戰(zhàn)賽之所以對現(xiàn)有 SLAM 方案十分困難，其原因在于比賽數(shù)據(jù)擁有極為豐富的場景與場景環(huán)境變化，同時相機(jī)的各種極端運動模式也為 SLAM 算法的魯棒性提出了巨大挑戰(zhàn)。

?

1.豐富的場景：如室內(nèi)場景、城市場景、森林場景、水下場景等，因此需要 SLAM 算法很高的泛化能力，能夠勝任于各種場景。

?

2.場景的變化多種多樣：如光照變化、天氣變化（雨、雪、霧）、季節(jié)變化、弱紋理、動態(tài)物體等，需要 SLAM 算法很好的魯棒性，適應(yīng)各種場景變化。

?

3.極端的相機(jī)運動：使得視角變化很大，需要魯棒的 Tracking 算法以至于不容易跟蹤丟失。

?

技術(shù)方案

針對上述難點，曠視研究院 SLAM 組在此次比賽中的 Mono Track 和 Stereo Track 兩個賽道分別采用了以下的技術(shù)方案。

1.Mono Track

各階段提交結(jié)果如下：

在 Mono Track 中，研究人員主要用了以下方法：

?

• 用 COLMAP 作為 baseline 方法

COLMAP 是一種常用的 SFM 系統(tǒng)，其流程圖如上圖所示。對輸入的圖像序列，通過特征提取、匹配以及幾何校驗來建立特征間的數(shù)據(jù)關(guān)聯(lián)，然后通過圖像配準(zhǔn)、三角化特征點以及Bundle Adjustment 來進(jìn)行增量式的定位與建圖。由于 COLMAP 精度高且可擴(kuò)展性較強(qiáng)，研究人員在比賽中所用方案都是基于 COLMAP 的框架。

?

• 用 SuperPoint 和 SuperGlue 進(jìn)行特征提取和匹配

在 COLMAP 中，通過提取 SIFT 特征點和最近鄰匹配來建立特征間的關(guān)聯(lián)。而本次比賽的難點之一就是豐富且不斷變化的場景，不論是變化的光線還是雨雪霧等天氣的影響，準(zhǔn)確的提取特征點以及建立特征點之間正確的匹配都將對結(jié)果有著至關(guān)重要的影響。如上圖所示，人工設(shè)計的 SIFT 特征和最近鄰匹配在比賽環(huán)境中無法達(dá)到理想的效果。

?

針對這一問題，研究人員采用了 SuperPoint 以及 SuperGlue 的方案。SuperPoint 通過利用深度學(xué)習(xí)來得到圖像中的特征點，SuperGlue 通過利用 CNN 和 GNN 將兩幀圖像的特征點進(jìn)行匹配。通過測試及驗證 SuperPoint+SuperGlue 相比于 SIFT+NN，會有更多正確的匹配，同時有更少的錯誤匹配。

?

• 根據(jù)環(huán)境進(jìn)行動態(tài)閾值調(diào)整

由于場景變化豐富，即使在同一個序列中，也存在著很劇烈的變化，例如從室內(nèi)到室外、從強(qiáng)光照到弱光照、從強(qiáng)紋理到弱紋理等。這種場景的不均衡分布會給算法精度帶來很大的影響。如上圖所示，當(dāng)采用固定閾值時，同一個序列中的兩對匹配由于場景變化太快，導(dǎo)致特征點和匹配的數(shù)量極度不均衡，將會使得 BA 環(huán)節(jié)帶來精度的損失。

為了解決這一問題，如上圖所示，研究人員根據(jù)環(huán)境的變化動態(tài)的調(diào)整閾值等參數(shù)，使之做到保持每幅圖像中特征點和匹配的數(shù)量都比較均衡，減小特征點的不均衡分布帶來的影響。

?

• Loop detection via BoW and geometric validation

另一個關(guān)鍵點就是回環(huán)檢測。研究人員發(fā)現(xiàn)有一些測試數(shù)據(jù)集存在回環(huán)，如果能正確的檢測出回環(huán)的話可以很大程度上糾正累計誤差。

?

研究人員通過 BoW 進(jìn)行回環(huán)檢測，然后通過 geometric validation 剔除錯誤回環(huán)，然后 global BA。通過這種方式來使得精度進(jìn)一步提升。

?

如下為一些單目測試集上的結(jié)果：

?

?

2.Stereo Track

各階段提交結(jié)果如下：

雙目的方法跟單目的方法大同小異，不同的是雙目每次會輸入左目和右目一對圖像，且雙目帶有絕對尺度。除了跟單目中一樣的方法，研究人員主要用了以下方法：

?

• 由于 COLMAP 不支持雙目，首先將 COLMAP 改成雙目的 COLMAP，主要添加了COLMAP 中雙目的初始化，雙目匹配，以及適配于雙目的 BA。流程圖如下：

?

當(dāng)輸入一對雙目，研究人員對雙目的每幅圖像提取特征點，然后通過雙目匹配和相鄰幀匹配來建立特征間的數(shù)據(jù)關(guān)聯(lián)，然后進(jìn)行雙目初始化、雙目配準(zhǔn)、特征點三角化等。在BA中，研究人員只優(yōu)化左目圖像的位姿，右目的位姿通過左目和外參得到，同時固定雙目的外參。通過上述流程研究人員可以針對雙目圖像進(jìn)行增量式的定位與建圖。

?

• 跟單目的做法一樣用 SuperPoint 和 SuperGlue 進(jìn)行特征提取和匹配
• 同時使用 SIFT 特征點和 SuperPoint 特征點進(jìn)行 Mapping

?

相比于單目的測試數(shù)據(jù)集，雙目測試數(shù)據(jù)集中，相機(jī)運動更加極端。為了保持在極端運動中還能魯棒的 tracking，研究人員同時使用 SIFT 特征點和 SuperPoint 特征點進(jìn)行 Mapping，這樣能構(gòu)建更多的 Mappoints，使 Tarcking 更加魯棒而且不容易 track lost。

?

• 其他做法跟單目相同。

如下為一些雙目測試集上的結(jié)果：

?

總結(jié)

截止到 2020.8.15 比賽結(jié)束，曠視研究院 SLAM 組最終在 SLAM Challenge 的 Mono Track 和Stereo Track 兩個賽道同時獲得冠軍。以下是研究人員進(jìn)行的一些基準(zhǔn)測試以及研究人員所用的方法在 leaderboard 上的得分，供大家參考。

?

延伸閱讀：曠視SLAM機(jī)器人

曠視的 SLAM 技術(shù)在機(jī)器人產(chǎn)品中得到了廣泛應(yīng)用，業(yè)內(nèi)首創(chuàng)的激光視覺融合導(dǎo)航技術(shù)，賦予曠視機(jī)器人全新一代的 MegBot-S800 AMR 更精準(zhǔn)的定位能力，更強(qiáng)大的環(huán)境適應(yīng)性。

MegBot-S800 AMR，額定負(fù)載 800KG，360° 激光雷達(dá)覆蓋，VSLAM 技術(shù)加持，具備低矮物體檢測、智能繞障能力。

MegBot-S800 AMR

MegBot-S800 AMR 實機(jī)測試畫面

曠視機(jī)器人在 SLAM 以及 3D 感知等技術(shù)上具有多項行業(yè)領(lǐng)先的技術(shù)創(chuàng)新：

1）高精到點：自然環(huán)境導(dǎo)航，構(gòu)建高精特征地圖，實現(xiàn) ±1cm 全程平均定位精度和 ±5mm 的高精重復(fù)到點。

2）視覺-激光融合：融合視覺、激光等多傳感器的新一代 SLAM 技術(shù)，智能過濾動態(tài)物體，實現(xiàn)傳統(tǒng)激光 SLAM 無法達(dá)到的動態(tài)環(huán)境適應(yīng)性。

3）重定位：基于深度學(xué)習(xí)的視覺場景識別技術(shù)，隨時隨地開機(jī)、重啟，無需人為干預(yù)。

4）地圖智能更新：自動評估當(dāng)前感知環(huán)境與建圖時刻環(huán)境的變化，多車聯(lián)動，實現(xiàn)地圖可靠、智能的自動升級。

5）柔性導(dǎo)航：結(jié)合高精度地圖和智能避障系統(tǒng)，實現(xiàn)靈巧、安全和高效的智能導(dǎo)航。

6）智能避障：通過深度學(xué)習(xí)和 3D 技術(shù)識別環(huán)境中的人體、坑洞、懸浮物等障礙，并實現(xiàn)不同的智能避障策略，達(dá)到極高的安全性標(biāo)準(zhǔn)。

?

相信未來，曠視 SLAM 技術(shù)還將帶來更大的突破，曠視機(jī)器人也將始終堅持用技術(shù)革命行業(yè)的理念，為大家?guī)砀囿@喜！

推薦閱讀

• 查找計算機(jī)視覺頂會CVPR/ECCV/ICCV論文的方法大全
  

• 時隔一年，盤點CVPR 2019影響力最大的20篇論文
  

• 極市直播回放丨第66期-曠視朱本金：AutoAssign，目標(biāo)檢測中完全動態(tài)的正負(fù)樣本標(biāo)簽分配方法
  

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測-深圳），即可申請加入極市目標(biāo)檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學(xué)影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實項目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~

△長按添加極市小助手

△長按關(guān)注極市平臺，獲取最新CV干貨

覺得有用麻煩給個在看啦~??