淺談?wù)Z義在SLAM中的應(yīng)用

Simultaneous Localization And Mapping（同時(shí)建圖與定位）

?可以分為四大部分：initialization, tracking, local mapping, global optimization

視覺(jué)SLAM主要涉及的知識(shí)

?多視角幾何：投影幾何，相機(jī)模型

?圖像處理：特征提取，特征點(diǎn)跟蹤

?優(yōu)化算法：非線性優(yōu)化算法(Levenberg-Marquardt法)

?INITIALIZATION

?一般將第一張圖像進(jìn)入系統(tǒng)時(shí)的相機(jī)位姿作為V-SLAM系統(tǒng)的參考坐標(biāo)系

?選取之后輸入的某張圖像計(jì)算和第一張圖像匹配角點(diǎn)并三角化獲取深度，生成候選的初始化MAP

?重投影計(jì)算誤差，如果誤差太大則重新選取圖像

?直到誤差小于閾值，進(jìn)行一次優(yōu)化，得到初始化MAP

?TRACKING

?計(jì)算當(dāng)前圖像和之前相近圖像的關(guān)系(特征點(diǎn)匹配，光流法，邊緣跟蹤等等)

?根據(jù)計(jì)算出的關(guān)系，通過(guò)相應(yīng)算法估計(jì)當(dāng)前相機(jī)的大概位置

?其中“直接法”將前面兩部合并為一步來(lái)執(zhí)行

?LOCAL MAPPING

?可以采取滑動(dòng)窗口的方式或者挑選某些關(guān)鍵幀來(lái)建立局部地圖

?當(dāng)某一幀圖像根據(jù)策略算法選為關(guān)鍵幀后，添加到局部地圖的關(guān)鍵幀隊(duì)列中

?管理局部地圖中存在的點(diǎn)云

?進(jìn)行局部的Bundle Adjustment(BA)

?最后進(jìn)行關(guān)鍵幀的管理

?GLOBAL OPTIMIZATION

?利用BOW挑選出候選回環(huán)幀

?對(duì)候選回環(huán)幀進(jìn)行驗(yàn)證，確保是正確的回環(huán)

?根據(jù)回環(huán)幀計(jì)算累積漂移誤差

?最后進(jìn)行全局優(yōu)化

語(yǔ)義SLAM

?為什么要語(yǔ)義？

?對(duì)環(huán)境的魯棒性(動(dòng)態(tài)環(huán)境)

?獲取地圖的先驗(yàn)信息，得到更高精度(添加語(yǔ)義約束)

?更好地回環(huán)檢測(cè)

?人機(jī)交互(如CAD制圖)

傳統(tǒng)回環(huán)檢測(cè)

?目前比較主流的回環(huán)檢測(cè)方法一般都依賴于BoW(bag of visual words)方法

?開(kāi)源庫(kù)：DBoW2: https://github.com/dorian3d/DBoW2(當(dāng)然還有DBoW3,fbow)

?連續(xù)幀匹配DLoopDetector：https://github.com/dorian3d/DLoopDetector

?ORB-SLAM,VINS等都使用了DBoW2

?其他檢索方式還有LSH(Locality-Sensitive Hashing）以及

LLC(Locality-constrained Linear Coding)

語(yǔ)義能夠給SLAM系統(tǒng)帶來(lái)的好處

?支持中長(zhǎng)期的tracking

?環(huán)境適應(yīng)性更強(qiáng)(魯棒性)

?潛在的人機(jī)交互特性

語(yǔ)義SLAM系統(tǒng)和傳統(tǒng)SLAM系統(tǒng)對(duì)比

由于我們 人類(lèi)見(jiàn)過(guò)大量的圖像，形成了一種天生的直覺(jué)，對(duì)大部分場(chǎng)景都有一個(gè)直觀的距離感 （空間感），它可以幫助我們判斷圖像中物體的遠(yuǎn)近關(guān)系。

1.平移之后才能計(jì)算深度

2.無(wú)法確定真實(shí)尺度

原因是通過(guò)單張圖像無(wú)法確定深度。

深度相機(jī)（稱RGB-D相機(jī)）最大的特點(diǎn)是可以通過(guò)紅外結(jié)構(gòu)光或Time-of-Flight（ToF） 原理，像激光傳感器那樣，通過(guò)主動(dòng)向物體發(fā)射光并接收返回的光，測(cè)出物體與相機(jī)之間的距離。這部分是通過(guò)物理的測(cè)量手段來(lái)解決的，所以不需要大量的算力。

ToF

基本原理是通過(guò)連續(xù)發(fā)射光脈沖（一般為不可見(jiàn)光）到被觀測(cè)物體上，然后用傳感器接收從物體返回的光，通過(guò)探測(cè)光脈沖的飛行（往返）時(shí)間來(lái)得到目標(biāo)物距離。

結(jié)構(gòu)光

結(jié)構(gòu)光測(cè)距是用一個(gè)光源（常用是紅外）將一定的圖案投射到物體上，再用攝像頭收集變形后的圖案進(jìn)行深度計(jì)算。

這種方法比純雙目匹配好的地方在于，參考圖像不是獲取的，而是經(jīng)過(guò)專(zhuān)門(mén)設(shè)計(jì)的圖案 ，因此特征點(diǎn)是已知的，而且更容易從測(cè)試圖像中提取。結(jié)構(gòu)光采用三角視差測(cè)距，基線(光源與鏡頭光心的距離)越長(zhǎng)精度越高。由于是主動(dòng)光，無(wú)法在室外使用。

不論是一般結(jié)構(gòu)光還是散斑結(jié)構(gòu)光，缺點(diǎn)是它所使用的激光器發(fā)出的編碼光斑容易被太陽(yáng)光淹沒(méi)掉, 工作距離短，室外陽(yáng)光下不工作。

結(jié)構(gòu)光方案中的激光器壽命較短，難以滿足7x24小時(shí)的長(zhǎng)時(shí)間工作要求，其長(zhǎng)時(shí)間連續(xù)工作很容易損壞。而因?yàn)閱文跨R頭和激光器需要進(jìn)行精確的標(biāo)定，一旦損壞，替換激光器時(shí)重新進(jìn)行兩者的標(biāo)定是非常困難的，所以往往導(dǎo)致整個(gè)模塊都要一起被換掉。

現(xiàn)在多數(shù) RGB-D 相機(jī)還存在測(cè)量范圍窄、噪聲大、視野小、易受日光干擾、無(wú)法測(cè)量透射材質(zhì)等諸多問(wèn)題，在 SLAM 方面，主要用于室內(nèi)，室外則較難應(yīng)用。

立體視覺(jué)

雙目相機(jī) 的距離估計(jì)是比較左右眼的圖像獲得的，并不依賴其他傳感設(shè)備，所以它既可以應(yīng)用在室內(nèi)，亦可應(yīng)用于室外。

雙目立體視覺(jué)是純視覺(jué)的方法，需要逐像素計(jì)算匹配；同時(shí)，為了保證匹配結(jié)果比較魯棒，算法中會(huì)增加大量的錯(cuò)誤剔除策略，因此對(duì)算法要求較高，計(jì)算量較大。

VSLAM(Mono)

優(yōu)勢(shì)：成本低、搭建簡(jiǎn)單

劣勢(shì)：

1) 需要專(zhuān)門(mén)初始化

2) 尺度問(wèn)題

在單張圖片里，無(wú)法確定一個(gè)物體的真實(shí)大小。它可能是一個(gè)很大但很遠(yuǎn)的物體，也可能是一個(gè)很近很小的物體。

3) 深度計(jì)算存在缺陷

a. 3D假圖問(wèn)題

b. 機(jī)器學(xué)習(xí)的樣本問(wèn)題

VSLAM(Stereo)

優(yōu)勢(shì)：

1) 不需要專(zhuān)門(mén)初始化

2) 能夠計(jì)算深度

3) 能夠用于室內(nèi)和室外

劣勢(shì)：

1) 標(biāo)定較為復(fù)雜

2) 視差計(jì)算比較耗資源，需要GPU/FPGA 或 專(zhuān)門(mén)的ASIC芯片 協(xié)助