欧美60部三级未删减版,免费成年人视频,亚洲AV永久无码精品国产精,av亚洲精华国产精华,亚洲综合在线无码,天天日天天干天天射,侵犯双性稚嫩小少爷h视频,日韩欧美国产二区

點擊下方卡片，關(guān)注“新機器視覺”公眾號

視覺/圖像重磅干貨，第一時間送達

就目前視覺SLAM的引用來區(qū)分，分為基于特征法的和直接法的視覺SLAM。上一篇文章（https://zhuanlan.zhihu.com/p/108298657）中分析了特征法和直接法之間的對比關(guān)系。以下全篇均在分析基于視覺+IMU的視覺SLAM，即VINS。

基于特征法的視覺SLAM（視覺+imu）在目前發(fā)展相對更佳成熟，本文重點分析基于特征法的視覺SLAM的前端特征檢測與跟蹤問題。就目前來看，主流的框架還是基于fast方法進行特征快速檢測，基于光流法進行特征跟蹤。與ORB-SLAM不同，基于光流法進行特征跟蹤可以甚至在高動態(tài)的場景下進行有效的特征跟蹤。在高動態(tài)場景下，一個關(guān)鍵的問題就是圖片容易模糊，基于ORB這種采用描述子進行特征匹配的特征跟蹤方法，極易在高動態(tài)場景下特征跟蹤失敗。

jiacheng: 特征點法的話，以VINS為例，需要提前把路上運動中的車提前檢測出來，去掉，這樣是為了去掉動的特征點。車行駛環(huán)境中有很多重復的紋理和區(qū)域，感覺像VINS中用光流跟蹤比計算描述子的特征點匹配，誤匹配的情況可能要好一些，因為光流法會指定當前幀圖像上的特征點的初始位置，也就是會在上一幀對應光流點的坐標值附近搜索和上一幀的匹配點。還有就是用特征點法地圖重用要簡單，只存儲特征點，需要的時候拿出來就能恢復位姿了。

jiacheng: 我也理解光流法是對光照更加敏感一些才對，但是測試的時候發(fā)現(xiàn)，只有在非常嚴重的光照變化，比如從黑漆漆的樹蔭底下一下子暴露到陽光暴曬下，VO才會堅持不住丟掉。

下面簡要的講述一下幾種描述子的特點以及相關(guān)的問題（特征描述子部分的材料參考了Dr. Yue的講座介紹）：

SIFT(Scale Invariant Feature Transform)：該描述子主要具備尺度不變性和旋轉(zhuǎn)不變性等優(yōu)秀的品質(zhì)，在視覺特征描述領(lǐng)域獲得很好地口碑；描述子由128維的向量描述子組成。根據(jù)以下兩個公式計算梯度幅值和梯度方向，基于特征點鄰域內(nèi)的像素對應的梯度信息，以獲得旋轉(zhuǎn)描述子的旋轉(zhuǎn)不變性，最終獲得128維的描述子。

Harris 特征：該特征描述方式主要依賴于特征點與鄰域內(nèi)的相關(guān)系數(shù)值。其中相關(guān)系數(shù)計算如下：

其中

表示特征點為中心的鄰域范圍。

計算如下：

因此可以的到：

其中：

因此可得到簡化形式如下：

Harris特征的優(yōu)勢之一是速度快，雖然 Harris 算法相較于其他眾多基于灰度的角點提取算法具有明顯的優(yōu)勢，但它仍然存在一些不足: 在經(jīng)典的 Harris 角點檢測中，當對角點的興趣值進行非極大值抑制來確定局部極大值的時候，角點的提取效果幾乎完全由設定的閾值大小決定。而閾值的大小也與所提取的角點數(shù)量息息相關(guān)，一般情況下，閾值越大提取的角點越少，極易造成正確角點的丟失; 閾值越小提取的角點數(shù)越多，也會帶來很多偽角點。因此，在用 Harris 算法進行角點檢測時，閾值這個經(jīng)驗值的選取和設定對角點提取具有很大的影響。這部分參考https://blog.csdn.net/weixin_41695564/article/details/79962401。

Fast特征：Fast特征的提出者Rosten等將Fast角點定義為：若某像素與其周圍鄰域內(nèi)足夠多的像素點相差較大，則該像素可能是角點。

1, 一個以像素p為中心，半徑為3的圓上，有16個像素點（p1、p2、...、p16）。

2、定義一個閾值。計算p1、p9與中心p的像素差，若它們絕對值都小于閾值，則p點不可能是特征點，直接pass掉；否則，當做候選點，有待進一步考察；

3、若p是候選點，則計算p1、p9、p5、p13與中心p的像素差，若它們的絕對值有至少3個超過閾值，則當做候選點，再進行下一步考察；否則，直接pass掉；

4、若p是候選點，則計算p1到p16這16個點與中心p的像素差，若它們有至少9個超過閾值，則是特征點；否則，直接pass掉。

5、對圖像進行非極大值抑制：計算特征點出的FAST得分值（即score值，也即s值），判斷以特征點p為中心的一個鄰域（如3x3或5x5）內(nèi)，計算若有多個特征點，則判斷每個特征點的s值（16個點與中心差值的絕對值總和），若p是鄰域所有特征點中響應值最大的，則保留；否則，抑制。若鄰域內(nèi)只有一個特征點（角點），則保留。得分計算公式如下（公式中用V表示得分，t表示閾值）：

該fast特征檢測方法以快著稱，清晰明了，在很多VINS中都采用這種檢測方式。

小結(jié)：

以無人駕駛，無人機這種高動態(tài)的場景來說，以視覺SLAM為背景，fast + 光流的場景將會是一種主流方案。我們的研究（Bai, Xiwei, Weisong Wen, and Li-Ta Hsu. "Robust Visual-Inertial Integrated Navigation System Aided by Online Sensor Model Adaption for Autonomous Ground Vehicles in Urban Areas." (2020).）也發(fā)現(xiàn)，基于fast+光流的方式即使在晚上高動態(tài)的場景下，也可以獲得相對不錯的相對定位精度，全程沒有fail掉，但是整體精度依舊有待改善。

基于ORB這種高效的描述子的方式，在基于視覺地圖做重定位的場合，具有很好的優(yōu)勢，比如類似于VPS等場合。

從全局上講，典型的VINS主要包括兩部分；即前端和后端。主要的VINS的誤差來源來自于一下幾部分。

特征檢測的精度：由于后期的特征跟蹤需要檢測出前后屬于同一個特征的特征點，如果特征檢測的精度誤差有0.5個pixel，那么反應到3D定位精度上，可能會是一個不小的誤差。

特征跟蹤精度：在使用光流法跟蹤過程中，由于特征跟蹤錯誤，導致計算重投影誤差出錯，最終的優(yōu)化求解誤差增大。

VINS狀態(tài)初始化精度：由于VINS的整個優(yōu)化問題是一個極度非線性的問題，因此一個好的初始化解是優(yōu)化求解達到最優(yōu)的關(guān)鍵?？偟膩碚f，一個好的初始化解，是優(yōu)化達到最優(yōu)解的關(guān)鍵之一。

勻速運動的自身車輛，導致視覺尺度不可觀：由于視覺的尺度需要基于IMU的觀測量來恢復，當車輛處于勻速運動的時候，由于加速度為0，將會導致視覺尺度不可觀。

高動態(tài)環(huán)境下的動態(tài)目標：由于視覺重投影的殘差依賴于一個假設：即特征是靜止的。然而在高動態(tài)環(huán)境下，動態(tài)車輛上檢測的特征將會極大的影響精度。我們組近期的文章在解決這些問題（Bai, Xiwei, Weisong Wen, and Li-Ta Hsu. "Robust Visual-Inertial Integrated Navigation System Aided by Online Sensor Model Adaption for Autonomous Ground Vehicles in Urban Areas." (2020).）

參考文獻：

[1] https://www.cnblogs.com/wyuzl/p/7834159.html

[2]https://zhuanlan.zhihu.com/p/108298657

[3]https://blog.csdn.net/weixin_41695564/article/details/79962401

來源：小白學視覺

—版權(quán)聲明—

僅用于學術(shù)分享，版權(quán)屬于原作者。

若有侵權(quán)，請聯(lián)系微信號:yiyang-sy 刪除或修改！

—THE END—

視覺SLAM前端特征檢測與跟蹤的思考