點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

目標(biāo)跟蹤就是在連續(xù)的數(shù)據(jù)序列中，建立所需要跟蹤目標(biāo)的位置關(guān)系，得到目標(biāo)完整的運(yùn)動(dòng)軌跡。通常是給定上一幀的目標(biāo)位置特征，在下一幀中對(duì)該目標(biāo)的位置以及邊界框的尺寸大小進(jìn)行預(yù)測(cè)。

目標(biāo)跟蹤的常用算法有很多，從傳統(tǒng)的濾波算法到深度學(xué)習(xí)的網(wǎng)絡(luò)預(yù)測(cè)，可以分為兩大類(lèi)：

• 生成式模型：建立目標(biāo)模型或者提取目標(biāo)特征，利用外觀表征在后續(xù)幀中進(jìn)行相似性搜索，最小化跟蹤目標(biāo)和候選目標(biāo)之間的誤差進(jìn)行定位。
  

• 判別式模型：通過(guò)對(duì)比目標(biāo)模型和背景信息的差異，將目標(biāo)模型提取出來(lái)，從而得到當(dāng)前幀中的目標(biāo)位置。

傳統(tǒng)的跟蹤算法大多屬于生成式模型，而深度學(xué)習(xí)的算法大多屬于判別式模型，幾種經(jīng)典的算法如下：

基于均值漂移的跟蹤：均值漂移是基于概率密度分布，使目標(biāo)的搜索一直沿著概率梯度上升的方向，迭代收斂到概率分布的峰值上。

基于卡爾曼濾波的跟蹤：通過(guò)檢測(cè)或者其他方式得到目標(biāo)的觀測(cè)位置，并根據(jù)運(yùn)動(dòng)方程從上一時(shí)刻的位置信息預(yù)測(cè)當(dāng)前時(shí)刻的位置信息，將觀測(cè)結(jié)果和預(yù)測(cè)結(jié)果進(jìn)行加權(quán)平均得到最終的目標(biāo)位置信息。

基于粒子濾波的跟蹤：對(duì)目標(biāo)基于粒子分布進(jìn)行建模，定義一種相似度度量來(lái)確定與目標(biāo)之間的匹配程度。然后按照高斯分布撒粒子，統(tǒng)計(jì)其相似度來(lái)確定目標(biāo)可能的位置信息。

基于核相關(guān)濾波的跟蹤：通過(guò)設(shè)計(jì)一個(gè)濾波模板，利用該模板與目標(biāo)候選區(qū)域做相關(guān)運(yùn)算，最大輸出響應(yīng)的位置即為當(dāng)前幀的位置信息。

基于深度學(xué)習(xí)的跟蹤：利用卷積神經(jīng)網(wǎng)絡(luò)將目標(biāo)從背景中提取出來(lái)，利用其對(duì)目標(biāo)強(qiáng)大的特征抽象能力以及對(duì)目標(biāo)運(yùn)動(dòng)過(guò)程的擬合能力實(shí)現(xiàn)跟蹤任務(wù)。

均值漂移和卡爾曼濾波算法實(shí)現(xiàn)簡(jiǎn)單，但是參數(shù)調(diào)節(jié)麻煩，魯棒性一般；相關(guān)濾波類(lèi)算法跟蹤速度較快，深度學(xué)習(xí)類(lèi)方法精度較高，但是對(duì)硬件資源有一定要求。根據(jù)不同的需要選擇最適合的濾波算法是工程中的關(guān)鍵。下面介紹幾種常見(jiàn)的濾波算法：

卡爾曼濾波根據(jù)系統(tǒng)狀態(tài)方程，通過(guò)系統(tǒng)輸出作為觀測(cè)方程來(lái)修正估計(jì)值，實(shí)現(xiàn)系統(tǒng)狀態(tài)的最優(yōu)估計(jì)。

其中涉及兩個(gè)方程：狀態(tài)方程和觀測(cè)方程

狀態(tài)方程是根據(jù)上一時(shí)刻的狀態(tài)和控制變量以及過(guò)程噪聲來(lái)估計(jì)當(dāng)前時(shí)刻的狀態(tài)，如下式：

qk是滿足高斯分布的過(guò)程噪聲，期望是0，方差是Qk。

觀測(cè)方程是由當(dāng)前時(shí)刻的估計(jì)值和測(cè)量噪聲得到當(dāng)前時(shí)刻的觀測(cè)值。如下式：

rk是滿足高斯分布的測(cè)量噪聲，期望是0，方差是Rk。

卡爾曼濾波可以分為兩個(gè)部分：

預(yù)測(cè)階段根據(jù)上一時(shí)刻的后驗(yàn)估計(jì)值來(lái)估計(jì)當(dāng)前時(shí)刻的狀態(tài)，得到當(dāng)前時(shí)刻的先驗(yàn)估計(jì)值；

校正階段使用當(dāng)前時(shí)刻的測(cè)量值來(lái)更新預(yù)測(cè)階段估計(jì)值，得到當(dāng)前時(shí)刻的后驗(yàn)估計(jì)值。

其中先驗(yàn)估計(jì)是根據(jù)系統(tǒng)過(guò)程原理或者經(jīng)驗(yàn)得到的估計(jì)值，實(shí)際應(yīng)用中可以通過(guò)傳感器數(shù)據(jù)去預(yù)測(cè)下一時(shí)刻的數(shù)據(jù)。后驗(yàn)估計(jì)是結(jié)合之前的先驗(yàn)狀態(tài)估計(jì)值，再加權(quán)測(cè)量值得到一個(gè)理論上最接近真實(shí)值的結(jié)果。

卡爾曼濾波僅適用于線性系統(tǒng)，并且系統(tǒng)的過(guò)程噪聲和測(cè)量噪聲均為高斯白噪聲。然后現(xiàn)實(shí)場(chǎng)景中一般系統(tǒng)狀態(tài)變量的差分方程都是非線性的。

擴(kuò)展卡爾曼濾波可以將非線性系統(tǒng)在其參考點(diǎn)上做泰勒級(jí)數(shù)展開(kāi)，取其一階線性部分作為該非線性模型的逼近，從而得到非線性系統(tǒng)在當(dāng)前時(shí)刻的線性化描述。所以它的狀態(tài)方程和觀測(cè)方程如下：

狀態(tài)方程：

觀測(cè)方程：

當(dāng)我們將非線性系統(tǒng)線性化后，擴(kuò)展卡爾曼濾波后面的原理和推導(dǎo)流程就和卡爾曼濾波一樣了。

擴(kuò)展卡爾曼濾波利用線性化來(lái)近似非線性函數(shù)，但是如果在近似點(diǎn)非線性程度越高、概率分布本身越不確定，得到的近似結(jié)果就會(huì)越差，通俗點(diǎn)說(shuō)就是泰勒展開(kāi)式中被忽略的高階項(xiàng)帶來(lái)的誤差有可能是濾波發(fā)散。

無(wú)跡卡爾曼濾波通過(guò)無(wú)損變換來(lái)近似一個(gè)高斯分布，通過(guò)使用加權(quán)統(tǒng)計(jì)線性回歸過(guò)程來(lái)實(shí)現(xiàn)隨機(jī)線性化。

它通過(guò)含有均值和協(xié)方差的確定的Sigma點(diǎn)來(lái)近似概率分布，通過(guò)系統(tǒng)的非線性模型生成更多的Sigma 點(diǎn)，經(jīng)過(guò)選擇合適的權(quán)值估計(jì)均值和協(xié)方差，避免了求解雅克比矩陣。相比EKF，它沒(méi)有丟棄高階項(xiàng)所有具有更高的估計(jì)精度，滿足了具有各種特殊要求的非線性濾波和控制方面的應(yīng)用。

所以無(wú)跡卡爾曼濾波是對(duì)非線性系統(tǒng)的概率密度分布進(jìn)行逼近，而不是對(duì)非線性系統(tǒng)函數(shù)進(jìn)行逼近。但是無(wú)跡卡爾曼濾波采用抽樣近似的方法，計(jì)算量較大；相比于擴(kuò)展卡爾曼濾波，只有在方差很大的情況下效果才明顯。

由于運(yùn)動(dòng)的場(chǎng)景比較復(fù)雜并且障礙物形狀經(jīng)常發(fā)生變化，如何跟蹤一個(gè)不斷變化的目標(biāo)是跟蹤任務(wù)的一大挑戰(zhàn)。

基于點(diǎn)云的目標(biāo)跟蹤存在的難點(diǎn)如下：

物體遮擋：不管是圖像數(shù)據(jù)還是點(diǎn)云數(shù)據(jù)都會(huì)存在物體被遮擋的問(wèn)題，如下圖所示，右下方的車(chē)輛被遮擋后導(dǎo)致點(diǎn)云數(shù)據(jù)被截?cái)?，進(jìn)而特征分布發(fā)生了變化。檢測(cè)輸出的外接框形狀會(huì)出現(xiàn)變化導(dǎo)致跟蹤拿不到穩(wěn)定的觀測(cè)值。

物體形變：由于激光點(diǎn)云近密遠(yuǎn)疏的采樣特性，同一個(gè)物體在不同的位置反射回來(lái)的點(diǎn)云特征會(huì)出現(xiàn)很大的變化，而物體表征模型的變化會(huì)造成檢測(cè)和跟蹤難以適應(yīng)，如下圖所示：一輛車(chē)從后方開(kāi)到前方時(shí)，外觀表征的不同。

背景干擾：如果運(yùn)動(dòng)目標(biāo)比較靠近場(chǎng)景中的靜態(tài)障礙物，采用傳統(tǒng)聚類(lèi)算法得到的檢測(cè)目標(biāo)很可能外觀表征會(huì)被放大，出現(xiàn)如下圖所示的問(wèn)題，紅路燈處路邊的騎車(chē)人和灌木點(diǎn)集靠的太近被聚類(lèi)在一起，當(dāng)騎車(chē)人運(yùn)動(dòng)時(shí)又被分開(kāi)，造成跟蹤目標(biāo)的表征出現(xiàn)變化。

其實(shí)在實(shí)際應(yīng)用中會(huì)出現(xiàn)很多特殊場(chǎng)景導(dǎo)致動(dòng)態(tài)障礙物的點(diǎn)云分布產(chǎn)生變化，嚴(yán)重影響跟蹤效果。追根溯源點(diǎn)云目標(biāo)跟蹤的好壞和兩點(diǎn)有關(guān)：

1. 目標(biāo)檢測(cè)的穩(wěn)定性；

2. 選擇穩(wěn)定的觀測(cè)值做數(shù)據(jù)關(guān)聯(lián)；

根據(jù)點(diǎn)云檢測(cè)的結(jié)果有很多目標(biāo)屬性可以作為觀測(cè)值，比如目標(biāo)的中心點(diǎn)，重心點(diǎn)，長(zhǎng)寬高，橫縱向速度等等。選擇不同位置的點(diǎn)對(duì)跟蹤的穩(wěn)定性是有影響的，車(chē)輛尾部中心坐標(biāo)一般就優(yōu)于3D框的中心點(diǎn)。而且對(duì)于低速小車(chē)，KF/EKF的效果已然能夠滿足功能需求。

好消息，小白學(xué)視覺(jué)團(tuán)隊(duì)的知識(shí)星球開(kāi)通啦，為了感謝大家的支持與厚愛(ài)，團(tuán)隊(duì)決定將價(jià)值149元的知識(shí)星球現(xiàn)時(shí)免費(fèi)加入。各位小伙伴們要抓住機(jī)會(huì)哦！

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱(chēng)+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~