多目標(biāo)跟蹤:視覺(jué)聯(lián)合檢測(cè)和跟蹤

國(guó)內(nèi)頭部以自動(dòng)駕駛?cè)炯夹g(shù)為主線的交流學(xué)習(xí)社區(qū)（感知、歸控等），包含大量前沿論文解讀、工程實(shí)踐(源代碼)、視頻課程，熱招崗位。歡迎加入！

點(diǎn)擊上方“ 邁微AI研習(xí)社 ”，選擇“ 星標(biāo)★ ”公眾號(hào)

重磅干貨，第一時(shí)間送達(dá)

Joint detection and tracking （同時(shí)實(shí)現(xiàn)檢測(cè)和跟蹤）是Multiple Object Tracking（MOT）的一個(gè)重要研究方向。Multiple Object Tracking，多目標(biāo)跟蹤， 主要包括兩個(gè)過(guò)程（Detection + ReID，Detection 是檢測(cè)出圖像或者點(diǎn)云中的目標(biāo)框從而獲取目標(biāo)的位置，而ReID是將序列中同一個(gè)目標(biāo)關(guān)聯(lián)起來(lái)） ，因此一方面這涉及到時(shí)間和空間的特征學(xué)習(xí)和交互，另一方面也涉及到檢測(cè)和重識(shí)別（特征的embedding）的多任務(wù)學(xué)習(xí)，導(dǎo)致MOT任務(wù)。目前MOT可以分成三大類（如圖一所示）:

1. SDE(Separate Detection and Embedding), 或者稱為Tracking-by-detection, 該類的想法也非常直接，將多目標(biāo)跟蹤這個(gè)任務(wù)進(jìn)行拆分，先進(jìn)行單幀的目標(biāo)檢測(cè)得到每幀的目標(biāo)框，然后再根據(jù)幀間同一目標(biāo)的共性進(jìn)行關(guān)聯(lián)(association)，幀間的關(guān)聯(lián)的重要線索包括appearance, motion, location等，典型的代表算法包括SORT和Deep SORT。這類算法的優(yōu)點(diǎn)是簡(jiǎn)單，將Detection和ReID解耦分開(kāi)解決。例如上述的SORT和Deep SORT的檢測(cè)器可以不受到限制，使用SOTA的檢測(cè)方法，在目標(biāo)關(guān)聯(lián)上使用卡爾曼濾波＋匈牙利匹配等傳統(tǒng)方法。但是缺點(diǎn)也很明顯，就是解耦開(kāi)無(wú)法促進(jìn)多任務(wù)學(xué)習(xí)，特別受限目標(biāo)關(guān)聯(lián)階段的方法而且依賴目標(biāo)檢測(cè)算法，也只能處理比較簡(jiǎn)單的場(chǎng)景。

2. Two-Stage方法也可稱之為Tracking-by-detection，只不過(guò)其中的ReID變成第一階段網(wǎng)絡(luò)學(xué)習(xí)得到的ROI特征然后在第二階段進(jìn)行embedding特征的學(xué)習(xí)，相對(duì)于第一類進(jìn)步點(diǎn)在于 appearance特征 可由第一階段獲得，但是兩階段方法的詬病是inference比較慢,而且我覺(jué)得detection特征和embedding特征還是沒(méi)有構(gòu)成多任務(wù)學(xué)習(xí)的狀態(tài)。

3. JDE(Joint Detection and Embedding)或者是Joint detection and tracking 這類算法是在一個(gè)共享神經(jīng)網(wǎng)絡(luò)中同時(shí)學(xué)習(xí)Detection和Embedding，使用一個(gè)多任務(wù)學(xué)習(xí)的思路共享特征學(xué)習(xí)網(wǎng)絡(luò)參數(shù)并設(shè)置損失函數(shù)，從而可以實(shí)現(xiàn)Detection和ReID的交互和促進(jìn)，然后由于屬于一階段模型，因此在速度上是可以達(dá)到實(shí)時(shí)，所以是可以保證應(yīng)用的。因此是Joint detection and tracking 這類算法我們關(guān)注的重點(diǎn)。

同時(shí)為了實(shí)現(xiàn)Joint detection and tracking，需要解決如下幾個(gè)問(wèn)題（也包括一些思路）：

1. 多任務(wù)學(xué)習(xí) 中如何同時(shí)輸出檢測(cè)和幀間的數(shù)據(jù)關(guān)聯(lián),　特別是數(shù)據(jù)關(guān)聯(lián)如何實(shí)現(xiàn)？損失函數(shù)如何設(shè)計(jì)？

   1. 目前看到的方案中主要分成兩大類，一種是通過(guò)motion based 例如一個(gè)head實(shí)現(xiàn)輸出目標(biāo)的速度或者是目標(biāo)的偏移，然后通過(guò)位置關(guān)聯(lián)實(shí)現(xiàn)（CenterTrack系列）。另外一種是appearance based 在新增加的heading中通過(guò)對(duì)比學(xué)習(xí)得到各目標(biāo)在特征上的差異, 但是匹配還是通過(guò)計(jì)算相似度并且二分匹配，也不是真正意義上的Joint detection and tracking。

2. 網(wǎng)絡(luò)設(shè)計(jì)上如何實(shí)現(xiàn)detection和embedding的聯(lián)合訓(xùn)練？

   1. Detection和ReID模型的學(xué)習(xí)是存在不公平的過(guò)度競(jìng)爭(zhēng)的，這種競(jìng)爭(zhēng)制約了兩個(gè)任務(wù)（檢測(cè)任務(wù)和 ReID 任務(wù) ）的表示學(xué)習(xí)，導(dǎo)致了學(xué)習(xí)的混淆。具體而言，檢測(cè)任務(wù)需要的是同類的不同目標(biāo)擁有相似的語(yǔ)義信息（類間距離最大），而ReID要求的是同類目標(biāo)有不同的語(yǔ)義信息（類內(nèi)距離最大）。

   2. 需要將對(duì)embedding分支和現(xiàn)detection分支分開(kāi)，以及可以在embedding內(nèi)部進(jìn)行注意力機(jī)制的建模。（CSTrack里面引入自相關(guān)注意力機(jī)制和互相關(guān)權(quán)重圖）

   3. 淺層特征對(duì)于ReID任務(wù)更有幫助，深層特征對(duì)于Detection任務(wù)更有幫助。(FairMOT)

   4. Detection和Tracking模型的相互促進(jìn)，如何做到Detection幫助Tracking, Tracking反哺Detection（TraDeS構(gòu)建CVA和MFW分別進(jìn)行匹配和特征搬移，該部分和多幀的特征學(xué)習(xí)相似，利用學(xué)習(xí)到的運(yùn)動(dòng)信息搬移歷史特征到當(dāng)前幀，輔助當(dāng)前幀的目標(biāo)檢測(cè)）

   5. 在圖像里目標(biāo)較大的尺度變化也對(duì)embedding的學(xué)習(xí)有很大的影響，之前embedding的學(xué)習(xí)是固定大小的proposal區(qū)域。（CSTrack里引入尺度感知注意力網(wǎng)絡(luò)）

3. 如何進(jìn)行多幀的學(xué)習(xí)，時(shí)間和空間的交互？

   1. 目前大部分的網(wǎng)絡(luò)輸入的一幀或者兩幀，學(xué)習(xí)到的數(shù)據(jù)關(guān)聯(lián)都是短時(shí)的，如何拓展到任意多幀，例如使用convGRU的方法等（可以參見(jiàn)Perma Track）。

   2. 如何處理遮擋？遮擋包括局部遮擋以及全部遮擋，尤其是全部遮擋，一方面需要根據(jù)多幀來(lái)將歷史的狀態(tài)進(jìn)行推移，另一方面也需要處理appearance特征和motion特征的關(guān)系，并且在損失函數(shù)設(shè)計(jì)上如何處理Detection和ReID不一致的地方。

   3. 需要同時(shí)cover 住short-range matching和long-range matching, 也就是分成正常情況下的matching, 短時(shí)間的遮擋和長(zhǎng)時(shí)間的遮擋如何對(duì)特征的利用。

   4. 對(duì)運(yùn)動(dòng)信息的顯示建模，例如學(xué)習(xí)特征圖的運(yùn)動(dòng)信息（或者場(chǎng)景流之類的）也是多幀融合的一種方案，同時(shí)該運(yùn)動(dòng)信息也是幀間目標(biāo)關(guān)聯(lián)的依據(jù)。

4. appearance, motion, location特征如何學(xué)習(xí)和使用？

   1. appearance特征對(duì)于long-range matching比較有用，但是沒(méi)法處理遮擋，可能會(huì)帶來(lái)干擾。

   2. motion和location特征沒(méi)有那么準(zhǔn)確，特別進(jìn)行l(wèi)ong-range matching, 但是在short-range matching可以發(fā)揮作用，而且在被全部遮擋的情況下可以發(fā)揮作用。

5. anchor-based vs anchor-free

   1. 此部分其實(shí)也是屬于網(wǎng)絡(luò)設(shè)計(jì)的一部分，目前的Joint detection and tracking都是基于detection的框架，而detection分成anchor-based與anchor-free兩部分，目前而言，使用anchor-based的方法進(jìn)行建模的包括JDE以及RetinaTrack，例如JDE進(jìn)行訓(xùn)練的時(shí)候一個(gè)grid分成很多個(gè)anchor,　但是分成１個(gè)track id, 這個(gè)造成遮擋的id匹配的模棱兩可，RetinaTrack是每一個(gè)anchor分配一個(gè)track id

   2. anchor free使用點(diǎn)攜帶所有特征進(jìn)行分類或者位置回歸，如果需要學(xué)習(xí)embedding只是加上一個(gè)分支，模棱兩可更小一點(diǎn)，所以建議使用anchor-free方法。

   3. 通過(guò)歷史heatmap和當(dāng)前heatmap構(gòu)成存在置信度（SimTrack）

   4. 通過(guò)雙向匹配（ＱDTrack）

   5. 依照傳統(tǒng)的方法（CenterTrack系列）

分類(部分方法)

---

JDE: Towards Real-Time Multi-Object Tracking

• paper: https://arxiv.org/abs/1909.12605v1

• code: https://github.com/Zhongdao/Towards-Realtime-MOT

JDE同時(shí)輸出了檢測(cè)框和embedding信息。后面通過(guò)卡爾曼濾波和匈牙利算法進(jìn)行目標(biāo)的匹配?？偟膩?lái)說(shuō)，還是分為檢測(cè)和匹配雙階段。

另外屬于anchor based，而且一個(gè)grid K anchors 1 reid，這是很大的缺點(diǎn)。

---

FairMOT: On the Fairness of Detection and Re-Identification in Multiple Object Tracking

paper: https://arxiv.org/abs/2004.01888 code: https://github.com/ifzhang/FairMOT

• A simple baseline for one-shot multi-object tracking
• 行人性能比較好 tracking = detection + re-id　單類別？
• 在方法上基于anchor的方法會(huì)使ReID的方法帶來(lái)壞處 ，涉及到遮擋目標(biāo)id分配問(wèn)題
• 淺層特征對(duì)于使ReID會(huì)有益處，而且需要將detection和re-id分支分開(kāi)

---

特別說(shuō)明的是針對(duì)3d目前主要是motion/location-based 方法，這些對(duì)于3d joint detection and tracking首先采用anchor-free框架容易嵌套到我們的框架里，另外簡(jiǎn)單高效。特別是CenterTrack/SimTrack系列（包括CenterTrack, ByteTrack, SimTrack以及PermaTrack）。其中CenterTrack在原有anchor-free detection方法基礎(chǔ)上增加一個(gè)位置偏移分支用于匹配，ByteTrack在此基礎(chǔ)上為了增加匹配的成功率，進(jìn)行級(jí)聯(lián)匹配方式，PermaTrack對(duì)遮擋問(wèn)題進(jìn)行建模以提高long-range tracking能力（包括輸入任意長(zhǎng)度的幀）。從上述可以看到該框架仍然有一些改進(jìn)點(diǎn)：１．對(duì)motion/location特征用的比較多，對(duì)于appearance特征發(fā)揮的作用滅有那么大。２.從實(shí)驗(yàn)也可以看到tracker management做的不是特別好, tracker id 容易切換，應(yīng)該也是因?yàn)槠ヅ涞臅r(shí)候多用于motion/location特征的原因，有可能是對(duì)多幀建模較弱的原因（CenterTrack輸入只有兩幀，而且inference用的歷史信息不足造成的，而且training和inference如何做到統(tǒng)一) 3. 遮擋情況下如何可以處理的更好，特征利用上一方面需要將歷史特征搬到當(dāng)前幀（如何搬，顯式預(yù)測(cè)速度還是ConvGRU隱式的方式），損失函數(shù)如何設(shè)計(jì)，畢竟detection看不到reid需要。

下文對(duì)一些方法進(jìn)行簡(jiǎn)單/詳細(xì)的說(shuō)明(詳細(xì)說(shuō)CenterTrack系列方法)。其中SimTrack可參見(jiàn)

Exploring Simple 3D Multi-Object Tracking for Autonomous Driving論文閱讀

---

CenterTrack: Tracking Objects as Points

paper: https://arxiv.org/abs/2004.01177 code: https://github.com/xingyizhou/CenterTrack 輸入是當(dāng)前幀圖片和前一幀圖片以及前一幀的heatmap(在訓(xùn)練的時(shí)候是由真值產(chǎn)生, 當(dāng)然為了模擬測(cè)試的情況也加入一些噪聲, 在測(cè)試的時(shí)候由檢測(cè)框渲染生成)。預(yù)測(cè)當(dāng)前幀的檢測(cè)結(jié)果，然后使用當(dāng)前幀的檢測(cè)結(jié)果以及當(dāng)前幀到上一幀的偏移。在預(yù)測(cè)的時(shí)候通過(guò)該偏移將目標(biāo)中心點(diǎn)引入到上一幀和上一幀進(jìn)行關(guān)聯(lián)（使用貪婪匹配算法）

• 跟蹤條件檢測(cè)（Tracking-conditioned detection）利用多輸入上一幀以及輸入上一幀渲染出的heatmap來(lái)作為歷史信息的輸入

• 時(shí)間關(guān)聯(lián)（ Association through offsets）通過(guò)多輸出偏移來(lái)進(jìn)行目標(biāo)ID的匹配

數(shù)據(jù)增強(qiáng)方法：真值生成heatmap增加噪聲（數(shù)量不定的missing tracklets、錯(cuò)誤定位的目標(biāo)以及還可能有誤檢的目標(biāo)存在），在輸入的兩幀上時(shí)間間隔不一定是連續(xù)的，從而規(guī)避掉模型對(duì)視頻幀率的敏感性。（比較重要）

缺點(diǎn)：都是兩幀的匹配，如果出現(xiàn)遮擋或者離開(kāi)檢測(cè)區(qū)域則可能會(huì)引起ID的切換和跳變，沒(méi)有考慮如何在時(shí)間上有較大間隔的對(duì)象重新建立聯(lián)系。此問(wèn)題也是需要面對(duì)的問(wèn)題。

---

ByteTrack: Multi-Object Tracking by Associating Every Detection Box

• paper: https://arxiv.org/abs/2110.06864
• code: https://github.com/ifzhang/ByteTrack

從檢測(cè)任務(wù)對(duì)接到跟蹤任務(wù)時(shí), 采用閾值過(guò)濾掉檢測(cè)網(wǎng)絡(luò)輸出的邊界框, 使得檢測(cè)信息出現(xiàn)丟失,造成跟蹤過(guò)程出現(xiàn)中斷的情況,使得跟蹤任務(wù)對(duì)檢測(cè)任務(wù)的要求過(guò)高。對(duì)于出現(xiàn)的漏檢以及軌跡中斷的情況,作者分析原因?yàn)樵趯z測(cè)的目標(biāo)框進(jìn)行數(shù)據(jù)關(guān)聯(lián)時(shí)設(shè)置了較高的閾值,導(dǎo)致一些低置信度的目標(biāo)信息出現(xiàn)不可逆的丟失。為了避免低置信度邊界框信息的丟失, 需要額外地解決低置信度帶來(lái)的誤檢問(wèn)題,通過(guò)引入二次關(guān)聯(lián) ,將能夠同tracklets匹配上的low confidence boxes加入到tracklets中,無(wú)法匹配的boxes看成是背景，也就是誤檢。 傳統(tǒng)的long-range association是將丟失的軌跡維持一段時(shí)間（30次），如果一直沒(méi)被匹配則認(rèn)為是確實(shí)丟失了。新出現(xiàn)的目標(biāo)是連續(xù)兩幀都同時(shí)出現(xiàn)才認(rèn)為是都出現(xiàn)了。 第一次關(guān)聯(lián)時(shí)可以使用位置信息和appearance信息，第二次關(guān)聯(lián)時(shí)只使用位置信息，因?yàn)槟繕?biāo)可能被遮擋等造成appearance信息不準(zhǔn)確。 location,motion以及appearance是association的有用線索，SORT中使用location和motion來(lái)進(jìn)行關(guān)聯(lián),相似性的計(jì)算主要是考慮到bounding boxes檢測(cè)框和tracklets預(yù)測(cè)框之間的IoU?，F(xiàn)在的一些做法是通過(guò)網(wǎng)絡(luò)來(lái)學(xué)習(xí)object motions。在short-range matching中l(wèi)ocation和motion是比較準(zhǔn)確的 。而appearance在long-range matching中則比較有幫助 ，長(zhǎng)時(shí)間遮擋時(shí)依舊能夠通過(guò)appearance來(lái)對(duì)對(duì)象進(jìn)行Re-ID。 缺點(diǎn)是如果長(zhǎng)時(shí)間沒(méi)有出現(xiàn)也會(huì)出現(xiàn)跟蹤目標(biāo)切換ID的情況

---

Perma Track: Learning to Track with Object Permanence

• paper: https://arxiv.org/abs/2103.14258
• code: https://github.com/TRI-ML/permatrack

在CenterTrack框架上，輸入pairs of frame，同時(shí)擴(kuò)展到任意長(zhǎng)度的視頻中從而可以利用歷史的信息。此外增加了一個(gè) spatio-temporal recurrent memory module 來(lái)對(duì) 完全遮擋的目標(biāo)進(jìn)行預(yù)測(cè)（完全遮擋的目標(biāo)如何監(jiān)督是本文需要考慮的另外一個(gè)點(diǎn)）,保持trajectory的連貫性 ,從而提升模型的檢測(cè)性能能夠利用之前歷史推理當(dāng)前幀目標(biāo)的位置以及identity。對(duì)于如何訓(xùn)練這個(gè)模型，首先構(gòu)建了一個(gè)大規(guī)模的合成數(shù)據(jù)集( 為不可見(jiàn)目標(biāo)提供了標(biāo)注 )，并提出了在遮擋情況下監(jiān)督tracking的幾種方式。最后在合成和真實(shí)數(shù)據(jù)上聯(lián)合訓(xùn)練。 基于object permanence的假設(shè)，目標(biāo)一旦被發(fā)現(xiàn)說(shuō)明是物理存在的 創(chuàng)新點(diǎn)在于

• 端到端和joint object detection and tracking that operates on videos of arbitrary length。

? 使用spatio-temporal recurrent memory module convGRU

• 怎么對(duì)不可見(jiàn)的目標(biāo)的軌跡通過(guò)在線的方式進(jìn)行學(xué)習(xí)。

? ?學(xué)習(xí)一個(gè)heatmap表示這個(gè)目標(biāo)是不是可見(jiàn)或者是被遮擋的, 對(duì)遮擋情況進(jìn)行可視化等級(jí)劃分

• 怎么彌補(bǔ)合成數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的gap
  • 合成數(shù)據(jù)與真實(shí)數(shù)據(jù)的差異性？
  • 通過(guò)同時(shí)訓(xùn)練合成數(shù)據(jù)（Parallel Domain(PD) simulation platform產(chǎn)生）和真實(shí)數(shù)據(jù)，然后將不可見(jiàn)數(shù)據(jù)只在合成數(shù)據(jù)上訓(xùn)練發(fā)現(xiàn)可以提高模型的性能。

---

其他一些經(jīng)典的Ｔrack方法

RetinaTrack: Online Single Stage Joint Detection and Tracking

paper: https://arxiv.org/abs/2003.13870 code: 和上述方式, 在RetinaTrack的基礎(chǔ)上，將embedding分支和detection分支分開(kāi)并且采用anchor-based的方式，每一個(gè)anchor都有對(duì)應(yīng)的embedding特征（方便處理遮擋）。 embedding使用采樣三組對(duì)比樣本的批處理策略的三元組損失,　只監(jiān)督和gt匹配的上的？

---

QDTrack：Quasi-Dense Similarity Learning for Multiple Object Tracking

• paper: https://arxiv.org/abs/2006.06664

• code: https://github.com/SysCV/qdtrack

• 現(xiàn)有的多目標(biāo)跟蹤方法僅將稀疏地面真值匹配作為訓(xùn)練目標(biāo)， 而忽略了圖像上的大部分信息區(qū)域 。在本文中提出了準(zhǔn)稠密相似性學(xué)習(xí)，它對(duì)一對(duì)圖像上的數(shù)百個(gè)區(qū)域建議進(jìn)行稠密采樣以進(jìn)行對(duì)比學(xué)習(xí)。作者提出的QDTrack密集匹配一對(duì)圖片上的上百個(gè)感興趣區(qū)域，通過(guò)對(duì)比損失進(jìn)行學(xué)習(xí)參數(shù)，密集采樣會(huì)覆蓋圖片上大多數(shù)的信息區(qū)域。通過(guò)對(duì)比學(xué)習(xí)，一個(gè)樣本會(huì)被訓(xùn)練同時(shí)區(qū)分所有的Proposal，相較于只使用真值標(biāo)簽來(lái)訓(xùn)練監(jiān)督，更加的強(qiáng)大且增強(qiáng)了實(shí)例的相似度學(xué)習(xí)。對(duì)于消失軌跡的處理，會(huì)將背景作為一類，從而進(jìn)行雙向softmax增強(qiáng)一致性。

• 當(dāng)前幀和上一幀的雙向匹配可以實(shí)現(xiàn)軌跡的管理。

• 擬密集匹配其他算法不是這樣做的？

其中保留低置信度的目標(biāo)？

---

TraDeS：Track to Detect and Segment: An Online Multi-Object Tracker

• paper: https://arxiv.org/abs/2103.08808

• code: https://github.com/JialianW/TraDeS

• TraDeS通過(guò)cost volume來(lái)推斷目標(biāo)跟蹤偏移量，該cost volume用于傳播前幀的目標(biāo)特征，以改善當(dāng)前目標(biāo)的檢測(cè)和分割，其實(shí)可以理解為一個(gè)關(guān)聯(lián)代價(jià)矩陣，主要由關(guān)聯(lián)模塊（CVA）和一個(gè)運(yùn)動(dòng)指導(dǎo)的特征變換模塊（MFW）構(gòu)成。CVA模塊通過(guò)backbone提取逐點(diǎn)的ReID embedding特征來(lái)構(gòu)建一個(gè)cost volume，這個(gè)cost volume存儲(chǔ)兩幀之間的embedding對(duì)之間的匹配相似度。繼而，模型可以根據(jù)cost volume推斷跟蹤偏移（tracking offset），即所有點(diǎn)的時(shí)空位移，也就得到了兩幀間潛在的目標(biāo)中心。跟蹤偏移和embedding一起被用來(lái)構(gòu)建一個(gè)簡(jiǎn)單的兩輪長(zhǎng)程數(shù)據(jù)關(guān)聯(lián)。之后，MFW模塊以跟蹤偏移作為運(yùn)動(dòng)線索來(lái)將目標(biāo)的特征從前幀傳到當(dāng)前幀。最后，對(duì)前幀傳來(lái)的特征和當(dāng)前幀的特征進(jìn)行聚合進(jìn)行當(dāng)前幀的檢測(cè)和分割任務(wù)。

---

CSTrack：Rethinking the competition between detection and ReID in Multi-Object Tracking

paper: https://arxiv.org/abs/2010.12138 code: https://github.com/JudasDie/SOTS 論文提出了一種新的互相關(guān)網(wǎng)絡(luò)（CCN）來(lái)改進(jìn)單階段跟蹤框架下 detection 和 ReID 任務(wù)之間的協(xié)作學(xué)習(xí)。作者首先將 detection 和 ReID 解耦為兩個(gè)分支，分別學(xué)習(xí)。然后兩個(gè)任務(wù)的特征通過(guò)自注意力方式獲得自注意力權(quán)重圖和互相關(guān)性權(quán)重圖。自注意力圖是促進(jìn)各自任務(wù)的學(xué)習(xí)，互相關(guān)圖是為了提高兩個(gè)任務(wù)的協(xié)同學(xué)習(xí)。而且，為了解決上述的尺度問(wèn)題，設(shè)計(jì)了尺度感知注意力網(wǎng)絡(luò)（SAAN）用于 ReID 特征的進(jìn)一步優(yōu)化，SAAN 使用了空間和通道注意力，該網(wǎng)絡(luò)能夠獲得目標(biāo) 不同尺度的外觀信息，最后 不同尺度外觀特征融合輸出即可。

---

Immortal Tracker

paper: https://arxiv.org/abs/2111.13672 code: https://github.com/ImmortalTracker/ImmortalTracker 目前過(guò)早的軌跡終止是目標(biāo)ID切換的主要原因，因此本方法使用簡(jiǎn)單的軌跡預(yù)測(cè)希望保留長(zhǎng)時(shí)間的軌跡，軌跡預(yù)測(cè)方法就是簡(jiǎn)單的卡爾曼濾波 實(shí)現(xiàn)predict-to-track范式， 在匹配（3D IOU or 3D GIOU）的時(shí)候如果當(dāng)前檢測(cè)結(jié)果和預(yù)測(cè)可以匹配的上則更新軌跡，如果沒(méi)有匹配的上則更新預(yù)測(cè)值。 思考：正常的跟蹤不都是這個(gè)流程嗎？

---

HorizonMOT:1st Place Solutions for Waymo Open Dataset Challenges -- 2D and 3D Tracking

• paper: https://arxiv.org/abs/2006.15506
• 運(yùn)動(dòng)模型

借鑒了DeepSort算法，使用了Kalman Filter算法，在3D跟蹤中設(shè)定的狀態(tài)變量為3D坐標(biāo)、長(zhǎng)寬高和位置的速度變化量。

• 表觀模型

表觀模型的引入主要是 為了防止擁擠和軌跡暫時(shí)丟失 的問(wèn)題，行人輸入為128x64，車輛輸入為128x128，經(jīng)過(guò)11個(gè)3x3卷積和3個(gè)1x1卷積以及一些pooling層得到512維向量。

• 數(shù)據(jù)關(guān)聯(lián)(級(jí)聯(lián)匹配)

數(shù)據(jù)關(guān)聯(lián)的基礎(chǔ)算法是匈牙利算法，這里作者將 關(guān)聯(lián)過(guò)程分成了三個(gè)階段 ，與此同時(shí)將檢測(cè)結(jié)果按照置信度分成了兩份，一份置信度大于t(s)，一份介于t(s)/2和t(s)之間。 第一階段的數(shù)據(jù)關(guān)聯(lián)跟DeepSort一樣，采用級(jí)聯(lián)匹配的方式，對(duì)跟蹤框和第一份檢測(cè)結(jié)果進(jìn)行匹配，也就是先匹配持續(xù)跟蹤的目標(biāo)，對(duì)于暫時(shí)丟失的目標(biāo)降低優(yōu)先級(jí)； 第二階段的數(shù)據(jù)關(guān)聯(lián)會(huì)對(duì)第一階段中尚未匹配的跟蹤軌跡（丟失時(shí)間小于3）和剩余的第一份檢測(cè)結(jié)果進(jìn)行匹配，當(dāng)然也會(huì)降低一些匹配閾值 第三階段的數(shù)據(jù)關(guān)聯(lián)會(huì)對(duì)第二階段尚未匹配的跟蹤軌跡和第二份檢測(cè)結(jié)果進(jìn)行匹配，同樣降低閾值標(biāo)準(zhǔn)。

---

Probabilistic 3D Multi-Object Tracking for Autonomous Driving

paper: https://arxiv.org/abs/2012.13755 code: https://github.com/eddyhkchiu/mahalanobis_3d_multi_object_tracking 使用馬氏距離而不是3D IOU可以防止小目標(biāo)（行人等）無(wú)法匹配 卡爾曼濾波參數(shù)使用訓(xùn)練集的統(tǒng)計(jì)值 使用貪心算法進(jìn)行匹配而不是匈牙利算法

---

Score refinement for confidence-based 3D multi-object tracking

paper: https://arxiv.org/abs/2107.04327 code: https://github.com/cogsys-tuebingen/CBMOT 處理軌跡得分更新的問(wèn)題，如果軌跡和當(dāng)前檢測(cè)結(jié)果匹配上了則該軌跡認(rèn)為是比之前的軌跡得分和檢測(cè)結(jié)果得分都大，如果沒(méi)有匹配上則認(rèn)為軌跡得分需要處于衰減狀態(tài)。然后基于此設(shè)計(jì)一系列的函數(shù)來(lái)更新軌跡得分，創(chuàng)新點(diǎn)比較一般。但是在很多榜單上排名很高，是個(gè)有用的trick。

---

SiamMOT:Siamese Multi-Object Tracking

paper: https://arxiv.org/abs/2105.11595 code: https://github.com/amazon-research/siam-mot 孿生跟蹤器根據(jù)其在一個(gè)局部窗口范圍內(nèi)搜索對(duì)應(yīng)的實(shí)例, 然后獲得當(dāng)前幀和歷史幀的特征

包括兩種運(yùn)動(dòng)建模方式：１．將特征按通道連接在一起然后送入MLP中預(yù)測(cè)可見(jiàn)置信度和相對(duì)位置和尺度偏移；２．顯式運(yùn)動(dòng)模型通過(guò)逐通道的互相關(guān)操作來(lái)生成像素級(jí)別的響應(yīng)圖 該方法是在Faster RCNN上進(jìn)行改進(jìn)的，而且是anchor-based, 參考意義有限，但是對(duì)于運(yùn)動(dòng)的建模以及根據(jù)特征判斷遮擋與上述 Perma Track x想法相似，可以參考。

---

TransTrack: Multiple Object Tracking with Transformer

paper: https://arxiv.org/abs/2003.13870 code: https://github.com/PeizeSun/TransTrack 利用transfomer實(shí)現(xiàn)跟蹤，類似于centerTrack，利用兩個(gè)key-query學(xué)習(xí)檢測(cè)和到上一幀的偏移

Reference:

1. https://github.com/luanshiyinyang/awesome-multiple-object-tracking

2. https://github.com/JudasDie/SOTS

3. CenterTrack https://github.com/xingyizhou/CenterTrack

4. ByteTrack https://github.com/ifzhang/ByteTrack

5. Perma Track https://github.com/TRI-ML/permatrack

6. https://github.com/DanceTrack/DanceTrack 提出一個(gè)數(shù)據(jù)集

7. https://github.com/ImmortalTracker/ImmortalTracker 用處不是特別大 感覺(jué)有點(diǎn)水

8. https://github.com/eddyhkchiu/mahalanobis_3d_multi_object_tracking

9. https://github.com/TuSimple/SimpleTrack 信息量不大

10. Score refinement for confidence-based 3D multi-object tracking https://github.com/cogsys-tuebingen/CBMOT

11. CenterTrack3D: Improved CenterTrack More Suitable for Three-Dimensional Objects

12. FairMOT https://github.com/ifzhang/FairMOT

13. HorizonMOT 地平線參加比賽的方案 https://arxiv.org/abs/2006.15506

14. PTTR: Relational 3D Point Cloud Object Tracking with Transformer https://github.com/Jasonkks/PTTR 單一目標(biāo)跟蹤器

15. 3D Siamese Voxel-to-BEV Tracker for Sparse Point Clouds https://github.com/fpthink/V2B 單一目標(biāo)跟蹤器

16. 3D Object Tracking with Transformer https://github.com/3bobo/lttr 單一目標(biāo)跟蹤器

17. 3D-FCT: Simultaneous 3D Object Detection and Tracking Using Feature Correlation 針對(duì)PVRCNN的改進(jìn)

18. Probabilistic 3D Multi-Modal, Multi-Object Tracking for Autonomous Driving 多傳感器融合

19. https://github.com/wangxiyang2022/DeepFusionMOT 多傳感器融合

20. Learnable Online Graph Representations for 3D Multi-Object Tracking graph-based

21. Neural Enhanced Belief Propagation on Factor Graphs graph-based

22. TransTrack: Multiple Object Tracking with Transformer https://github.com/PeizeSun/TransTrack

23. TrackFormer https://github.com/timmeinhardt/trackformer

24. https://jialianwu.com/projects/TraDeS.html with分割

25. http://www.cvlibs.net/datasets/kitti/eval_tracking.php

更多細(xì)節(jié)可參考論文原文， 更多精彩內(nèi)容請(qǐng)關(guān)注邁微AI研習(xí)社，每天晚上七點(diǎn)不見(jiàn)不散！

專欄訂閱：https://blog.csdn.net/charmve/category_10595130.html

推薦閱讀

（更多“自動(dòng)駕駛感知”最新成果）

• 從感知機(jī)到Transformer：一文概述深度學(xué)習(xí)發(fā)展史！

• 多模態(tài) Generalized Visual Language Models

• 硬核！自動(dòng)駕駛?cè)绾巫鰯?shù)據(jù)標(biāo)注？特斯拉EP3 Auto Labeling深度分析

• ICRA 2022杰出論文：把自動(dòng)駕駛2D圖像轉(zhuǎn)成鳥(niǎo)瞰圖，模型識(shí)別準(zhǔn)確率立增15%

邁微AI研習(xí)社

微信號(hào): MaiweiE_com

GitHub:?@Charmve

CSDN、知乎: @Charmve

投稿: [email protected]

主頁(yè): github.com/Charmve

國(guó)內(nèi)頭部以自動(dòng)駕駛?cè)炯夹g(shù)為主線的交流學(xué)習(xí)社區(qū)（感知、歸控等），包含大量前沿論文解讀、工程實(shí)踐(源代碼)、視頻課程，熱招崗位。歡迎加入 ！

如果覺(jué)得有用，就請(qǐng)點(diǎn)贊、轉(zhuǎn)發(fā)吧！