午夜美女久久久久爽久久,山村69式老妇轧伦小说,欧美性受ⅩXXX猛交XXXXX国产,国产骚屌扛腿操,男男吹潮视频chinese,香蕉伊人在线,精品一二三,国产全肉乱妇杂乱视频在线观看

以下文章來源于微信公眾號：極市平臺

作者：極市平臺

鏈接：https://mp.weixin.qq.com/s/DxYqWvzGzP3Xslnx4HAK6Q

本文僅用于學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系后臺作刪文處理

導(dǎo)讀

本文提出了一種新穎的模塊iKUN，可以插入到任何多目標(biāo)跟蹤器之后，實(shí)現(xiàn)參考跟蹤。為了解決一對多對應(yīng)的問題，知識統(tǒng)一模塊被設(shè)計(jì)為根據(jù)文本描述調(diào)節(jié)視覺嵌入。進(jìn)一步提出了相似性校準(zhǔn)方法，通過在開放測試集中估計(jì)的偽頻率來細(xì)化預(yù)測得分。

0. 論文信息

標(biāo)題：iKUN: Speak to Trackers without Retraining

作者：Yunhao Du, Cheng Lei, Zhicheng Zhao, Fei Su

機(jī)構(gòu)：北京郵電大學(xué)人工智能學(xué)院、中國網(wǎng)絡(luò)系統(tǒng)與網(wǎng)絡(luò)文化北京重點(diǎn)實(shí)驗(yàn)室、中國北京文化和旅游部互動技術(shù)與體驗(yàn)系統(tǒng)重點(diǎn)實(shí)驗(yàn)室

原文鏈接：https://arxiv.org/abs/2312.16245

代碼鏈接：https://github.com/dyhBUPT/iKUN

1. 這篇文章干了啥？

傳統(tǒng)的多目標(biāo)跟蹤（MOT）任務(wù)旨在逐幀跟蹤所有特定類別的對象，這在視頻理解中起著至關(guān)重要的作用。盡管已經(jīng)取得了重大進(jìn)展，但它存在著靈活性和泛化能力差的問題。為了解決這個問題，最近提出了參考多目標(biāo)跟蹤（RMOT）任務(wù)，其核心思想是通過語言描述指導(dǎo)多目標(biāo)跟蹤。例如，如果我們將"左側(cè)有移動的汽車"作為查詢輸入，跟蹤器將預(yù)測與描述相對應(yīng)的所有軌跡。然而，由于靈活性的高代價，模型需要同時執(zhí)行檢測、關(guān)聯(lián)和引用，因此，平衡子任務(wù)之間的優(yōu)化成為一個關(guān)鍵問題。

為了完成這項(xiàng)任務(wù)，現(xiàn)有方法（例如TransRMOT）簡單地將文本模塊集成到現(xiàn)有的跟蹤器中。然而，這種框架有幾個固有的缺點(diǎn)：i）任務(wù)競爭。一些MOT方法已經(jīng)揭示了檢測和關(guān)聯(lián)之間的優(yōu)化競爭。在RMOT中，添加的引用子任務(wù)將進(jìn)一步加劇這個問題。ii）工程成本。每當(dāng)我們想要替換基線跟蹤器時，我們需要重寫代碼并重新訓(xùn)練整個框架。iii）訓(xùn)練成本。聯(lián)合訓(xùn)練所有子任務(wù)會導(dǎo)致高計(jì)算成本。

實(shí)質(zhì)上，跟蹤和引用子任務(wù)的緊密捆綁是這些限制的主要原因。這引發(fā)了一個自然的問題："是否可能解耦這兩個子任務(wù)？"。這項(xiàng)工作提出了一個"跟蹤到引用"的框架，其中插入了一個名為iKUN的模塊，它首先跟蹤所有候選對象，然后根據(jù)語言描述識別查詢對象，跟蹤器在訓(xùn)練時被凍結(jié)，優(yōu)化過程可以專注于引用子任務(wù)。

因此，核心問題在于設(shè)計(jì)一個可插入的引用模塊。直觀的選擇是預(yù)訓(xùn)練在超過4億個圖像文本對上進(jìn)行對比學(xué)習(xí)的CLIP風(fēng)格模塊，它的主要優(yōu)勢是優(yōu)秀的視覺概念和文本描述的對齊。為簡單起見，CLIP的視覺和文本流是獨(dú)立的。這意味著對于給定的視覺輸入，CLIP將提取一個固定的視覺特征，而不考慮文本輸入。然而，在RMOT任務(wù)中，一個軌跡通常對應(yīng)于多個描述，包括顏色、位置、狀態(tài)等。很難將單個特征與多種特征匹配起來。受到這一觀察的啟發(fā)，作者設(shè)計(jì)了一個知識統(tǒng)一模塊（KUM），以自適應(yīng)地根據(jù)文本指導(dǎo)提取視覺特征。此外，為了減輕描述的長尾分布的影響，提出了一種測試時間相似性校準(zhǔn)方法，以改進(jìn)引用結(jié)果。其主要思想是估計(jì)開放測試集中描述的偽頻率，并使用它們來修正引用得分。

對于跟蹤子任務(wù)，卡爾曼濾波器被廣泛用于運(yùn)動建模。過程噪聲和觀測噪聲是兩個影響預(yù)測和更新步驟準(zhǔn)確性的關(guān)鍵變量。然而，作為手工設(shè)計(jì)的模塊，這兩個變量由預(yù)設(shè)參數(shù)確定，并且難以適應(yīng)運(yùn)動狀態(tài)的變化。作者通過設(shè)計(jì)一個名為NKF的神經(jīng)版本的卡爾曼濾波器來解決這個問題，該濾波器動態(tài)估計(jì)過程和觀測噪聲。

作者在最近發(fā)布的Refer-KITTI [37]數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，iKUN顯示出明顯優(yōu)勢，超過了現(xiàn)有解決方案。具體來說，iKUN在HOTA上超過了之前的SOTA方法TransRMOT 10.78%，在MOTA上超過了3.17%，在IDF1上超過了7.65%。還在KITTI和DanceTrack上進(jìn)行了傳統(tǒng)MOT任務(wù)的實(shí)驗(yàn)，提出的NKF相比基線跟蹤器實(shí)現(xiàn)了明顯改善。為了進(jìn)一步驗(yàn)證iKUN的有效性，通過向DanceTrack添加語言描述，貢獻(xiàn)了一個更具挑戰(zhàn)性的RMOT數(shù)據(jù)集Refer-Dance。iKUN比TransRMOT取得了顯著改善，即HOTA為29.06%對9.58%。

下面一起來閱讀一下這項(xiàng)工作~

2. 摘要

參考多目標(biāo)跟蹤（RMOT）旨在基于輸入的文本描述跟蹤多個對象。以往的研究通過簡單地將額外的文本模塊集成到多目標(biāo)跟蹤器中來實(shí)現(xiàn)它。然而，它們通常需要重新訓(xùn)練整個框架，并且在優(yōu)化方面存在困難。在這項(xiàng)工作中，我們提出了一種可插入的知識統(tǒng)一網(wǎng)絡(luò)，稱為iKUN，以實(shí)現(xiàn)與現(xiàn)成跟蹤器的即插即用通信。具體地，設(shè)計(jì)了一個知識統(tǒng)一模塊（KUM），以自適應(yīng)方式根據(jù)文本指導(dǎo)提取視覺特征。同時，為了提高定位精度，我們提出了一種神經(jīng)版本的卡爾曼濾波器（NKF），以根據(jù)當(dāng)前運(yùn)動狀態(tài)動態(tài)調(diào)整過程噪聲和觀測噪聲。此外，為了解決文本描述的開放式長尾分布問題，提出了一種測試時間相似性校準(zhǔn)方法，以偽頻率來優(yōu)化置信度分?jǐn)?shù)。在Refer-KITTI數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，驗(yàn)證了我們框架的有效性。最后，為了加快RMOT的發(fā)展，我們還通過擴(kuò)展公開的DanceTrack數(shù)據(jù)集，增加了運(yùn)動和著裝描述，貢獻(xiàn)了一個更具挑戰(zhàn)性的數(shù)據(jù)集Refer-Dance。

3. 效果展示

與先前的RMOT框架進(jìn)行比較，以及iKUN。(a) 先前的方法將引用模塊納入多目標(biāo)跟蹤器中，需要重新訓(xùn)練整體框架。(b) 相反， iKUN可以直接插入現(xiàn)成的跟蹤器之后，在訓(xùn)練時跟蹤器被凍結(jié)。

KUM的動機(jī)。給定一個軌跡和一組描述，(a) 在沒有來自文本流的指導(dǎo)的情況下，要求視覺編碼器輸出一個單一特征以匹配多個文本特征；(b) 有文本指導(dǎo)時，視覺編碼器可以為每個描述預(yù)測自適應(yīng)特征。

4. 基本原理是啥？

iKUN的總體框架。視覺流首先嵌入本地對象特征flocal和全局場景特征fglobal，然后使用知識統(tǒng)一模塊（KUM）對它們進(jìn)行聚合。緊隨其后的是一個時間模型和一個視覺頭，用于生成最終的視覺特征fv。與此同時，文本流對文本特征ft進(jìn)行編碼。最后，使用邏輯頭來預(yù)測fv和ft之間的相似度得分。

知識統(tǒng)一模塊的三種設(shè)計(jì)。特征圖的形狀顯示為它們的張量形狀，批量大小為B。為了清晰起見，這里省略了最終的空間全局平均池化操作。

5. 實(shí)驗(yàn)結(jié)果

Refer-KITTI。當(dāng)前的SOTA方法，TransRMOT分別獲得了38.06％、29.28％、50.83％的HOTA、DetA、AssA。相比之下，將iKUN集成到基于YOLOv8的各種現(xiàn)成跟蹤器中，并取得了一致的改進(jìn)，即41.25％至44.56％的HOTA。通過切換到與TransRMOT相同的檢測器，即DeformableDETR，分別獲得了48.84％、35.74％、66.80％的HOTA、DetA、AssA。重要的是，由于框架的靈活性，iKUN只需針對多個跟蹤器進(jìn)行一次訓(xùn)練。

此外，為了專注于關(guān)聯(lián)和指代能力的比較，進(jìn)行了oracle實(shí)驗(yàn)，以消除定位準(zhǔn)確度的干擾。也就是說，根據(jù)地面實(shí)況修正了最終估計(jì)軌跡的坐標(biāo)（x，y，w，h）。請注意，沒有添加或刪除邊界框，也沒有修改ID。在這種設(shè)置下，iKUN與TransRMOT相比也表現(xiàn)出色，即61.54％對54.50％的HOTA。

KITTI。在表2中將設(shè)計(jì)的NeuralSORT與KITTI上的當(dāng)前SOTA跟蹤器進(jìn)行比較。所有跟蹤器都利用了來自YOLOv8的相同檢測結(jié)果。為簡單起見，使用了與Refer-KITTI相同的數(shù)據(jù)分割協(xié)議。結(jié)果表明，NeuralSORT在汽車和行人類別上均取得了最佳結(jié)果。

消融實(shí)驗(yàn)。

知識統(tǒng)一模塊。在表3中比較了KUM的三種設(shè)計(jì)。結(jié)果表明，所有這些策略都可以顯著改善基準(zhǔn)方法，這證明了文本指導(dǎo)機(jī)制的有效性。具體而言，"文本優(yōu)先調(diào)制"實(shí)現(xiàn)了最佳的關(guān)聯(lián)性能（AssA），但在檢測方面表現(xiàn)不佳（DetA）。"交叉相關(guān)"獲得了更高的DetA，但更低的AssA。"級聯(lián)注意力"在HOTA和DetA指標(biāo)上取得了最佳結(jié)果，并且在AssA指標(biāo)上是可比的。最后，選擇"級聯(lián)注意力"作為KUM的默認(rèn)設(shè)計(jì)。

相似性校準(zhǔn)。在表5中研究了映射函數(shù)f(·)中超參數(shù)a、b的影響。據(jù)報道，性能對變化的值具有魯棒性。在這項(xiàng)工作中，選擇a = 8和b = -0.1作為默認(rèn)值，這帶來了0.81％HOTA和2.09％AssA的性能增益。

神經(jīng)卡爾曼濾波器。首先以DeepSORT為基準(zhǔn)，研究了NeuralSORT在KITTI上的不同組件在表4中的影響。最重要的是，對于汽車和行人，NKF將HOTA分別提高了1.32％和3.50％。其他技巧進(jìn)一步為汽車和行人帶來了1.58％和1.94％的增益。然后，我們以ByteTrack為基準(zhǔn)，進(jìn)一步研究了NKF在KITTI和Dance-Track上的影響。可以看到，在這兩個數(shù)據(jù)集上的所有評估指標(biāo)都有顯著改善。

訓(xùn)練和推理時間。在Refer-KITTI上使用多個Tesla T4 GPU進(jìn)行實(shí)驗(yàn)，并在表7中比較了TransRMOT和iKUN的訓(xùn)練和推理時間?？梢杂^察到iKUN的時間成本要低得多。請注意，為了公平比較，跟蹤過程也包括在推理時間內(nèi)。

6. 總結(jié)

這項(xiàng)工作提出了一種新穎的模塊，iKUN，可以插入到任何多目標(biāo)跟蹤器之后，實(shí)現(xiàn)參考跟蹤。為了解決一對多對應(yīng)的問題，知識統(tǒng)一模塊被設(shè)計(jì)為根據(jù)文本描述調(diào)節(jié)視覺嵌入。進(jìn)一步提出了相似性校準(zhǔn)方法，通過在開放測試集中估計(jì)的偽頻率來細(xì)化預(yù)測得分。此外，還引入了兩個輕量級神經(jīng)網(wǎng)絡(luò)到卡爾曼濾波器中，動態(tài)更新過程和觀測噪聲變量。iKUN的有效性通過在公開數(shù)據(jù)集Refer-KITTI和新構(gòu)建的數(shù)據(jù)集Refer-Dance上的實(shí)驗(yàn)得到了證明。

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

目標(biāo)追蹤iKUN，即插即用！任何目標(biāo)指定跟蹤！（附論文及源碼）

0. 論文信息

1. 這篇文章干了啥？

2. 摘要

3. 效果展示

4. 基本原理是啥？

5. 實(shí)驗(yàn)結(jié)果

6. 總結(jié)

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

目標(biāo)追蹤iKUN，即插即用！任何目標(biāo)指定跟蹤！（附論文及源碼）

0. 論文信息

1. 這篇文章干了啥？

2. 摘要

3. 效果展示

4. 基本原理是啥？

5. 實(shí)驗(yàn)結(jié)果

6. 總結(jié)

目標(biāo)追蹤iKUN，即插即用！任何目標(biāo)指定跟蹤！（附論文及源碼）

1. 這篇文章干了啥？

4. 基本原理是啥？