arxiv論文整理20240217-0223(目標(biāo)檢測方向)

STF: Spatio-Temporal Fusion Module for Improving Video Object Detection

摘要： 視頻中連續(xù)的幀包含冗余信息，但它們也可能包含與檢測任務(wù)相關(guān)的補(bǔ)充信息。我們的工作目標(biāo)是利用這些補(bǔ)充信息來改善檢測。因此，我們提出了一個時空融合框架（STF）。我們首先引入了多幀和單幀注意力模塊，使神經(jīng)網(wǎng)絡(luò)能夠在相鄰幀之間共享特征圖，以獲得更穩(wěn)健的物體表示。其次，我們引入了一個雙幀融合模塊，以可學(xué)習(xí)的方式合并特征圖，以改進(jìn)它們。我們在包括移動路上用戶視頻序列在內(nèi)的三個不同基準(zhǔn)數(shù)據(jù)集上進(jìn)行了評估。實驗結(jié)果表明，所提出的時空融合模塊相對于基準(zhǔn)物體檢測器具有改進(jìn)的檢測性能。代碼可在https://github.com/noreenanwar/STF-module 上找到。

點評： STF模塊通過空間和時間融合策略顯著提升了視頻對象檢測的性能。代碼已開源。

MultiCorrupt: A Multi-Modal Robustness Dataset and Benchmark of LiDAR-Camera Fusion for 3D Object Detection

摘要： 自動駕駛的多模態(tài)三維目標(biāo)檢測模型在nuScenes等計算機(jī)視覺基準(zhǔn)測試中表現(xiàn)出優(yōu)異的性能。然而，它們依賴密集采樣的LiDAR點云和精心校準(zhǔn)的傳感器陣列，在真實世界的應(yīng)用中會面臨挑戰(zhàn)。傳感器錯位、校準(zhǔn)錯誤和不同采樣頻率等問題導(dǎo)致LiDAR和攝像頭數(shù)據(jù)在空間和時間上的不對齊。此外，LiDAR和攝像頭數(shù)據(jù)的完整性經(jīng)常受到惡劣天氣等環(huán)境條件的影響，導(dǎo)致遮擋和噪音干擾。為了解決這一挑戰(zhàn)，我們引入了MultiCorrupt，這是一個旨在評估多模態(tài)三維物體檢測器對十種不同類型污染的穩(wěn)健性的全面基準(zhǔn)。我們在MultiCorrupt上評估了五種最先進(jìn)的多模態(tài)檢測器，并分析它們的抗干擾能力。我們的結(jié)果顯示，現(xiàn)有方法根據(jù)污染類型和融合策略的不同，表現(xiàn)出不同程度的穩(wěn)健性。我們提供了關(guān)于哪些多模態(tài)設(shè)計選擇使這些模型對特定干擾具有魯棒性的見解。數(shù)據(jù)集生成代碼和基準(zhǔn)測試已在https://github.com/ika-rwth-aachen/MultiCorrupt 開源。

點評： 構(gòu)建了一個用于三維目標(biāo)檢測的數(shù)據(jù)集和基準(zhǔn)，專注于評估LiDAR-Camera融合系統(tǒng)在面對多種傳感器污染情況下的魯棒性。代碼已開源。

LiRaFusion: Deep Adaptive LiDAR-Radar Fusion for 3D Object Detection（ ICRA 2024）

摘要： 我們提出LiRaFusion來解決LiDAR雷達(dá)融合的三維物體檢測問題，以填補(bǔ)現(xiàn)有LiDAR雷達(dá)檢測器性能差距。為了提高這兩種模態(tài)的特征提取能力，我們設(shè)計了一個早期融合模塊用于聯(lián)合體素特征編碼，以及一個中間融合模塊，通過門控網(wǎng)絡(luò)自適應(yīng)地融合特征圖。我們在nuScenes上進(jìn)行了大量評估，證明LiRaFusion有效地利用了LiDAR和雷達(dá)的互補(bǔ)信息，并相對于現(xiàn)有方法取得了顯著改進(jìn)。

點評： 提出了一種深度自適應(yīng)的LiDAR-Radar融合方法，用于三維物體檢測，這種方法可以靈活地根據(jù)不同場景的需求調(diào)整融合策略

Weakly Supervised Object Detection in Chest X-Rays with Differentiable ROI Proposal Networks and Soft ROI Pooling

摘要： 弱監(jiān)督目標(biāo)檢測（WSup-OD）增加了圖像分類算法的實用性和可解釋性，而無需額外的監(jiān)督。然而，多實例學(xué)習(xí)在自然圖像中的成功在醫(yī)學(xué)圖像中并不適用，因為它們的對象（即病理）具有非常不同的特征。在這項工作中，我們提出了一種新方法，稱為弱監(jiān)督感興趣區(qū)域提議網(wǎng)絡(luò)（WSRPN），用于使用專門的感興趣區(qū)域注意（ROI-attention）模塊即時生成邊界框提議。WSRPN與經(jīng)典的骨干-頭分類算法結(jié)合良好，并且僅需要圖像標(biāo)簽監(jiān)督就可以進(jìn)行端到端的訓(xùn)練。我們通過實驗證明，我們的新方法在胸部X射線圖像中的疾病定位這一具有挑戰(zhàn)性的任務(wù)中優(yōu)于現(xiàn)有方法。代碼： GitHub - philip-mueller/wsrpn

點評： 該研究首次提出了可微分的區(qū)域提議網(wǎng)絡(luò)和軟區(qū)域池化技術(shù)，用于胸腔X射線中的弱監(jiān)督目標(biāo)檢測。代碼已開源。

ps：承接程序代寫， 小程序編寫  程序應(yīng)用 深度學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) pytorch paddlepaddle  數(shù)據(jù)結(jié)構(gòu) 機(jī)器學(xué)習(xí) 目標(biāo)檢測 圖像處理

有需要的兄弟們可以在我公眾號留言。

論文解讀的ppt可以在知識星球獲?。?/p>

我正在「目標(biāo)檢測er的小圈子」和朋友們討論有趣的話題，你?起來吧？

https://t.zsxq.com/0cM8tmd4l