檢測 RGB 攝像機(jī)拍攝的夜間場景圖片中的行人，是一個非常重要但是未被充分重視的問題，當(dāng)前最新的視覺檢測算法并不能很好地預(yù)測出結(jié)果。官方 baseline 在 Caltech（著名行人檢測數(shù)據(jù)集）上的 Miss Rate（越小越好）可以達(dá)到 7.36%，但在夜間行人數(shù)據(jù)集上卻只能達(dá)到 63.99%。夜間行人檢測是許多系統(tǒng)（如安全可靠的自動駕駛汽車）的關(guān)鍵組成部分，但使用計算機(jī)視覺方法解決夜間場景的檢測問題并未受到太多關(guān)注，因此 CVPR 2020 Scalability in Autonomous Driving Workshop 開展了相應(yīng)的比賽。NightOwls Detetection Challenge 2020 共有三個賽題：單幀行人檢測（該賽題與 2019 年相同）、多幀行人檢測，以及檢測單幀中所有物體（包括行人、自行車、摩托車三個類別）：- Pedestrian Detection from a Single Frame (same as 2019 competition)
- Pedestrian Detection from a Multiple Frames
- All Objects Detection (pedestrian, cyclist, motorbike) from a Single Frame
Track 1: Pedestrian detection from a single frame該任務(wù)只要求檢測行人（對應(yīng) Ground truth 中 category_id = 1 的行人類別），且所用算法只能將當(dāng)前幀用作檢測的輸入，該題目與 ICCV 2019 NightOwls 挑戰(zhàn)賽相同。Track 2: Pedestrian detection from multiple frames該任務(wù)的要求與任務(wù) 1 相同，都是只檢測行人，但是該任務(wù)允許使用當(dāng)前幀以及所有先前幀 (N, N-1, N-2, …) 來預(yù)測當(dāng)前幀的行人。這兩個任務(wù)的數(shù)據(jù)集由 279000 張全注釋的圖片組成，這些圖片來源于歐洲多個城市黎明和夜間的 40 個視頻，并涵蓋了不同的天氣條件。模型效果評估使用的是行人檢測中常用的指標(biāo)Average Miss Rate metric，但是僅考慮高度 > = 50px 的非遮擋目標(biāo)。
Track 3: All Objects Detection (pedestrian, cyclist, motorbike) from a Single Frame該任務(wù)要求檢測出幀里所有在訓(xùn)練集中出現(xiàn)過的類別，包括自行車、摩托車，并且不允許使用視頻序列信息。
與常規(guī)檢測數(shù)據(jù)集不同，該競賽考慮到實(shí)際駕駛情況，所用數(shù)據(jù)是在車輛行進(jìn)過程中采集的，所以當(dāng)車速較快或者有相對運(yùn)動的時候會產(chǎn)生持續(xù)的運(yùn)動模糊圖像。并且由于攝像頭是普通的RGB相機(jī)，因此在光線較弱的環(huán)境下收集的圖片質(zhì)量大幅度下降，這也是影響模型效果的主要原因。
這是由于收集數(shù)據(jù)主要來自于夜間環(huán)境所導(dǎo)致的必然結(jié)果，所以在進(jìn)行數(shù)據(jù)增強(qiáng)的時候需要謹(jǐn)慎，不同增強(qiáng)方式會造成較大的影響。該比賽的數(shù)據(jù)集涵蓋了不同的城市和天氣，之前常用的行人檢測數(shù)據(jù)集一般未同時滿足這兩個條件。該數(shù)據(jù)具有多樣性，且與常用數(shù)據(jù)集的數(shù)據(jù)分布存在較大差異。該比賽數(shù)據(jù)集與常用于訓(xùn)練預(yù)訓(xùn)練模型的數(shù)據(jù)集（如 COCO 數(shù)據(jù)集、OBJ365）的數(shù)據(jù)分布存在很大的不同，因此對基于常用數(shù)據(jù)集預(yù)訓(xùn)練的模型進(jìn)行 fine-tune 的效果不如預(yù)期。DeepBlueAI 團(tuán)隊在單幀行人檢測和多幀行人檢測兩個賽道中取得了冠軍成績，在檢測單幀中所有物體賽道中獲得了亞軍。
就檢測器而言，該團(tuán)隊首先通過常規(guī)檢測所累積的經(jīng)驗(yàn)構(gòu)造出一個 baseline：Baseline = Backbone + DCN? + FPN + Cascade + anchor ratio (2.44)
這些模塊早已是各個比賽的「?？汀梗脖辉S多專業(yè)人士進(jìn)行了比較透徹的分析，此處不再贅述。DeepBlueAI 團(tuán)隊進(jìn)行了簡單的實(shí)驗(yàn)，發(fā)現(xiàn)這些模塊總是有用，進(jìn)而將這套算法作為 baseline，加上一些行人檢測的小 trick，如將 anchor ratio 改為 2.44、針對標(biāo)注為 ignore 的目標(biāo)在訓(xùn)練過程中 loss 不進(jìn)行回傳處理。?
通過觀察實(shí)驗(yàn)發(fā)現(xiàn)，baseline 將背景中的石柱、燈柱等物體檢測為行人，這種情況大多和 head 效果不好有關(guān)。該團(tuán)隊基于此進(jìn)行了實(shí)驗(yàn)，如 TSD [7]、CLS [8]、double head [9]，并最終選擇了效果好且性價比高的 double head 結(jié)構(gòu)（如下圖所示）：
Double Heads 結(jié)構(gòu)
通過對比實(shí)驗(yàn)可以發(fā)現(xiàn)：使用 FC-head 做分類、Conv-head 做回歸，可以得到最好的效果。分類更多地需要語義信息，而坐標(biāo)框回歸則更多地需要空間信息，double head 方法采用分而治之的思想，針對不同的需求設(shè)計 head 結(jié)構(gòu)，因此更加有效。當(dāng)然這種方法也會導(dǎo)致計算量的增加。在平衡速度和準(zhǔn)確率的情況下，該團(tuán)隊最終選擇了 3 個殘差 2 個 Non-local 共 5 個模塊。
合并功能更強(qiáng)大的 backbone 可提高目標(biāo)檢測器的性能。CBNet 作者提出了一種新穎的策略，通過相鄰 backbone 之間的復(fù)合連接 (Composite Connection) 來組合多個相同的 backbone。用這種方式他們構(gòu)建出了一個更強(qiáng)大的 backbone，稱為「復(fù)合骨干網(wǎng)絡(luò)」(Composite Backbone Network)。當(dāng)然這也帶來了模型參數(shù)大小和訓(xùn)練時間的增加，屬于 speed–accuracy trade-off。該團(tuán)隊也嘗試過其他的改進(jìn)方式，但最終還是選擇了實(shí)用性更強(qiáng)的 CBNet，該方法不用再額外擔(dān)心預(yù)訓(xùn)練權(quán)重的問題。
該團(tuán)隊選擇了性價比較高的雙 backbone 模型結(jié)構(gòu)。
該團(tuán)隊發(fā)現(xiàn) Pixel-level 的增強(qiáng)方式導(dǎo)致了性能結(jié)果大幅下降，因此沒有在這個方向繼續(xù)嘗試。而圖像增強(qiáng)方式 Retinex，從視覺上看帶來了圖像增強(qiáng)，但是該方法可能破壞了原有圖片的結(jié)構(gòu)信息，導(dǎo)致最終結(jié)果沒有提升。于是，該團(tuán)隊最終選擇了 Spatial-level 的增強(qiáng)方式，使得結(jié)果有一定的提升。1. 將 Cascade rcnn + DCN + FPN 作為 baseline；
2. 將原有 head 改為 Double head；
3. 將 CBNet 作為 backbone；
4. 使用 cascade rcnn COCO-Pretrained weight；
5. 數(shù)據(jù)增強(qiáng)；
6. 多尺度訓(xùn)練 + Testing tricks。
下圖展示了該團(tuán)隊使用的方法在本地驗(yàn)證集上的結(jié)果：
該團(tuán)隊將今年的成績與去年 ICCV 2019 同賽道冠軍算法進(jìn)行對比，發(fā)現(xiàn)在不使用額外數(shù)據(jù)集的情況下，去年單模型在 9 個尺度的融合下達(dá)到 11.06，而該團(tuán)隊的算法在只用 2 個尺度的情況下就可以達(dá)到 10.49。該團(tuán)隊雖然獲得了不錯的成績，但也基于已有的經(jīng)驗(yàn)提出了一些未來工作方向：1. 由于數(shù)據(jù)的特殊性，該團(tuán)隊嘗試使用一些增強(qiáng)方式來提高圖片質(zhì)量、亮度等屬性，使圖片中的行人更易于檢測。但結(jié)果證明這些增強(qiáng)方式可能破壞原有圖片結(jié)構(gòu)，效果反而降低。該團(tuán)隊相信會有更好的夜間圖像處理辦法，只是還需要更多研究和探索。2. 在允許使用之前幀信息的賽道二中，該團(tuán)隊僅使用了一些簡單的 IoU 信息。由于收集這個數(shù)據(jù)集的攝像頭一直在移動，該團(tuán)隊之前在類似的數(shù)據(jù)集上使用過一些 SOTA 的方法，卻沒有取得好的效果。他們認(rèn)為之后可以在如何利用時序幀信息方面進(jìn)行深入的探索。3. 該領(lǐng)域存在大量白天行人檢測的數(shù)據(jù)集，因此該團(tuán)隊認(rèn)為之后可以嘗試 Domain Adaption 方向的方法，以充分利用行人數(shù)據(jù)集。參考文獻(xiàn)：
[1]?Lin T Y , Dollár, Piotr, Girshick R , et al. Feature Pyramid Networks for Object Detection[J]. 2016.[2]?Dai J, Qi H, Xiong Y, et al. Deformable Convolutional Networks[J]. 2017.[3]?Cai Z , Vasconcelos N . Cascade R-CNN: Delving into High Quality Object Detection[J]. 2017.[4]?Xie S , Girshick R , Dollar P , et al. Aggregated Residual Transformations for Deep Neural Networks[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2017.[5]?Bochinski E , Eiselein V , Sikora T . High-Speed tracking-by-detection without using image information[C]// 2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). IEEE, 2017.[6]?Henriques J F , Caseiro R , Martins P , et al. High-Speed Tracking with Kernelized Correlation Filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3):583-596.[7]?Song G , Liu Y , Wang X . Revisiting the Sibling Head in Object Detector[J]. 2020.[8]?Li A , Yang X , Zhang C . Rethinking Classification and Localization for Cascade R-CNN[J]. 2019.[9]?Wu, Y., Chen, Y., Yuan, L., Liu, Z., Wang, L., Li, H., & Fu, Y. (2019). Rethinking Classification and Localization in R-CNN. ArXiv, abs/1904.06493.[10]?Liu, Y., Wang, Y., Wang, S., Liang, T., Zhao, Q., Tang, Z., & Ling, H. (2020). CBNet: A Novel Composite Backbone Network Architecture for Object Detection. ArXiv, abs/1909.03625.
