點擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時間送達(dá)
作者：Yilin Wang等 | 編輯 機(jī)器之心
目標(biāo)檢測一直是計算機(jī)視覺領(lǐng)域中一大難題。近日，來自阿爾伯塔大學(xué)的研究者對目標(biāo)檢測領(lǐng)域的近期發(fā)展進(jìn)行了綜述，涵蓋常見數(shù)據(jù)格式和數(shù)據(jù)集、2D 目標(biāo)檢測方法和 3D 目標(biāo)檢測方法。
目標(biāo)檢測任務(wù)的目標(biāo)是找到圖像中的所有感興趣區(qū)域，并確定這些區(qū)域的位置和類別。由于目標(biāo)具有許多不同的外觀、形狀和姿態(tài)，再加上光線、遮擋和成像過程中其它因素的干擾，目標(biāo)檢測一直以來都是計算機(jī)視覺領(lǐng)域中一大挑戰(zhàn)性難題。本文將概述性地總結(jié)一些當(dāng)前最佳的目標(biāo)檢測相關(guān)研究。第 2 節(jié)將簡要介紹目標(biāo)檢測任務(wù)常用的數(shù)據(jù)格式，同時還會給出一些著名的數(shù)據(jù)集。然后會概述一些預(yù)處理方法。第 3 節(jié)會介紹與 2D 目標(biāo)檢測相關(guān)的技術(shù)，包括傳統(tǒng)方法和深度學(xué)習(xí)方法。最后第 4 節(jié)會概括性地討論 3D 目標(biāo)檢測這一主題。在計算機(jī)圖形學(xué)中，深度圖（Depth
Map）是包含場景中目標(biāo)表面與視點之間距離信息的圖像或圖像通道。深度圖類似于灰度圖像，只不過深度圖中每個像素都是傳感器與目標(biāo)之間的實際距離。一般來說，RGB
圖像和深度圖是同時采集的，因此兩者的像素之間存在一一對應(yīng)關(guān)系。RGB-D 格式的數(shù)據(jù)集包括 Pascal VOC、COCO、ImageNet
等。雷達(dá)數(shù)據(jù)對目標(biāo)檢測問題也很有用。雷達(dá)數(shù)據(jù)的收集方式是：先向目標(biāo)表面發(fā)射聲波，然后使用反射信息來計算目標(biāo)的速度以及與目標(biāo)的距離。但是，僅靠雷達(dá)可無法收集到用于檢測和分類的信息，因此不同類型數(shù)據(jù)的融合是非常重要的。點云數(shù)據(jù)是三維坐標(biāo)系中的一組向量。這些向量通常用
X、Y、Z 的三維坐標(biāo)表示，是一種常用的外表面形狀表示方式。不僅如此，除了由 (X,Y,Z) 表示的幾何位置信息之外，每個點云還可能包含
RGB 顏色像素、灰度值、深度和法線。大多數(shù)點云數(shù)據(jù)都由 3D 掃描設(shè)備生成，比如激光雷達(dá)（2D/3D)、立體相機(jī)和
TOF（飛行時間）相機(jī)。這些設(shè)備可自動測量目標(biāo)表面上大量點的信息，然后以 .LAS 和 .LAZ
這兩種標(biāo)準(zhǔn)文件格式輸出點云。這些點云數(shù)據(jù)是由掃描設(shè)備采集的。在用于訓(xùn)練的數(shù)據(jù)集中，除了點云數(shù)據(jù)，還有相應(yīng)的 RGB 圖像。這類數(shù)據(jù)集包括
KITTI [4]、nuScenes [5]、Waymo Open [6] 等。本文將使用
nuScenes 數(shù)據(jù)集來訓(xùn)練和評估模型。nuScenes 數(shù)據(jù)集來自 nuTonomy，是一個大規(guī)模自動駕駛數(shù)據(jù)集，其中的數(shù)據(jù)進(jìn)行了 3D
目標(biāo)標(biāo)注。與其它很多數(shù)據(jù)集相比，nuScenes 數(shù)據(jù)集不僅規(guī)模更大，目標(biāo)標(biāo)注更多，而且還提供了整套傳感器套件，包括激光雷達(dá)、聲波雷達(dá)、GPS 和
IMU。圖 1 展示了 nuScenes 中一個激光雷達(dá)點云的示例。
圖 1：nuScenes 中的激光雷達(dá)點云示例。盡管數(shù)據(jù)集中的圖像質(zhì)量很高，但在實際應(yīng)用中，天氣等因素都可能影響圖像的質(zhì)量，并因此降低檢測準(zhǔn)確率。近期提出的一些用于交通場景的去霧算法可以解決這類問題。比如
[8]
提出了一種基于伽馬校正和引導(dǎo)濾波的去霧算法：先使用伽馬校正方法在去霧之前校正圖像，然后再在校正后圖像上執(zhí)行三種不同尺度的引導(dǎo)濾波過程，過濾后的圖像再使用
Retinex 模型修改，最后使用加權(quán)融合得到去霧的結(jié)果。通過此方法得到的去霧圖像具有更高的對比度和顏色一致性。Wang [9]
重點研究了如何解決霧濃度分布不均的問題。根據(jù)波長與霧濃度的關(guān)系，他們針對交通監(jiān)控圖像構(gòu)建了一個與波長相關(guān)的物理成像模型。然后，再根據(jù)波長與顏色的相關(guān)性，他們又基于最大模糊相關(guān)圖切割設(shè)計了一種透射率估計算法。除了提升圖像質(zhì)量之外，人們也常使用相機(jī)校準(zhǔn)來確定圖像在
3D 空間中的位置。盡管相機(jī)校準(zhǔn)這一問題已得到廣泛研究，但大多數(shù)校準(zhǔn)方法都會固定相機(jī)位置并使用某個已知的校準(zhǔn)模式。Basu [10]
提出了一種使用場景中的清晰邊緣自動校準(zhǔn)相機(jī)的方法，該方法可移動相機(jī)且無需事先定義一種模式。除了上述問題之外，某些數(shù)據(jù)集還存在嚴(yán)重的類別不平衡問題，比如
nuScenes 數(shù)據(jù)集。[11]
提出了一種有效解決該問題的方法，并在這個新數(shù)據(jù)集上取得了優(yōu)秀表現(xiàn)。他們首先使用數(shù)據(jù)增強(qiáng)策略，然后使用一些經(jīng)過改進(jìn)的 3D
特征提取網(wǎng)絡(luò)，最后改進(jìn)訓(xùn)練流程和對損失的評估，進(jìn)而實現(xiàn)整體性能的提升。傳統(tǒng)的目標(biāo)檢測算法通?；诓煌愋偷奶卣髅枋鲎印７较蛱荻戎狈綀D（HOG）[12] 就是其中一種著名的描述子，它統(tǒng)計在已定位的圖像部分中梯度方向的出現(xiàn)次數(shù)。HOG 特征結(jié)合 SVM 分類器的方法已在目標(biāo)檢測領(lǐng)域得到廣泛應(yīng)用，在行人檢測方面尤其成功。特征檢測在傳統(tǒng)方法中尤其重要。近些年，出現(xiàn)了很多特征提取方面的有趣研究。霍夫變換（Hough
transform）是圖像處理過程中一種識別圖像中幾何形狀的基本方法。舉個例子，針對人臉跟蹤問題，[13]
使用了一種基于梯度的霍夫變換來定位眼睛虹膜的位置。但是，對于非單視點（SVP）標(biāo)準(zhǔn)的圖像，這樣的變換無法直接用于特征識別。[14]
提出了一種解決該問題的數(shù)學(xué)模型。雷登變換（Radon Transform）[15] 在醫(yī)學(xué)影像處理方面應(yīng)用廣泛，它也可用于識別任務(wù)。[16] 使用雷登變換來進(jìn)行視覺手勢識別，得到了很不錯的識別率。Yin [17] 提出了一種跟蹤鼻子形狀的方法，以前的研究通常會忽略這個特征。這一研究使用面積增長方法來確定鼻子所在的區(qū)域，而鼻尖和鼻翼的形狀則是通過預(yù)定義模板分別提取。最后，再使用提取出的特征指示人臉跟蹤的效果。一旦檢測到相關(guān)特征，就使用
Kanade–Lucas–Tomasi（KLT）等特征跟蹤器跟蹤下一幀中的特征。2005 年時，有作者 [18]
提出了一種方法，即使用高斯拉普拉斯算子（Laplace of Gaussian）和高斯加權(quán)函數(shù)來提升會受噪聲影響的 KLT
跟蹤性能。該加權(quán)函數(shù)耦合了邊緣特征，從而得到了一種用于選取最優(yōu)加權(quán)函數(shù)的確定性公式。這種方法僅會增加少量計算時間，但卻為跟蹤性能帶來極大提升。有時候，除了特征提取，還會涉及到圖像分割。[19]
描述了一種方法，即使用梯度向量流 - 蛇（GVF snake）模型來提取相關(guān)輪廓。通過加入邊緣檢測和使用氣道 CT
切片先驗知識的蛇位移（snake shifting）技術(shù)，作者對原始 GVF - 蛇方法進(jìn)行了改進(jìn)，得到了更好的結(jié)果。這一技術(shù)可能也很有用。另一個問題則來自相機(jī)移動，隨著收集數(shù)據(jù)的設(shè)備類型的增多，來自移動相機(jī)的數(shù)據(jù)也越來越多。至于背景消除問題，很多方法在靜止相機(jī)采集的數(shù)據(jù)上表現(xiàn)優(yōu)良，比如在事先知道每幀中前景和背景有較大距離的前提下，聚類可以在一次迭代中完成，而且僅需兩個聚類，[20]
能在背景消除任務(wù)上取得較高的準(zhǔn)確率。但是，如果相機(jī)在移動，難度就會大得多。[21]
首先使用了魯棒型主成分分析（RPCA）來提取背景運動，其假設(shè)背景場景可以描述為一種低秩矩陣，然后將幀分割為子像素以提升將光流轉(zhuǎn)換為運動的幅度和角度的準(zhǔn)確率，由此改善結(jié)果。目標(biāo)識別是指與識別圖像或視頻中目標(biāo)相關(guān)的任務(wù)，旨在找到圖像中所有相關(guān)目標(biāo)并確定其 2D 位置。現(xiàn)今，目標(biāo)檢測領(lǐng)域的深度學(xué)習(xí)方法主要分為兩大類：兩階段式目標(biāo)檢測算法和單階段式目標(biāo)檢測算法。前者是先由算法生成一系列候選邊界框作為樣本，然后再通過卷積神經(jīng)網(wǎng)絡(luò)分類這些樣本。后者則是直接將目標(biāo)邊界定位問題轉(zhuǎn)換成回歸問題，其中不涉及生成候選邊界框。兩種方法的區(qū)別也導(dǎo)致其性能也不同。前者在檢測準(zhǔn)確率和定位準(zhǔn)確率方面更優(yōu)，而后者勝在算法速度。第一種是兩階段框架。這類框架首先生成候選區(qū)域（region
proposal），然后將其分類成不同的目標(biāo)類別，所以這也被稱為「基于區(qū)域的方法」。這類模型主要包括 R-CNN [22]、Fast
R-CNN [23]、Faster R-CNN [24]、基于區(qū)域的全卷積網(wǎng)絡(luò)（R-FCN）等。在單階段框架中，模型將目標(biāo)檢測任務(wù)視為一個統(tǒng)一的端到端回歸問題。在這類框架中，圖像會被縮放到同一尺寸，并以網(wǎng)格形式均等劃分。如果目標(biāo)的中心位于某個網(wǎng)格單元中，該網(wǎng)格就負(fù)責(zé)預(yù)測目標(biāo)。通過這種方式，模型僅需處理圖像一次就能得到位置和分類結(jié)果。單階段框架主要包括
MultiBox [26]、YOLO [27]、單次多框檢測器（SSD）[28]。相比于第一類框架，這種框架通常結(jié)構(gòu)更簡單，檢測速度也更快。這一節(jié)將簡要討論與 3D 目標(biāo)檢測相關(guān)的工作，這里基于不同的數(shù)據(jù)信息將這些研究工作分為了三大類別。RGB
圖像包含充足的語義信息，因此非常適合目標(biāo)檢測。圖 2 展示了一個使用 2D 圖像檢測目標(biāo)的示例。3D-GCK [29] 等方法僅使用單目
RGB 圖像就能實現(xiàn)實時的汽車檢測：它首先預(yù)測 2D 邊界框，然后使用神經(jīng)網(wǎng)絡(luò)來估計缺失的深度信息，將 2D 邊界框提升到 3D 空間。
圖 2：使用 2D 圖像的目標(biāo)檢測示例。近期一項研究 [30] 使用了 RGB-D 傳感器，但只使用了灰度信息來識別無紋理的目標(biāo)。它首先將傳感器獲得的 RGB 圖像轉(zhuǎn)換成灰度圖像，然后再分割背景和前景。在移除噪聲后，再使用 5 個分類模型執(zhí)行特征提取，最終預(yù)測出目標(biāo)的類別。僅使用點云數(shù)據(jù)的分類網(wǎng)絡(luò)主要有兩種。第一種是直接使用三維點云數(shù)據(jù)。這類方法沒有信息丟失的問題，但是由于
3D 數(shù)據(jù)非常復(fù)雜，所以往往計算成本較高。第二種方法則是將點云處理成二維數(shù)據(jù)，這可以降低計算量，但不可避免地會丟失原始數(shù)據(jù)的一些特征。圖 3
給出了一個使用 3D 激光雷達(dá)點云數(shù)據(jù)執(zhí)行檢測的例子。
?圖 3：通過 YOLO 使用 3D 點云的目標(biāo)檢測示例。將點云處理成二維數(shù)據(jù)的方法有很多。Jansen
[31] 提出從多個 2D 角度表示 3D 點云。在其數(shù)據(jù)預(yù)處理階段，通過取點云圖像的中心作為原點，并通過旋轉(zhuǎn)固定的弧度角來截取 64
張不同角度的點云圖像。這種方法能在一定程度上減少信息損失，因為其中加入了額外的旋轉(zhuǎn)，并在分類階段使用了許多實例。[32]
等研究則是將點云投射到一個圓柱面上，以盡可能多地保留信息。BirdNet+
[33] 是基于目標(biāo)檢測框架 BirdNet [34] 的改進(jìn)版。BirdNet+ 為基于激光雷達(dá)數(shù)據(jù)的 3D
目標(biāo)檢測提供了一種端到端的解決方案。它用到了鳥瞰視角表征，這是從激光雷達(dá)點云轉(zhuǎn)換而來的帶有三個通道的 2D 結(jié)構(gòu)，依賴于一個兩階段架構(gòu)來獲取面向
3D 的邊界框。近期，[35] 提出了一種計算高效的端到端式魯棒型點云對齊和目標(biāo)識別方法，該方法使用了無監(jiān)督深度學(xué)習(xí)，并被命名為深度點云映射網(wǎng)絡(luò)（DPC-MN）。該模型的訓(xùn)練無需標(biāo)簽，而且能高效地實現(xiàn)從 3D 點云表征到 2D 視角的映射函數(shù)。4.3 結(jié)合 RGB 圖像與點云的目標(biāo)檢測Frustum
PointNets [36] 同時使用 RGB 圖像和激光雷達(dá)點云數(shù)據(jù)來執(zhí)行 3D 目標(biāo)檢測。該算法使用成熟的 2D
目標(biāo)檢測器來縮小搜索空間。它是通過從圖像檢測器得到的 2D 邊界框來提取 3D 邊界視錐，然后再在經(jīng)過 3D 視錐修整過的 3D 空間中執(zhí)行
3D 目標(biāo)實例分割。MV3D
[37] 也同時使用 RGB 圖像和激光雷達(dá)點云數(shù)據(jù)作為輸入，它是將 3D
點云投影成鳥瞰圖和正視圖。鳥瞰圖表征是通過高度、強(qiáng)度和密度編碼的，而正視圖則是將點云投影到一個圓柱面上生成的。鳥瞰圖可用于生成 3D
先驗邊界框，然后將該 3D 先驗邊界框投影到前視圖和圖像上，這三個輸入生成一個特征圖。該方法采用 ROI
池化來將三個特征圖整合到同一個維度。整合后的數(shù)據(jù)再在網(wǎng)絡(luò)上進(jìn)行融合，然后輸出分類結(jié)果和邊界框。
圖 4：使用 MV3D 的目標(biāo)檢測示例。
