ECCV 2020 ｜ 超快的車道線檢測

點擊上方“AI算法與圖像處理”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

本文轉載自知乎，僅做學習交流分享，如有侵權請聯系刪除

鏈接：https://zhuanlan.zhihu.com/p/157530787

很高興和大家分享一下我們剛剛被 ECCV 2020 接收的新工作：一種超快速的車道線檢測算法（Ultra Fast Structure-aware Deep Lane Detection），能夠達到SOTA水平的性能，同時保持超高的檢測速度。輕量級的版本可以在接近SOTA的性能情況下達到300+FPS的檢測速度。

代碼和模型已開源。話不多說，先放demo。

1

? 前言

車道線檢測是自動駕駛中的一個基礎模塊，其實也是一個由來已久的任務，早期已有很多基于傳統(tǒng)圖像處理實現的車道線檢測算法。但隨著大家研究的深入，車道線檢測任務所應對的場景越來越多樣化，逐步已經脫離了對于“白、黃色線條”這種低階理解。目前更多的方式是尋求對于?語義上車道線存在位置的檢測，即使它是模糊的、被光照影響的、甚至是完全被遮擋的，如下圖所示。

對于上圖這類問題，基于傳統(tǒng)圖像處理的方法幾乎無法實現檢測，因此有了一些方法開始嘗試一種最直接的深度學習方案——把車道線檢測視為分割任務。雖然深度分割方法效果強于傳統(tǒng)方法，但存在兩個關鍵問題

• 速度慢
  

因為分割是逐像素分類的，要對圖像中每一個像素點進行分類。為了分割車道線要進行非常密集的計算，導致的結果就是速度比較慢。其實車道線像素其實只占圖像很少一部分，想想也不需要進行這么舍本逐末的操作。

• 局部感受野

分割的另一個問題是感受野問題。因為分割一般是全卷積得到分割結果，而卷積基本上是比較局部的，所以每個像素的感受野有限。在其他分割問題中可能問題不大，但在車道線檢測中，問題就很大了。由于我們關注的問題大多是上圖這種語義線的檢測，需要對全局有很好的感知才能實現良好的定位。比如在圖1中，對于車道線的定位只有靠周圍車流走向這種全局信息才能很好地定位。

雖然有些很好的工作，比如SCNN^[1]使用不同方向上的特征傳播實現信息傳遞，間接完成了增大感受野，增加全局信息的目標，但是速度更慢了。

其實直觀感受來說，做車道線檢測沒必要這么大動干戈把每個像素都進行分類?；诖?，我們的方法遵循著一個非常簡單的動機：有沒有更簡單的方式建模車道線檢測？

2

? 方法介紹

為了更簡單地建模車道線，也為了解決上述兩個分割方法存在的問題，我們提出了一個全新的車道線檢測定義：將車道線檢測定義為尋找車道線在圖像中某些行的位置的集合，即基于行方向上的位置選擇、分類（row-based classification），如下圖所示。

假設我們要檢測一條車道線的圖像大小為HxW，對于分割問題，我們需要處理HxW個分類問題。

由于我們的方案是行向選擇，假設我們在h個行上做選擇，我們只需要處理h個行上的分類問題，只不過每行上的分類問題是W維的。因此這樣就把原來HxW個分類問題簡化為了只需要h個分類問題，而且由于在哪些行上進行定位是可以人為設定的，因此h的大小可以按需設置，但一般h都是遠小于圖像高度H的。

這樣，我們就把分類數目從HxW直接縮減到了h，并且h遠小于H，更不用說h遠小于HxW了。因此我們的方法將計算復雜度縮減到了一個極小的范圍內，解決了分割速度慢的問題，極大地提速的了車道線檢測算法的速度，這也是我們方法能夠達到300+FPS的原因。下圖展示了我們方法和基于分割的車道線檢測方法的比較。

除了速度快之外，我們的方法還可以解決上文提到的另一個問題：局部感受野小導致的復雜車道線檢測困難問題。由于我們的方法不是分割的全卷積形式，是一般的基于全連接層的分類，它所使用的特征是全局特征。這樣就直接解決了感受野的問題，對于我們的方法，在檢測某一行的車道線位置時，感受野就是全圖大小。因此也不需要復雜的信息傳遞機制就可以實現很好的效果。

除此之外，由于有了水平行方向上直接的位置信息，我們還可以使用這些信息來加入車道線的先驗約束——平滑性和剛性。

我們將相鄰行上分類的L1范數定義為平滑性，希望車道線位置在相鄰行上是相近且平滑變化的。

將相鄰行間的二階差分定義為車道線的形狀。由于車道線大多是直線，因此其二階差分為0，所以約束其二階差分與0的差異可以在優(yōu)化過程中使得預測出的車道線更直。

具體公式符號定義請見我們的文章。

由于分割方法得到的為車道線的二值分割圖，其結構是逐像素建模，因此幾乎無法實現對上述高層語義（平滑、剛性）層級的約束，這也是我們方法的另一個優(yōu)點。

3

? 實驗結果

我們在Tusimple和CULane上都進行了測試，都驗證了我們的方法可以在超快速度下達到接近或超越SOTA方法的性能。

可以看到在Tusimple數據集上我們的方法比SCNN^[1]快了41.7倍，比SOTA的SAD^[2]也快了4倍。但是Tusimple數據集上大家性能也比較飽和了，沒有達到SOTA的水平。

在另一個更為挑戰(zhàn)性的CULane數據集上，我們的方法同時達到了最快的速度和最好的精度。SOTA性能的模型能跑到175幀，輕量級的模型甚至可以跑到322幀。

這個速度是我們在GTX 1080Ti上測的，在20系或者Tesla顯卡上應該速度會更快。但已經這么快了，還要啥自行車 : )

目前代碼和模型都已開源，希望大家多多指教！

論文：https://arxiv.org/pdf/2004.11757.pdf

代碼：https://github.com/cfzd/Ultra-Fast-Lane-Detection

參考

1. https://arxiv.org/abs/1712.06080

2. https://arxiv.org/abs/1908.00821

下載1：動手學深度學習

在「AI算法與圖像處理」公眾號后臺回復：OpenCV黑魔法，即可下載小編精心編寫整理的計算機視覺趣味實戰(zhàn)教程

下載2
在「AI算法與圖像處理」公眾號后臺回復：CVPR2020，即可下載1467篇CVPR?2020論文
個人微信（如果沒有備注不拉群！）
請注明：地區(qū)+學校/企業(yè)+研究方向+昵稱