點擊上方“小白學視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
來源丨h(huán)ttps://zhuanlan.zhihu.com/p/157530787
前言
車道線檢測是自動駕駛中的一個基礎模塊，其實也是一個由來已久的任務，早期已有很多基于傳統(tǒng)圖像處理實現(xiàn)的車道線檢測算法。但隨著大家研究的深入，車道線檢測任務所應對的場景越來越多樣化，逐步已經(jīng)脫離了對于“白、黃色線條”這種低階理解。目前更多的方式是尋求對于 語義上 車道線存在位置的檢測，即使它是模糊的、被光照影響的、甚至是完全被遮擋的，如下圖所示。
圖1 目前車道線檢測的難點為尋找語義上的線，而不是局限于表觀存在的線
對于上圖這類問題，基于傳統(tǒng)圖像處理的方法幾乎無法實現(xiàn)檢測，因此有了一些方法開始嘗試一種最直接的深度學習方案——把車道線檢測視為分割任務。雖然深度分割方法效果強于傳統(tǒng)方法，但存在兩個關鍵問題
因為分割是逐像素分類的，要對圖像中每一個像素點進行分類。為了分割車道線要進行非常密集的計算，導致的結果就是速度比較慢。其實車道線像素其實只占圖像很少一部分，想想也不需要進行這么舍本逐末的操作。
分割的另一個問題是感受野問題。因為分割一般是全卷積得到分割結果，而卷積基本上是比較局部的，所以每個像素的感受野有限。在其他分割問題中可能問題不大，但在車道線檢測中，問題就很大了。由于我們關注的問題大多是上圖這種語義線的檢測，需要對全局有很好的感知才能實現(xiàn)良好的定位。比如在圖1中，對于車道線的定位只有靠周圍車流走向這種全局信息才能很好地定位。
雖然有些很好的工作，比如SCNN[1]使用不同方向上的特征傳播實現(xiàn)信息傳遞，間接完成了增大感受野，增加全局信息的目標，但是速度更慢了。
其實直觀感受來說，做車道線檢測沒必要這么大動干戈把每個像素都進行分類?；诖?，我們的方法遵循著一個非常簡單的動機：有沒有更簡單的方式建模車道線檢測？
方法介紹
為了更簡單地建模車道線，也為了解決上述兩個分割方法存在的問題，我們提出了一個全新的車道線檢測定義：將車道線檢測定義為尋找車道線在圖像中某些行的位置的集合，即基于行方向上的位置選擇、分類（row-based classification），如下圖所示。
圖2 將車道線檢測定義為在某些行上位置的選擇、分類
假設我們要檢測一條車道線的圖像大小為HxW，對于分割問題，我們需要處理HxW個分類問題。
由于我們的方案是行向選擇，假設我們在h個行上做選擇，我們只需要處理h個行上的分類問題，只不過每行上的分類問題是W維的。因此這樣就把原來HxW個分類問題簡化為了只需要h個分類問題，而且由于在哪些行上進行定位是可以人為設定的，因此h的大小可以按需設置，但一般h都是遠小于圖像高度H的。
這樣，我們就把分類數(shù)目從HxW直接縮減到了h，并且h遠小于H，更不用說h遠小于HxW了。因此我們的方法將計算復雜度縮減到了一個極小的范圍內(nèi)，解決了分割速度慢的問題，極大地提速的了車道線檢測算法的速度，這也是我們方法能夠達到300+FPS的原因。下圖展示了我們方法和基于分割的車道線檢測方法的比較。
圖3 和傳統(tǒng)分類方法的比較。我們的方法直接做行方向上的選擇，而不是逐像素分割。
圖4 我們的方法是行上的水平選擇
圖5 分割方法是逐像素上channel維度的選擇
除了速度快之外，我們的方法還可以解決上文提到的另一個問題：局部感受野小導致的復雜車道線檢測困難問題。由于我們的方法不是分割的全卷積形式，是一般的基于全連接層的分類，它所使用的特征是全局特征。這樣就直接解決了感受野的問題，對于我們的方法，在檢測某一行的車道線位置時，感受野就是全圖大小。因此也不需要復雜的信息傳遞機制就可以實現(xiàn)很好的效果。
除此之外，由于有了水平行方向上直接的位置信息，我們還可以使用這些信息來加入車道線的先驗約束——平滑性和剛性。
我們將相鄰行上分類的L1范數(shù)定義為平滑性，希望車道線位置在相鄰行上是相近且平滑變化的。
將相鄰行間的二階差分定義為車道線的形狀。由于車道線大多是直線，因此其二階差分為0，所以約束其二階差分與0的差異可以在優(yōu)化過程中使得預測出的車道線更直。
由于分割方法得到的為車道線的二值分割圖，其結構是逐像素建模，因此幾乎無法實現(xiàn)對上述高層語義（平滑、剛性）層級的約束，這也是我們方法的另一個優(yōu)點。
實驗結果
我們在Tusimple和CULane上都進行了測試，都驗證了我們的方法可以在超快速度下達到接近或超越SOTA方法的性能。
可以看到在Tusimple數(shù)據(jù)集上我們的方法比SCNN[1]快了41.7倍，比SOTA的SAD[2]也快了4倍。但是Tusimple數(shù)據(jù)集上大家性能也比較飽和了，沒有達到SOTA的水平。
在另一個更為挑戰(zhàn)性的CULane數(shù)據(jù)集上，我們的方法同時達到了最快的速度和最好的精度。SOTA性能的模型能跑到175幀，輕量級的模型甚至可以跑到322幀。
這個速度是我們在GTX 1080Ti上測的，在20系或者Tesla顯卡上應該速度會更快。但已經(jīng)這么快了，還要啥自行車 : )
https://arxiv.org/abs/2004.11757
https://github.com/cfzd/Ultra-Fast-Lane-Detection
參考
1.abhttps://arxiv.org/abs/1712.06080
2.https://arxiv.org/abs/1908.00821
本文僅做學術分享，如有侵權，請聯(lián)系刪文。
下載1：OpenCV-Contrib擴展模塊中文版教程
在「小白學視覺」公眾號后臺回復：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。
下載2：Python視覺實戰(zhàn)項目31講
在「小白學視覺」公眾號后臺回復：Python視覺實戰(zhàn)項目31講，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學校計算機視覺。
在「小白學視覺」公眾號后臺回復：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學習進階。
在「小白學視覺」公眾號后臺回復：leetcode，即可下載。每題都 runtime beats 100% 的開源好書，你值得擁有！
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~
