自動駕駛中實時車道檢測和警報

點擊上方“小白學視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達

車道檢測模型

簡介

未來十年，自動駕駛將徹底改變?nèi)藗兊某鲂蟹绞健Ｄ壳?，自動駕駛應用程序目前正在測試各種案例，包括客車，機器人出租車，自動商業(yè)運輸卡車，智能叉車以及用于農(nóng)業(yè)的自動拖拉機。自動駕駛需要計算機視覺感知模塊來識別和導航環(huán)境。此感知模塊的作用是：

• 車道檢測

• 檢測環(huán)境中的其他物體：車輛，行人，動物

• 跟蹤檢測到的對象

• 預測他們可能的運動

一個好的感知系統(tǒng)應該能夠在各種駕駛條件下（白天/晚上、夏天/冬天、下雨/下雪等）實時完成這項工作。在本文中，我們將探究一個實時模型，用于檢測車道、其他車輛等以及生成警報。

訓練實時車道檢測

車道檢測問題通常被構造為語義或實例分割問題，目的是識別屬于車道類別的像素。TUSimple是用于車道檢測任務的常用數(shù)據(jù)集，這個數(shù)據(jù)集有3626個道路場景的注釋視頻剪輯，每個剪輯有20幀，數(shù)據(jù)都是從安裝在汽車上的攝像機所捕獲的。下面分享一個示例圖像及其注釋。

TUSimple數(shù)據(jù)集的樣本圖像和車道注釋

在此數(shù)據(jù)集中，我們可以訓練語義分割模型用于分割出屬于車道類別的像素。U-Net模型是一個理想的模型，因為它是具有實時推理速度的輕量級模型。U-Net是一種編碼器-解碼器模型，具有跳過連接編碼器和解碼器塊。模型架構如下所示。

U-Net論文中的U-Net模型架構?

但是，損失函數(shù)應修改為骰子損失系數(shù)。車道線分割問題是一個極不平衡的數(shù)據(jù)問題，圖像中的大多數(shù)像素都屬于背景類。Dice Loss基于Sorenson-Dice系數(shù)，它對假陽性和假陰性具有相似的重要性，這使它在數(shù)據(jù)不平衡問題的處理上表現(xiàn)更好。你可以在他們的論文中閱讀有關Dice Loss的更多信息。Dice Loss嘗試匹配地面真實情況和預測模型中的車道像素，并能夠獲得清晰的邊界預測。個人非常喜歡這個關于使用骰子進行邊界預測的博客。

LaneNet模型

對于本文，我使用LaneNet模型生成車道線。LaneNet模型是兩階段車道線預測器。第一階段是編碼器-解碼器模型，以創(chuàng)建車道線分割掩碼。第二階段是車道定位網(wǎng)絡，該車道網(wǎng)絡將從掩碼中提取的車道點作為輸入，并使用LSTM學習預測車道點的二次函數(shù)。

下圖顯示了操作的兩個階段。左圖是原始圖像，中間圖像是第1階段車道注釋的輸出，右圖是第2階段的最終輸出。

LaneNet模型的解釋（論文圖片-https://arxiv.org/pdf/1807.01726.pdf）

我使用了這個repo中的LaneNet模型實現(xiàn)。代碼維護良好，運行無錯誤。

生成智能警報器

我將車道的預測與對象檢測相結合，以生成智能警報。這些智能警報可以：

• 檢測車輛的自我車道中是否存在其他車輛并測量與它們的距離

• 檢測相鄰車道中的車輛

• 識別彎曲道路的轉彎半徑

在這里，我使用YOLO v5來檢測道路上的汽車和人。如果您有興趣測試YOLO v5，請在此處查看我的博客(https://towardsdatascience.com/yolov5-compared-to-faster-rcnn-who-wins-a771cd6c9fb4)

YOLO v5在檢測道路上的其他車輛方面表現(xiàn)出色，而且推斷時間也非?？臁?/span>接下來，我們使用YOLO v5來測量我方車輛與前面最近的車輛之間的距離。模型返回以像素為單位的距離，可以根據(jù)相機參數(shù)將其轉換為米。由于TUSimple數(shù)據(jù)集的相機參數(shù)未知，因此我根據(jù)車道的標準寬度估算了像素到米的轉換。

距離測量警報

我們同樣可以計算車道的曲率半徑，并將其用于汽車的轉向模塊。

曲率半徑測量

結論

在本文中，我們探討了針對自動駕駛中如何準確而快速地檢測車道線的問題。然后，我們使用YOLO v5建立對道路上其他對象的識別，用于生成智能警報。在深度學習分析中，我們非常熱衷于使用機器學習解決現(xiàn)實世界中的問題。我們已經(jīng)幫助許多企業(yè)部署了基于AI的創(chuàng)新解決方案。如果您發(fā)現(xiàn)合作的機會，請通過此處的網(wǎng)站與我們聯(lián)系。

參考文獻

• YOLO v5

• LaneNet

• U-Net

下載1：OpenCV-Contrib擴展模塊中文版教程

在「小白學視覺」公眾號后臺回復：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目31講

在「小白學視覺」公眾號后臺回復：Python視覺實戰(zhàn)項目31講，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學校計算機視覺。

下載3：OpenCV實戰(zhàn)項目20講

在「小白學視覺」公眾號后臺回復：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學習進階。

下載4：leetcode算法開源書

在「小白學視覺」公眾號后臺回復：leetcode，即可下載。每題都 runtime beats 100% 的開源好書，你值得擁有！

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~