車道線檢測一百問！
點擊上方“小白學視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
本文只做學術分享，如有侵權，聯(lián)系刪文
所有問答出自：自動駕駛之心知識星球（國內(nèi)首個自動駕駛技術交流社區(qū)）
1.請問下，車道線檢測中，道路上會有一些舊車道線影響新車道線怎么辦？
答：這種依賴模型不好解決，只能用車道后處理來解決了，可以嘗試加一下跟蹤或者看一下車道線分布規(guī)則來約束一下；
2.各位大佬，車道線在分流點，合流點會有幾幀出錯怎么辦？
答：有加跟蹤嗎？或者針對合流和分流做一些邏輯穩(wěn)定，比如檢測到（或者計算得到）合流點，然后根據(jù)點的位置做一些穩(wěn)定；
3.想問一下大家，在自動駕駛車輛當中，汽車空載和滿載帶來的對前視相機外參影響（主要是pitch角），進而會對車道線檢測或者居中保持功能產(chǎn)生影響對嗎？如果有影響的話是從標定的角度入手還是車道線檢測的角度入手去解決呢？
答：可以測一下影響有多大，其實通過加一個消失點估計，也能校正pitch角；
4.請問各位大佬，車道線檢測中，有的會做到自車中間會有一條中心線，這是怎么做的呢？
答：可以貼個圖看看，我理解自車中間的中心線是和自車位置，兩邊主車道線相關的，可以通過它們擬合出來；
5.請問下車道線數(shù)據(jù)集Curvelanes沒有車道線類別，自己的數(shù)據(jù)集有類別，請問下這兩個數(shù)據(jù)集怎么一塊用呢？
答：用自己的有類別的數(shù)據(jù)訓練個分類模型對Curvelanes打個類別偽標簽也可以，再用一些半監(jiān)督的策略，一起用?；蛘呦炔魂P心類別，先用兩個數(shù)據(jù)集訓練一個不帶類別輸出的模型，然后再用自己數(shù)據(jù)集微調(diào)出一個帶類別的模型；
6.有沒有誰做過車道線跟蹤，都找不到相關論文，現(xiàn)在一般都用什么方法做？
答：如果定位信息準的話，多幀的車道線可以在世界坐標系下完全重合，利用這個原理去匹配當前幀和前些幀就能很好的做到跟蹤了，然后做濾波，跟蹤匹配預測；
7.大佬們，車道線語義分割對于遮擋情況都是怎么解決的?
答：可以考慮長短焦多相機融合；加數(shù)據(jù)，通過GAN等方法制造一些遮擋數(shù)據(jù)。
8.您好，我利用圖像檢測出車道線，然后提取出像素點，想問下，這些像素點轉(zhuǎn)換到激光雷達坐標系有什么好的方法嘛，（因為最終想轉(zhuǎn)換到地圖坐標系）？是單目相機，沒有深度信息。我使用了相機激光雷達標定參數(shù)，轉(zhuǎn)換出的結(jié)果如下，不太對，有沒有什么解決方法嘛？
答：因為單目相機到三維空間的轉(zhuǎn)換本身就存在一對多的關系，因此需要用激光雷達對含有車道的環(huán)境進行掃描，車道點投影到圖像平面，建立一一對應關系，然后根據(jù)圖片上車道線點找到其對應的激光點云位置，即為三維空間下的車道線位置；像素坐標轉(zhuǎn)為3d坐標肯定是需要深度信息的，既然你沒有深度信息，那么肯定是不行的。但是如果你有相機內(nèi)外參數(shù)，倒是可以嘗試通過IPM的方式，將2d像素點投影到地面上，相對來說深度還是比較準確的，只是地面高度信息沒了；
9.大佬們，想請教下下在算力低下的嵌入式設備中，檢測車道線有哪些好用的網(wǎng)絡呢？
答：ultra fast 系列 可以看看
10.各位大佬，我想請問一下，針對周視的車道線檢測問題，對于非BEV方案 大家有沒有比較好的方法呀？
答：車道線更關注前視，所以基本都是基于單目做的，在局部地圖構(gòu)建中可優(yōu)先考慮BEV方案，否則還要拼接圖像，或者結(jié)果，非常不優(yōu)雅；如果一定要做，那就是單目車道線檢測那幾種了，基于anchor的落地方便，基于分割耗時可能大一些，需要后處理多一些。具體方法可以嘗試一下；
11.請教一下大佬們，車道線檢測結(jié)果的擬合及跟蹤一般都是如何做的？多車道線情況下怎么擬合出多條曲線呢？
答：車道線檢測的話，要獲取車道線實例，有基于anchor的輸出就是車道線實例，也有先二值分割再聚類的，或者關鍵點再聚類或者特殊解碼算法的，跟蹤的話我了解也不是很多，建議找找相關論文，有看到過倒是；
12.各位大佬，有沒有車道線彎道和變道檢測效果比較好的模型，用過UFLD和UFLDv2，感覺這個問題都沒有大的改善
答：這個是之前一個開源項目及論文，可以參考：Rethinking Efficient Lane Detection via Curve Modeling
13.極端天氣的車道線消失如何補償呢，大家有沒有什么好的方案？
答：視覺感知的話，如果不是連續(xù)幀出現(xiàn)車道線消失，可以考慮時序的融合，模型和后處理都可以。如果是連續(xù)幀，從功能上來說應該要進failsafe了。有激光雷達的話，好的激光雷達理論上可以直接從點云上提取車道線，車道線和地面的強度不一樣，會比依賴視覺的影響小一些。
14.大佬們求教，如果想做車道線的分割和路面標識（左轉(zhuǎn)右轉(zhuǎn)直行箭頭等）檢測，有什么比較合適的數(shù)據(jù)增強方式嘛？
答：路面標志可以做一些目標框內(nèi)的一些擾動，比如水平垂直flip，旋轉(zhuǎn)等等，還有形變操作(仿射變換等)，只要增強出來看著合理都可用。
15.相機與高精地圖的車道線融合目前有什么好的方案（工程上）？車道線的視覺檢測結(jié)果已有！
答：1.視覺結(jié)果是相對車輛的位置，高精地圖是絕對位置，將兩個車道線匹配一下，之后應該可以使用卡爾曼濾波融合，結(jié)合位置信息得到最終結(jié)果，這個思路可以試試 2.我記得阿波羅里面應該有車道線感知和高精地圖融合的內(nèi)容，也可以參考下~
下載1：OpenCV-Contrib擴展模塊中文版教程
在「小白學視覺」公眾號后臺回復：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。
下載2：Python視覺實戰(zhàn)項目52講 在「小白學視覺」公眾號后臺回復：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學校計算機視覺。
下載3：OpenCV實戰(zhàn)項目20講 在「小白學視覺」公眾號后臺回復：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學習進階。
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~