根據(jù)任務(wù)需求，需要對其進(jìn)行維度劃分以便后續(xù)數(shù)據(jù)采集和模型評估。如果我們做一個全場景的車道線檢測任務(wù)，需要考慮：

• 時(shí)間維度：白天、晚上

• 天氣維度：晴朗、陰天、下雨

• 應(yīng)用場景：高速道路、城市道路、鄉(xiāng)鎮(zhèn)小路

• 目標(biāo)類別：長實(shí)線、雙黃線、虛線等等

• 難易情況：道路清晰、數(shù)據(jù)遮擋、車道線磨損等

數(shù)據(jù)采集之前必須明確任務(wù)需求，在什么場景下能夠解決什么樣的問題？做Demo不可能一個模型適用所有自然場景。

根據(jù)設(shè)定好的需求場景，以視頻錄制的方式采集，一般需要以下幾個步驟：

• 視頻錄制

• 間隔抽幀

• 相似性過濾

• 數(shù)據(jù)分類

• 數(shù)據(jù)篩選

視頻錄制過程中，如果使用的是USB等免驅(qū)的攝像頭，直接調(diào)用OpenCV的VideoCapture接口打開即可；如果使用的是車載相機(jī)需要購買配套的解串套件或者根據(jù)攝像頭的串行編碼，對應(yīng)完成解串功能獲取Raw Data數(shù)據(jù)。

間隔抽幀這一步考慮到視頻如果按照30FPS的幀率錄制，在每一幀之間的變化很小，特征差異不大，將這些圖片全部進(jìn)行后續(xù)的標(biāo)注會增加很大的人力成本，所以通常以5s/幀的方式進(jìn)行幀間采用，推薦使用ffmpeg指令，簡單方便，對于畫質(zhì)、采樣率、采用周期等均可以參數(shù)調(diào)節(jié)：

ffmpeg -i out.avi -r 5 -f image2 image-%05d.jpeg

相似性過濾用于解決車輛反復(fù)行駛在相同路段情況、車速在行駛過程中有快有慢，甚至遇到紅綠燈時(shí)停車小一分鐘的情況，間隔抽幀后的數(shù)據(jù)中仍然有很多重復(fù)或者相似的圖片。

圖像之間的相似性度量方法很多，傳統(tǒng)算法一般采用特征提取+距離度量，根據(jù)閾值判斷；深度學(xué)習(xí)方法把上述兩步封裝在端到端的網(wǎng)絡(luò)中。考慮到這里僅是預(yù)處理的環(huán)節(jié)，采用類似直方圖統(tǒng)計(jì)、感知哈希、結(jié)構(gòu)相似性等類似算法即可，針對車道線檢測的任務(wù)， 關(guān)注的區(qū)域在地面上，所以需要將感興趣區(qū)域限定在圖像下方（下圖綠色直線下方）：

數(shù)據(jù)分類是為了匹配場景維度的定義，將不同場景或者類型的圖片數(shù)據(jù)放在定義好的文件夾中，觀測數(shù)據(jù)量在類別之間的平衡，有利于后續(xù)有針對性的填充數(shù)據(jù)。比如將城市道路的數(shù)據(jù)和高速道路數(shù)據(jù)分開存放，白天和晚上的數(shù)據(jù)分開存放等。

數(shù)據(jù)篩選的細(xì)致與否會影響到后續(xù)網(wǎng)絡(luò)模型的收斂以及精度優(yōu)劣，雖然神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的特征提取能力，對場景有一定魯棒性，但是在訓(xùn)練數(shù)據(jù)中添加太多的噪聲也會提升網(wǎng)絡(luò)學(xué)習(xí)難度（畢竟寫Demo階段，并沒有海量數(shù)據(jù)能夠把噪聲淹沒），訓(xùn)練的數(shù)據(jù)希望是如下車道線清晰，光照良好的數(shù)據(jù)：

但是實(shí)際上自然場景采集的圖片數(shù)據(jù)存在很多噪聲，比如擁堵路段的車道線遮擋嚴(yán)重，如果車道線網(wǎng)絡(luò)模型采用像素級分類的思路搭建，對以下圖片的標(biāo)注就比較困難；如果車道線網(wǎng)絡(luò)模型上升到抽象的語義空間，根據(jù)上下文的環(huán)境信息預(yù)測車道線空間位置，下圖倒也可以使用。

除了車道線被遮擋的問題，在城市路況中存在施工或很久未翻修的老路，道路線條磨損嚴(yán)重，很多情況人肉眼都無法區(qū)分，建議刪除這一部分訓(xùn)練數(shù)據(jù)：

當(dāng)然也有很多本來就沒有車道線的路況，此類數(shù)據(jù)需要根據(jù)數(shù)據(jù)轉(zhuǎn)換的程序來決定去留，在數(shù)據(jù)轉(zhuǎn)換時(shí)僅少數(shù)代碼未加判斷會導(dǎo)致程序崩潰：

檢查數(shù)據(jù)時(shí)還會遇到在拱橋下，進(jìn)出隧道等光照昏暗或者曝光嚴(yán)重的情況，造成車道線辨別率降低，如下圖所示：

當(dāng)然你要問實(shí)際工程上如何解決這些問題，無外乎從軟件角度怎么增加算法模型的魯棒性；從硬件角度如何定制傳感器接受更多光子以及優(yōu)化ISP算法。

本次車道線檢測的歷程，我們采用實(shí)例分割的方式做逐像素點(diǎn)的分類?？梢圆捎瞄_源的標(biāo)注工具，比如labelme，標(biāo)注精靈等。

第一步：根據(jù)模型的不同，輸入數(shù)據(jù)的類型也存在差異，這里我們采用劃線的方式進(jìn)行標(biāo)注，如下圖所示，因?yàn)槭菍?shí)例分割，不同的車道標(biāo)注不同的類別：

如果采用labelme進(jìn)行標(biāo)注，生成的是json格式的標(biāo)簽數(shù)據(jù)，如下圖所示，標(biāo)簽中以折點(diǎn)的形式存儲：

第二步：使用labelme自帶的功能函數(shù)轉(zhuǎn)換成實(shí)例圖等信息，其中包括原始圖片，實(shí)例圖，可視化圖等：

第三步：由于搭建的網(wǎng)絡(luò)如果輸入原始圖像、語義圖像、實(shí)例圖像三種，所以需要將json轉(zhuǎn)換后的數(shù)據(jù)通過腳本生成TuSimple數(shù)據(jù)集的形式，得到如下形式，三個文件夾分別存放二值圖，原始圖，示例圖，train.txt用于存放訓(xùn)練數(shù)據(jù)列表，val.txt用于存放驗(yàn)證數(shù)據(jù)列表：

基于深度學(xué)習(xí)的方法造輪子的成本一般很高，需要經(jīng)歷大量的模型修改、參數(shù)調(diào)節(jié)的反復(fù)試錯過程。不僅對服務(wù)器硬件平臺有較高的要求，也考驗(yàn)算法工程師自身的知識積淀。

如何快速高效的寫Demo呢？

• 現(xiàn)有網(wǎng)絡(luò)模型

• 開源數(shù)據(jù)集

• 自己數(shù)據(jù)微調(diào)

之前有篇文章具體聊過車道線檢測的網(wǎng)絡(luò)，大多數(shù)是基于像素的分割模型，也有一些基于檢測方法的車道線檢測，常用的開源模型相關(guān)論文如下（可以找小編要或者等后續(xù)上傳云盤）：

車道線的開源數(shù)據(jù)集有很多，比如：

• Caltech

• VPGNet

• TuSimple

• CULane

• BDD100k

• ApolloScape

• CurveLanes

TuSimple數(shù)據(jù)集位于高速場景，天氣晴朗，車道線較為清晰，適用于高速，高架等應(yīng)用場景的Demo制作：

CULane數(shù)據(jù)集包含擁擠，黑夜，暗影等八種難以檢測的情況，適合補(bǔ)充TuSimple數(shù)據(jù)集提升難例的精度：

因?yàn)門uSimple和CULane數(shù)據(jù)量均不大，適合普通服務(wù)器或者本機(jī)上的預(yù)研式訓(xùn)練。推薦將兩個數(shù)據(jù)集的數(shù)據(jù)統(tǒng)一進(jìn)行模型訓(xùn)練，得到一份預(yù)訓(xùn)練的權(quán)重。

更為簡單的方法即是下載開源模型提供的一些權(quán)重，省去了自己訓(xùn)練的環(huán)節(jié)，不過這樣會大大降低模型修改的靈活度，現(xiàn)在的分割網(wǎng)絡(luò)一般基于encoder-decoder的形式搭建，為了加速推理時(shí)間或者提供預(yù)測精度，通常會對開源網(wǎng)絡(luò)做些修改：

• 采用輕量化模型替換特征提取網(wǎng)絡(luò)；

• 減少上采樣次數(shù)，替代掉全分辨率的輸出；

• 增加ASPP或者Attention機(jī)制
  

模型結(jié)構(gòu)變化后就無法使用源碼中提供的預(yù)訓(xùn)練權(quán)重，所以后續(xù)微調(diào)的靈活度出發(fā)，自己用開源數(shù)據(jù)集做訓(xùn)練的方法最佳。

Fintune階段一般就兩步：

• 加載預(yù)訓(xùn)練模型

• 加載自己的數(shù)據(jù)繼續(xù)訓(xùn)練

加載預(yù)訓(xùn)練模型時(shí)，可以考慮是否需要凍結(jié)encoder層或者只釋放最后幾層進(jìn)行參數(shù)更新，當(dāng)然也可以不凍結(jié)模型，全部進(jìn)行微調(diào)。根據(jù)開源數(shù)據(jù)和自己數(shù)據(jù)的比例及差異而決定：

• 開源數(shù)據(jù)量遠(yuǎn)大于自己的數(shù)據(jù)并且類型差異不大，建議只釋放網(wǎng)絡(luò)后面的幾層進(jìn)行微調(diào)；

• 開源數(shù)據(jù)量僅比自己的數(shù)據(jù)多一個量級但是類型差異較大，建議參數(shù)全部參與訓(xùn)練；

加載自己的數(shù)據(jù)訓(xùn)練，期望是損失不斷下降最后收斂，不過大多數(shù)時(shí)候?qū)儆凇谕苊篮?，現(xiàn)實(shí)很骨感。可能會遇到：

• 實(shí)例損失居高不下；

• 訓(xùn)練開始梯度爆炸；

• 模型震蕩不收斂等；

可以嘗試以10倍遞減降低學(xué)習(xí)率；修改學(xué)習(xí)率衰減策略；修改網(wǎng)絡(luò)實(shí)例分割部分的聚類參數(shù)；最最最重要的是檢查數(shù)據(jù)和標(biāo)簽

由于選用的車道線檢測網(wǎng)絡(luò)的實(shí)例分割部分會根據(jù)點(diǎn)到不同車道線的距離來迭代拉近類內(nèi)距離，放大類間距離，所以如果數(shù)據(jù)中的不同車道線在遠(yuǎn)處交織在一起，就很容易造成實(shí)例損失的異常，如下圖所示：

通過進(jìn)一步過濾標(biāo)簽數(shù)據(jù)，或者做截?cái)?，通過后處理的曲線擬合來彌補(bǔ)前方損失的一小段車道。

最后訓(xùn)練收斂后用驗(yàn)證集做評估，或者直接拉到路上進(jìn)行測試，畢竟做Demo，針對實(shí)際場景不好的數(shù)據(jù)再收集回來做數(shù)據(jù)填充迭代。

?------------------------------------------------

歡迎微信搜索并關(guān)注「目標(biāo)檢測與深度學(xué)習(xí)」，不被垃圾信息干擾，只分享有價(jià)值知識！

10000+人已加入目標(biāo)檢測與深度學(xué)習(xí)

敬正在努力的我們！