一、賽題回顧

本賽題希望基于計(jì)算機(jī)視覺技術(shù)可以實(shí)時(shí)監(jiān)測到“黑車”，能及時(shí)、安全地管理渣土車，實(shí)現(xiàn)智能化管理，保證無“黑車”上崗，為創(chuàng)造智慧工地提供大力保障。??賽題目標(biāo)是使用計(jì)算機(jī)視覺算法對圖片中的渣土車的車牌進(jìn)行識別，并且輸出車牌的文字內(nèi)容。觀察樣例數(shù)據(jù)推測圖片主要采集自交通監(jiān)控?cái)z像頭。

比賽的評價(jià)指標(biāo)由F1 score和性能分FPS組成，這要求算法設(shè)計(jì)要兼顧精度和速度，算法的推理性能要具備實(shí)時(shí)性（>30FPS）。本賽題主要難點(diǎn)如下：

• 采集自交通攝像頭的圖片存在分辨率低，對比對低，環(huán)境光污染等問題。
• 部分渣土車嚴(yán)重臟污導(dǎo)致車牌難以分辨。
• 人工標(biāo)注存在錯(cuò)標(biāo)（車牌中不應(yīng)出現(xiàn)的字符），漏標(biāo)，標(biāo)準(zhǔn)不一等問題（如遮擋嚴(yán)重的車牌）。
• 實(shí)時(shí)性要求高。

二、算法設(shè)計(jì)

主要算法設(shè)計(jì)如下圖所示：

1. 使用比賽數(shù)據(jù)標(biāo)注訓(xùn)練檢測模型，同時(shí)檢測渣土車目標(biāo)和車牌目標(biāo)
2. 將車牌部分摳圖訓(xùn)練OCR識別模型
3. 使用匈牙利算法對渣土車和車牌目標(biāo)進(jìn)行匹配
4. 對算法進(jìn)行輕量化等優(yōu)化

其中檢測模型我們選用了yolov5s網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有較好的精度和速度的trade-off，常用于落地部署項(xiàng)目中。該檢測網(wǎng)絡(luò)直接使用數(shù)據(jù)標(biāo)注的渣土車和車牌類進(jìn)行訓(xùn)練，同時(shí)檢出兩類目標(biāo)。最終輸出中并不需要輸出車牌框bbox，所以此處輸出的車牌bbox僅用于提取車牌內(nèi)容。

由于最終推理設(shè)備是cpu，所以對模型的輕量化要求較高，未經(jīng)優(yōu)化的yolov5s的推理速度越10FPS+，很難達(dá)到實(shí)時(shí)推理，所以我們對yolov5s網(wǎng)絡(luò)進(jìn)行剪枝，方法參考了slim-yolov3，通過bn層縮放系數(shù)，對模型各層的通道數(shù)進(jìn)行結(jié)構(gòu)化剪枝。剪枝的原理和操作流程如下：

1. 稀疏化訓(xùn)練yolov5s
2. 由bn層scaling factor對通道數(shù)進(jìn)行排序
3. 生成8倍數(shù)通道剪枝后模型結(jié)構(gòu)config
4. 使用剪枝后模型重新訓(xùn)練

由于檢測網(wǎng)絡(luò)同時(shí)輸出渣土車和車牌的bbox，丟失了兩者的關(guān)聯(lián)關(guān)系，所以我們使用匈牙利算法對兩者進(jìn)行匹配，獲得每個(gè)渣土車目標(biāo)對應(yīng)的車牌bbox。匹配的cost使用的是IoF，即Intersection over foreground，車牌即為foreground。理論上，車牌對于其所在的渣土車的IoF應(yīng)該為1，實(shí)際匹配中我們設(shè)置了一個(gè)更寬松的閾值0.8。主要處理流程如下：

• Conf過濾+NMS去除誤檢框
• 計(jì)算渣土車目標(biāo)和車牌目標(biāo)的iof代價(jià)矩陣
• 使用匈牙利算法得到與渣土車匹配的車牌
• 刪除低質(zhì)量匹配（iof < 0.8）

OCR部分我們使用了經(jīng)典的CRNN網(wǎng)絡(luò)，backbone等組成部分都選用了輕量化網(wǎng)絡(luò)結(jié)構(gòu)：

• MobilenetV3
• RNN
• CTC head

因?yàn)闄z測網(wǎng)絡(luò)已經(jīng)輸出了車牌bbox，且車牌bbox基本等于車牌的文字區(qū)域，考慮到算法整體的實(shí)時(shí)性要求，我們未使用專門的文字區(qū)域檢測網(wǎng)絡(luò)，而是將檢測網(wǎng)絡(luò)輸出的車牌bbox直接摳圖送入OCR網(wǎng)絡(luò)進(jìn)行推理。OCR的訓(xùn)練數(shù)據(jù)來自于原數(shù)據(jù)中使用車牌bbox摳圖得到的車牌圖片patch，數(shù)據(jù)的準(zhǔn)備流程如下：

1. Bbox jitter：對原來的bbox標(biāo)注添加隨機(jī)抖動(dòng)，模擬檢測網(wǎng)絡(luò)的回歸誤差，提高泛化性，防止OCR網(wǎng)絡(luò)過擬合。
2. Data Cleaning：根據(jù)我國車牌的文字排列規(guī)則，對標(biāo)注錯(cuò)誤的數(shù)據(jù)進(jìn)行剔除等。
3. Data augment：通用的OCR數(shù)據(jù)增強(qiáng)，如旋轉(zhuǎn)，HSV，模糊等。
4. Weighted batch sample：由于車牌文字分布不均，在數(shù)據(jù)集采樣時(shí)對出現(xiàn)頻率低的字符提高權(quán)重。

整體算法流程即上文所述方法，為了提高推理速度，我們的輕量化策略主要如下：

• Openvino轉(zhuǎn)換
• 減小輸入圖片尺寸
• 檢測模型yolov5剪枝
• 減小CRNN中間層通道數(shù)
• 前后處理性能優(yōu)化

優(yōu)化后模型的推理速度從9FPS最高到52FPS，已具備CPU上實(shí)時(shí)推理的能力。

消融實(shí)驗(yàn)的結(jié)果如下表：

三、總結(jié)

極市平臺的比賽提供了免費(fèi)算力，并對數(shù)據(jù)進(jìn)行了加密，使比賽更加公平，選手可以將更多注意力放在算法設(shè)計(jì)和優(yōu)化上。為了提高開發(fā)效率，減少bug的發(fā)生。在比賽初期，大家可以將樣例數(shù)據(jù)下載下來，在本地的設(shè)備上完成主要流程的開發(fā)后，再復(fù)制到平臺的開發(fā)環(huán)境中。

由于線上運(yùn)行時(shí)觸發(fā)代碼bug，需要選手重新debug和排隊(duì)，會(huì)嚴(yán)重影響開發(fā)效率，所以代碼的debug十分重要，可以利用好logger功能，將主要信息寫入日志。

由于比賽需要兼顧性能分，算法的輕量化工作十分重要，可以通過模型選型，剪枝，量化，模型復(fù)用等方法提高推理性能。

我們設(shè)計(jì)的算法兼顧了精度和速度，可以部署落地在邊緣段設(shè)備中，但精度仍存在提升空間。

如果覺得有用，就請分享到朋友圈吧！