車牌識別綜述閱讀筆記
車牌識別綜述閱讀筆記
目前車牌識別所遇到的難點主要體現(xiàn)在三個方面，主要體現(xiàn)在：車牌傾斜，圖像噪聲，還有車牌模糊。
目前對車牌識別的方法大致可以分為三類，模板匹配，SVM，和深度學(xué)習(xí)的方法，其中，深度學(xué)習(xí)的方法用的更加廣泛，深度學(xué)習(xí)上采用車牌識別的方法可分為直接檢測算法和間接檢測算法。對于車牌識別，有著不同的數(shù)據(jù)集，我們需要對不同公共數(shù)據(jù)集進行比較和說明，然后對針對不同的數(shù)據(jù)集，工作站，精度和時間進行比較，這樣才能全面的衡量算法的優(yōu)勢和劣勢，然后再對未來研究方向進行展望。
模板匹配：基于matlab+模板匹配的車牌識別
SVM：畢業(yè)設(shè)計 python opencv實現(xiàn)車牌識別 界面
深度學(xué)習(xí)方法基于u-net，cv2以及cnn的中文車牌定位，矯正和端到端識別軟件
一、車牌識別技術(shù)的介紹
車牌識別是一項成熟但不完善的技術(shù)，在現(xiàn)階段，車牌識別已經(jīng)有很多產(chǎn)品出來了，比如說停車場車牌自動識別，這些大多數(shù)都是針對固定角度，目前針對復(fù)雜環(huán)境下的車牌識別，識別還有待提高，這些復(fù)雜環(huán)境主要是指：燈光條件，扭曲的車牌，還有泥土遮擋的車牌。車牌識別技術(shù)可以分類三個部分，車牌定位， 字符分割 ，車牌識別。由于字符分割在一定程度下會影響識別率，最近就有一些人提出免分割的車牌識別，將車牌識別分割成兩個部分，車牌定位，車牌識別。
車牌識別的研究內(nèi)容已經(jīng)從傳統(tǒng)的圖像轉(zhuǎn)向復(fù)雜的環(huán)境。主要的挑戰(zhàn)分為三個方面
1：有挑戰(zhàn)的數(shù)據(jù)集：比如說像Caltech car 還有English LP 數(shù)據(jù)集，圖像比較簡單，而像LP和UFPR-ALPR數(shù)據(jù)集，在一些圖片中存在很多輛車，而且車輛位置不一定在圖像的中間。
2：噪聲污染，在現(xiàn)實生活中，往往會受到天氣因素的影響，這些成像的圖片的背景不再是間的的停車場，而是有可能有一些在斑馬線上面來來往往的行人。
3：模糊圖像：主要是產(chǎn)生在高速公路監(jiān)控上面。由于車輛行駛速度快，所以攝像機有可能會拍攝到模糊的圖片，比如說，在15971197的圖片中，車輛可能只有533522，其中截取的圖片可能只有123*96，相當(dāng)于只占到了圖片中的0.2%，在這樣一個小尺寸的圖片上檢測會有一定的難度。
基于深度學(xué)習(xí)的車牌定位可分為直接定位和間接定位，直接定位把車牌識別當(dāng)成一個目標(biāo)檢測模型，比如像SSD還有YOLO等等，只需要改變最后一層的卷積層就可以了，把它定成所需要識別的類別?；谝粋€車輛只有一個車牌的情形，間接定位首先定位到車牌的相關(guān)物體，然后再定位到車牌。定位到車牌之后，就需要對車牌進行字符分割，基于字符分割的方法有連接成分分析，投影分析，字符先驗知識，字符輪廓等等 。在沒有得到高精度分類器下面的分割結(jié)果，是很難得到準(zhǔn)確的字符分類的，
二、車牌識別的難點
1.傾斜車牌（傾斜矯正）
車牌傾斜所帶來的挑戰(zhàn),車牌傾斜分為垂直傾斜和水平傾斜，這些傾斜會導(dǎo)致字符變形，從而影響識別率，如果可以將物體的姿態(tài)和部分變形從紋理和形狀中解脫出來，會有利于后面的預(yù)測，比如說車牌的矯正可以看作是仿射變換的過程。那么，如何找到這個變換矩陣也是一個難點所在。
J提出了一種STN計算仿射變換矩陣。由于一個圖像只需要6個參數(shù)矩陣就可以變換成任意的圖像，比如旋轉(zhuǎn)，縮小，放大等等，具體可以參考博客：STN：空間變換網(wǎng)絡(luò)(Spatial Transformer Network)
2.圖像噪聲（圖像去噪）
在自然環(huán)境下面，采集到的圖片往往有很多噪聲，下表是一些文獻對噪聲的處理方法
其中[25]和[26]因為不滿足實時性要求，所以不可取，在表格中，SSIM為結(jié)構(gòu)相似度指標(biāo)，VIF為視覺信息保真度，PSNR為峰值信噪比。SSIM越高，說明去噪算法在圖像結(jié)構(gòu)上的效果越接近真實的標(biāo)簽值。VIF和SSIM的取值范圍均為[0,1]。數(shù)值越大，越接近干凈的圖像。
[27]Fu等人使用了名為DerainNet的深層網(wǎng)絡(luò)架構(gòu)來從單一圖像中去除雨痕。
X. Fu, J. Huang, X. Ding, Y. Liao, and J. Paisley, ‘‘Clearing the skies: A deep network architecture for single-image rain removal,’’ IEEE Trans. Image Process., vol. 26, no. 6, pp. 2944–2956, Jun. 2017
[28] Yang等人提出了一種利用深度聯(lián)合雨點檢測和去除單一圖像的方法。
W. Yang, R. T. Tan, J. Feng, J. Liu, Z. Guo, and S. Yan, ‘‘Deep joint rain detection and removal from a single image,’’ in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 1685–1694.
[29] X. Fu, J. Huang, D. Zeng, Y. Huang, X. Ding, and J. Paisley, ‘‘Removing rain from single images via a deep detail network,’’ in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 1715–1723.
[30] R. Qian, R. T. Tan, W. Yang, J. Su, and J. Liu, ‘‘Attentive generative adversarial network for raindrop removal from a single image,’’ in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 2482–2491.
[31] S. Li, W. Ren, J. Zhang, J. Yu, and X. Guo, ‘‘Fast single image rain removal via a deep omposition-composition network,’’ 2018, arXiv:1804.02688. [Online]. Available: https://arxiv.org/abs/1804.02688dec
3.模糊車牌（提高分辨率）
在目標(biāo)檢測領(lǐng)域，小目標(biāo)的車牌識別是很難的，由于車牌在整幅圖片中占比很小，所以很容易出現(xiàn)低分辨率和噪聲，給我們的檢測帶來了一些困難。通過插值直接上采樣可以作為低分辨率識別的一種可能的解決方案，但這對后續(xù)的字符識別是不利的，或者通過學(xué)習(xí)小目標(biāo)在多個尺度上的表示來檢測小目標(biāo)是很耗時的。因此，有必要尋找一種有效提高小目標(biāo)車牌分辨率的方法。
Li等人使用[32]感知GAN進行內(nèi)部提升，從小物體到“超分辨”物體的表現(xiàn)，實現(xiàn)與大型物體相似的特征更具鑒別性的檢測，由于GANS訓(xùn)練很困難、Tolstikhin等人[33]研究了cascade的使用生成模型來解決模型缺失的訓(xùn)練問題。Radford等人[34]和Salimans等人[35]的目的是使計數(shù)器生成網(wǎng)絡(luò)更穩(wěn)定、更容易微調(diào)。Singh等人[36]提出了一種名為DirectCapsNet的雙定向膠囊網(wǎng)絡(luò)，用于識別非常低分辨率的圖像。其中文獻[47]在限速90km/h的道路上拍攝數(shù)據(jù)集，利用盲反卷積算法反求模糊圖像的清晰圖像，字符錯誤率從23%降低到9%，提高了2.5倍。處理時間約0.5秒，在實時性上有一定差距。生成對抗網(wǎng)絡(luò)也可以提高小目標(biāo)識別的準(zhǔn)確性，但由于網(wǎng)絡(luò)的復(fù)雜性，訓(xùn)練起來比較困難，因此如何結(jié)合生成對抗網(wǎng)絡(luò)進行端到端識別還需要進一步研究
[32] J. Li, X. Liang, Y. Wei, T. Xu, J. Feng, and S. Yan, ‘‘Perceptual generative adversarial networks for small object detection,’’ in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 1951–1959.
[33] I. O. Tolstikhin, S. Gelly, O. Bousquet, C.-J. Simon-Gabriel, and B. Sch?lkopf, ‘‘AdaGAN: Boosting generative models,’’ in Proc. Adv. Neural Inf. Process. Syst., 2017, pp. 5424–5433. [34] A. Radford, L. Metz, and S. Chintala, ‘‘Unsupervised representation learning with deep convolutional generative adversarial networks,’’ 2016, arXiv:1511.06434v2. [Online]. Available: https://arxiv. org/abs/1511.06434
[35] T. Salimans, I. Goodfellow, W. Zaremba, V. Cheung, A. Radford, X. Chen, and X. Chen, ‘‘Improved techniques for training GANs,’’ Proc. Adv. Neural Inf. Process. Syst., 2016, pp. 2234–2242.
[36]M. Singh, S. Nagpal, R. Singh, and M. Vatsa, ‘‘Dual directed capsule network for very low resolution image recognition,’’ in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 340–349.
[47]P. Svoboda, M. Hradis, L. Marsik, and P. Zemcik, ‘‘CNN for license plate motion deblurring,’’ in Proc. IEEE Int. Conf. Image Process. (ICIP), Sep. 2016, pp. 3832–3836
三、車牌定位
車牌定位就是提取輸入圖片的一部分區(qū)域。這部分區(qū)域的內(nèi)容是漢字+字母+數(shù)字，傳統(tǒng)的車牌定位算法根據(jù)直觀的特征可以分為四類:基于文本的檢測、基于顏色的檢測、基于字符的檢測和連接分量的檢測。這些直觀的特征容易受到環(huán)境的影響，而深度學(xué)習(xí)可以通過像素信息提取出更深層的特征。定位算法分為直接定位和間接定位兩種。直接定位指的是回歸網(wǎng)絡(luò)直接預(yù)測車牌的坐標(biāo),以及長度和寬度,而間接定位指間接獲取車牌的信息通過其他指標(biāo),很容易找到車輛,例如,檢測汽車或汽車的尾燈首先然后計算板坐標(biāo)。
1）直接檢測
直接檢測車牌就是輸入一張圖片直接得到車牌圖片的高寬和位置信息。訓(xùn)練的時候，采用歐氏距離等損失函數(shù)計算參數(shù)梯度，直接檢測可以節(jié)約時間成本，但不如間接檢測準(zhǔn)確。
Kurpiel等[53]將輸入圖像分割成120像素寬180像素高的子區(qū)域，形成重疊的網(wǎng)格。然后將每個子區(qū)域發(fā)送給9層的CNN，得到一個置信值，輸出值為[0,1]。車牌中心越向外移動，得分越低，由1降為0。最后，結(jié)合所有圖像子區(qū)域的輸出值來估計車牌的位置，使車牌中心更接近得分最高的左或右子區(qū)域。其檢測準(zhǔn)確率達到0.87，召回率為0.83，處理時間為0.23秒。
Li等人[54]提出了一種端到端訓(xùn)練的統(tǒng)一深度神經(jīng)網(wǎng)絡(luò)（網(wǎng)絡(luò)結(jié)構(gòu)和Faster RCNN相似），用于同時定位和識別車牌。在定位到車牌后，使用RNNs+CTC進行免分割的車牌識別。
Xiang等人[56]提出了一種用于復(fù)雜場景車牌檢測的高效輕量化全卷積網(wǎng)絡(luò), 這個網(wǎng)絡(luò)由兩個平行的分支組成。前景分支將圖像采樣到原圖像的1/8，背景分支的主要部分用密集塊[57]構(gòu)建，每個塊包含一系列相連的卷積層。采用帶stride 2的3 3卷積，而不是在每個塊中對子樣本特征映射進行池化處理，在不影響精度的前提下降低了計算成本.
[53] F. Delmar Kurpiel, R. Minetto, and B. T. Nassu, ‘‘Convolutional neural networks for license plate detection in images,’’ in Proc. IEEE Int. Conf. Image Process. (ICIP), Sep. 2017, pp. 3395–3399.
[54] H. Li, P. Wang, and C. Shen, ‘‘Towards End-to-End car license plates detection and recognition with deep neural networks,’’ 2017, arXiv:1709.08828. [Online]. Available: http://arxiv.org/abs/1709.08828
[56] H. Xiang, Y. Zhao, Y. Yuan, G. Zhang, and X. Hu, ‘‘Lightweight fully convolutional network for license plate detection,’’ Optik, vol. 178, pp. 1185–1194, Feb. 2019.
[57] G. Huang, Z. Liu, L. Van Der Maaten, and K. Q. Weinberger, ‘‘Densely connected convolutional networks,’’ in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 2261–2269
2)間接定位
在大多數(shù)情況下，直接定位算法的精度低于間接定位算法，而且，大多數(shù)文獻使用YOLO等版本進行車牌檢測，間接檢測算法由兩種不同的網(wǎng)絡(luò)組成，可以接受一定程度的光變化、畸變和模糊。
一些研究者利用車牌與車體之間的先驗知識，如后燈與車牌[58]的位置關(guān)系，將問題轉(zhuǎn)化為更容易檢測的目標(biāo)。Li等人[59]采用級聯(lián)框架讀取車牌，首先檢測字符區(qū)域，然后提取車牌圖片。該檢測模型的準(zhǔn)確率達到97%左右，召回率達到95%以上。Dong等人[39]使用由快速區(qū)域建議網(wǎng)絡(luò)和R-CNN網(wǎng)絡(luò)組成的級聯(lián)結(jié)構(gòu)提取車牌，首先，一個輕量級的RPN網(wǎng)絡(luò)[17]以下采樣圖像作為輸入，生成候選車牌。然后，采樣器從原始高分辨率圖像中提取感興趣區(qū)域(region of interest, roi)。提取的小塊輸入R-CNN網(wǎng)絡(luò)對候選車牌進行分類，回歸車牌的四角。該車牌檢測器比faster R-CNN速度快1.5倍，體積小57倍，準(zhǔn)確率達到96%以上。Silva等人[62]使用YOLOv2網(wǎng)絡(luò)檢測車輛，不做任何修改和細化，只是將網(wǎng)絡(luò)作為一個黑盒，在PASCAL-VOC數(shù)據(jù)集上合并cars和buses這兩類，忽略其他類。根據(jù)YOLO、SSD和STN的見解，WPOD-NET被提出用于檢測各種不同扭曲的車牌，并回歸仿射變換的系數(shù)，將扭曲的車牌解扭曲為類似正面視圖的矩形。Xie等[63]受到Y(jié)OLO框架的啟發(fā)，提出了一種基于cnn的MDYOLO方法來實現(xiàn)多向車牌檢測。與YOLO類似，每個輸入圖像被劃分為規(guī)則的7 7個網(wǎng)格單元，使用車牌中心所在的單元檢測車牌，并預(yù)測每個單元的2個邊框和一個置信度分數(shù)。與YOLO不同的是，MD-YOLO引入角度信息，引導(dǎo)模型回歸并確定給定車牌圖像的旋轉(zhuǎn)角度。提出了角偏差懲罰因子(ADPF)來近似預(yù)測值與標(biāo)簽值的交點比例。為了識別負旋轉(zhuǎn)角值，激活函數(shù)選擇了泄漏函數(shù)和恒等函數(shù)，而不是ReLU函數(shù)。考慮到車牌通常很小，在實施MDYOLO之前，我們使用了一個前置CNN注意模型ALMDYOLO。該檢測模型在GPU GTX980上的處理時間為5ms，準(zhǔn)確率達到99%以上。Laroca等人[64]通過評估和優(yōu)化不同的Yolo模型，并進行各種修改，實現(xiàn)了該系統(tǒng)，旨在在每個階段實現(xiàn)最佳的速度/精度權(quán)衡。車牌檢測階段,考慮到車牌可能只占很小的部分圖片,和其他文本塊像交通標(biāo)志可能會混淆牌照,相同的檢測過程采用[62],首次檢測到的車輛,然后檢測牌照。該系統(tǒng)在8個不同的數(shù)據(jù)集上平均查準(zhǔn)率為98.37%，平均查全率為99.92%
[58]M. R. Asif, Q. Chun, S. Hussain, M. S. Fareed, and S. Khan, ‘‘Multinational vehicle license plate detection in complex backgrounds,’’ J. Vis. Commun. Image Represent., vol. 46, pp. 176–186, Jul. 2017
[59]H. Li, P. Wang, M. You, and C. Shen, ‘‘Reading car license plates using deep neural networks,’’ Image Vis. Comput., vol. 72, pp. 14–23, Apr. 2018.
[39] M. Dong, D. He, C. Luo, D. Liu, and W. Zeng, ‘‘A CNN-based approach for automatic license plate recognition in the wild,’’ in Proc. Brit. Mach. Vis. Conf., 2017, pp. 1–12
[62]S. M. Silva and C. R. Jung, ‘‘License plate detection and recognition in
unconstrained scenarios,’’ in Proc. Eur. Conf. Comput. Vis., Sep. 2018,
pp. 593–609.
[63] L. Xie, T. Ahmad, L. Jin, Y. Liu, and S. Zhang, ‘‘A new CNN-based method for multi-directional car license plate detection,’’ IEEE Trans. Intell. Transp. Syst., vol. 19, no. 2, pp. 507–517, Feb. 2018.
[64] R. Laroca, L. A. Zanlorensi, G. R. Gon?alves, E. Todt, W. R. Schwartz, and D. Menotti, ‘‘An efficient and layout-independent automatic license plate recognition system based on the YOLO detector,’’ 2019, arXiv:1909.01754. [Online]. Available: https://arxiv.org/abs/1909.01754
四、車牌識別
這張表比較了現(xiàn)有公共車牌數(shù)據(jù)集的數(shù)量和分辨率，并描述了遮擋和模糊等其他情況。其中，CD-HARD是從汽車數(shù)據(jù)集中挑選出來的具有挑戰(zhàn)性的圖像。此外，常見的目標(biāo)檢測數(shù)據(jù)集如PASAL-VOC、ImageNet和COCO也包含了一些車輛類，但由于這些數(shù)據(jù)集不是專用的車牌數(shù)據(jù)集，所以在表中沒有進行比較。像SSIG這樣的數(shù)據(jù)集，大量使用了車輛的前視圖，沒有大角度偏轉(zhuǎn)的居中圖像，在大多數(shù)算法中都可以達到較高的精度。但是AOLP等數(shù)據(jù)集包含大量的車牌圖像，如光照不均勻、傾斜等，會增加識別的難度。
1）基于分割的車牌識別
首先來說，分割的方法有：連接成分分析，投影分析，字符的先驗知識，字符輪廓及其組合。
Liu等[65]采用連通成分分析與項目分析相結(jié)合的方法進行分割。設(shè)計了兩種簡單、循環(huán)的cnn用于字符識別，分別是SCNN和RCNN，一種用于漢字識別，另一種用于數(shù)字和字母識別。在2189幅圖像中，分割率為96.58%，識別率為98.09%。
Dong等人[39]提出了一種由并行空間變換網(wǎng)絡(luò)和共享權(quán)重識別器組成的創(chuàng)新結(jié)構(gòu)。將校正后的車牌輸入7個并行的無監(jiān)督STNs[24]中，每個STNs都進行隱式字符分割。最后，由7個識別器分別對每個片段進行識別，第一個識別器分別對漢字進行訓(xùn)練，其余6個識別器共享權(quán)重。對于權(quán)值共享識別器，將其先驗概率與識別子網(wǎng)絡(luò)估計的似然概率相乘得到得分，其中第二個字符的阿拉伯?dāng)?shù)字數(shù)字的先驗概率為0。最終模型的識別準(zhǔn)確率為89.05%。
kare等人[66]提出了一個新的概念，稱為部分字符重構(gòu)，摘要針對主成分分析(PCA)和長軸分析(MA)可以在沒有完整字符形狀的情況下估計字符成分方向的問題，提出了一種基于角度信息的字符分割方法，如果PCA和MA給出的角度幾乎相同并且都接近90度，則該分量被認為是一個完整的特征。如果兩個軸之間的差值超過26度，并且給出的值幾乎為0，那么該組件就被認為是分割不足。否則，該組成部分被認為是一個過度細分的情況。對于分割不足或過分割的字符，使用了迭代收縮或迭代擴展算法，該模型的分割率為82.6%，識別精度為87.3%。
[65]Y. Liu, H. Huang, J. Cao, and T. Huang, ‘‘Convolutional neural networksbased intelligent recognition of chinese license plates,’’ Soft Comput., vol. 22, no. 7, pp. 2403–2419, Apr. 2018.
[39]M. Dong, D. He, C. Luo, D. Liu, and W. Zeng, ‘‘A CNN-based approach for automatic license plate recognition in the wild,’’ in Proc. Brit. Mach. Vis. Conf., 2017, pp. 1–12.
[66] V. Khare, P. Shivakumara, C. S. Chan, T. Lu, L. K. Meng, H. H. Woon, and M. Blumenstein, ‘‘A novel character segmentation-reconstruction approach for license plate recognition,’’ Expert Syst. Appl., vol. 131, pp. 219–239, Oct. 2019
2）基于無分割的車牌識別
基于無分割的算法將車牌識別問題轉(zhuǎn)化為字符序列標(biāo)記問題，現(xiàn)階段，無分割的車牌識別主要是通過RNN+CTC來進行實現(xiàn)。
Li等人[54]使用帶有CTC損耗的雙向RNNs (BRNN)來標(biāo)記序列特征，在AOLP數(shù)據(jù)集上，平均識別率為91.83%，執(zhí)行速度為400ms。
莊等[68]轉(zhuǎn)移了YOLO-VOC網(wǎng)絡(luò)進行車牌分割和字符識別，由于巴西車牌的特點，前3個字符是字母，后4個字符是數(shù)字，因此所有檢測到的字符都由兩個啟發(fā)式規(guī)則過濾，該模型能夠正確分割99%的字符，識別率為93%，在GPU上的執(zhí)行時間僅為2.2ms。
Li等[59]在[54]文獻的基礎(chǔ)上，利用LSTM對遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)進行訓(xùn)練，通過CNNs對整個車牌提取的序列特征進行識別。每個檢測到的車牌都被轉(zhuǎn)換為灰度圖像，并調(diào)整到2494像素。一個24個24像素的子窗口，步長為1，以滑動窗口的方式分割填充圖像。每個分割后的圖像patch被送入36類CNN分類器中提取序列特征。將第四卷積層與第一全連通層連接成一個長度為5096的特征向量。然后利用主成分分析將特征維數(shù)降至256維，進行特征歸一化處理。最后，設(shè)計CTC將預(yù)測的概率序列直接解碼為輸出標(biāo)簽，平均識別率約為92.47%。
Wang等[40]使用BRNN和CTC進行車牌識別，識別率為96.62%處理時間為17.53毫秒。首先，利用空間變壓器網(wǎng)絡(luò)(STN)對斜度和變形的車牌進行調(diào)整，車牌上有將統(tǒng)一的方向信息輸入到改進的卷積神經(jīng)網(wǎng)絡(luò)(CNN)中提取序列特征，然后得到修正后的車牌，將這些不同卷積層的特征作為輸入集成到BRNN中，最后用CTC實現(xiàn)序列標(biāo)記。
Silva等人[69]提出了一種新的車牌識別系統(tǒng)，包括語義分割和字符計數(shù)，對輸入圖像進行簡單投影預(yù)處理，使圖像適合于語義分割
[54] H. Li, P. Wang, and C. Shen, ‘‘Towards End-to-End car license plates detection and recognition with deep neural networks,’’ 2017, arXiv:1709.08828. [Online]. Available: http://arxiv.org/abs/1709.08828
[68] J. Zhuang, S. Hou, Z. Wang, and Z.-J. Zha, ‘‘Towards human-level license plate recognition,’’ in Proc. Eur. Conf. Comput. Vis., Sep. 2018, pp. 314–329
[59] H. Li, P. Wang, M. You, and C. Shen, ‘‘Reading car license plates using deep neural networks,’’ Image Vis. Comput., vol. 72, pp. 14–23, Apr. 2018
[40] J. Wang, H. Huang, X. Qian, J. Cao, and Y. Dai, ‘‘Sequence recognition of chinese license plates,’’ Neurocomputing, vol. 317, pp. 149–158, Nov. 2018
[69] S. Montazzolli and C. Jung, ‘‘Real-time brazilian license plate detection and recognition using deep convolutional neural networks,’’ in Proc. 30th SIBGRAPI Conf. Graph., Patterns Images (SIBGRAPI), Oct. 2017, pp. 55–62.
在表中，BW表示藍色背景的白色字符車牌，YB表示黃色背景的黑色字符車牌。
在階段列表中，D表示檢測，S表示分割，R表示識別。在表中，也列出了各階段的數(shù)據(jù)集、精度和處理時間。使用的圖像數(shù)量列在數(shù)據(jù)集末尾的括號中，最后的處理是是否使用車牌校正、去噪、分辨率增強來提高識別精度。其中，只有LPR-Net[88]是統(tǒng)一的端到端模型，對于其他的算法，有6種算法采用了特殊的處理方法，大部分算法對車牌進行了校正，其中一種算法對圖像進行去噪處理。與漢字和阿拉伯語相比,數(shù)字和字母有著更復(fù)雜的結(jié)構(gòu),他們更敏感,在現(xiàn)實場景中各種因素的影響,這些扭曲的變態(tài)和模糊字符也更難被肉眼識別的,所以調(diào)整和復(fù)原是需要的。
五、總結(jié)
從表6的數(shù)據(jù)可以看出，目前最先進的識別算法是[64]提出的基于YOLO的改進模型，對于多個國家的多個場景，識別準(zhǔn)確率達到96.8%，而處理每幅圖像只需要13.62ms。在今后車牌識別的研究工作中，可以從一下三個方面進行提升：
未來的算法可以結(jié)合圖像去模糊和車牌校正或提高小目標(biāo)的分辨率
客觀評價，使用多套數(shù)據(jù)集進行算法測試，比如說，如第五張表所示，Caltech Cars只有126張，USCDStill只有291張，UFPR-ALPR最多為4500張。然而，太少的數(shù)據(jù)集不利于深度學(xué)習(xí)訓(xùn)練和測試評估。我們應(yīng)該尋找一些像CCPD這樣的數(shù)據(jù)集，里面包含了20萬張圖片。
現(xiàn)有的系統(tǒng)大多采用2 - 3個模型進行訓(xùn)練，即訓(xùn)練前需要收集相應(yīng)的數(shù)據(jù)集并進行標(biāo)記，測試前需要下載相應(yīng)模型的矩陣參數(shù)，這無疑會給系統(tǒng)部署帶來一定的人工成本和計算機存儲成本。因此，迫切需要找到一個可以用統(tǒng)一模型進行端到端訓(xùn)練和測試的系統(tǒng)。
最后,在車牌識別方面，應(yīng)該集中在解決復(fù)雜場景的三個方面,即車牌校正、去噪和高分辨率的表征,以及多元化的評價體系和建設(shè)一個統(tǒng)一的端到端訓(xùn)練和測試的模型。
本文來源
《Research on License Plate Recognition Algorithms Based on Deep Learning in Complex Environment》
下載地址
https://ieeexplore.ieee.org/document/9092977
Python“寶藏級”公眾號【Python之王】專注于Python領(lǐng)域，會爬蟲，數(shù)分，C++，tensorflow和Pytorch等等。
近 2年共原創(chuàng) 100+ 篇技術(shù)文章。創(chuàng)作的精品文章系列有：
日常收集整理了一批不錯的?Python?學(xué)習(xí)資料，有需要的小伙可以自行免費領(lǐng)取。
獲取方式如下：公眾號回復(fù)資料。領(lǐng)取Python等系列筆記，項目，書籍，直接套上模板就可以用了。資料包含算法、python、算法小抄、力扣刷題手冊和 C++ 等學(xué)習(xí)資料！