使用Python+OpenCV+GAN實現(xiàn)車牌圖像增強

點擊上方“AI小白學視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

本文轉(zhuǎn)載自：深度學習與計算機視覺

在好萊塢的犯罪電影中，我們經(jīng)?？吹絺商絺冊陔娔X高手的幫助下進行破案，他們可以從模糊、低質(zhì)量的圖像中發(fā)現(xiàn)隱藏的信息。在技術(shù)上，電影中的黑魔法被稱為（SISR）

在各種SISR應(yīng)用中，汽車牌照的超分辨率以其巨大的潛力絕對是名列前茅的。例如，它可以用于執(zhí)法，還可用于提高車牌識別和街道識別（地圖服務(wù)）的準確性。

在本文中，將介紹在Python中實現(xiàn)的車牌圖像增強。Jupyter notebook教程可以在此處（https://github.com/zzxvictor/License-super-resolution） 找到。

展示

在深入探討模型體系結(jié)構(gòu)和訓練策略細節(jié)之前，向你展示一下模型的能力：

我們在逃逸事故案例中發(fā)現(xiàn)一個問題：車牌是在黑暗條件下由低質(zhì)量攝像頭拍攝的，而我們的模型不僅可以提高分辨率，還可以通過對圖像進行去噪、調(diào)整亮度和對比度來增強車牌號的易讀性。

系統(tǒng)架構(gòu)

預(yù)處理

我們在本項目中使用的數(shù)據(jù)集為中國城市停車場數(shù)據(jù)集（https://github.com/detectRecog/CCPD） ，它包含了200k+個不同條件下的汽車圖像，然而原始數(shù)據(jù)不能被直接使用，但是我們只需要車牌圖像而不是街景和汽車，因此第一步是使用數(shù)據(jù)集提供的注釋從圖像中裁剪出車牌圖像。

我們還過濾掉亮度和對比度差的圖像，只保留好的部分作為標簽。我們?nèi)斯ど绍嚺茍D像數(shù)據(jù)（input，label），其中輸入經(jīng)過降采樣和噪聲、同時隨機進行亮度和對比度的破壞，而標簽不變。

模型詳細信息

我們的模型受ESRGAN模型（https://arxiv.org/abs/1809.00219） 的啟發(fā)。顧名思義，我們的模型是在對抗性的方式下進行訓練的——生成器和鑒別器相互對抗。

生成器

我們的生成器是建立在兩個最先進的模型之上的——在ESRGAN的RRDB網(wǎng)絡(luò)和殘差密集網(wǎng)絡(luò)。生成器使用亞像素卷積（在tensorflow中稱為tf.depth_to_space，在Pythorch中稱為Pixel Shuffle）在低分辨率圖像上進行8倍采樣?；旧希瑏喯袼鼐矸e的作用是將一個大小為10 x 10 x 64的特征映射壓縮到另一個深度較淺的較大特征映射（如果上采樣率為8，則為80 x 80 x 1）。

鑒別器

鑒別器是一個簡單的VGG風格的網(wǎng)絡(luò)，輸出0（假）或1（真），理想情況下，鑒別器應(yīng)該能夠區(qū)分重建圖像和真實圖像。

添加一個鑒別器比使用一個最小化均方誤差的生成器得到的效果更好，后者傾向于創(chuàng)建與合法字母完全不同的過度平滑偽影。使用鑒別器約束輸出空間有助于創(chuàng)建類似字母的重構(gòu)。

損失函數(shù)與評估

車牌圖像重建的一個問題在于均方誤差或峰值信噪比等常用指標在描述高層特征方面并不特別擅長。例如，模糊重建可能比具有偏移亮度和高對比度的重建獲得更高的PSNR。

因此，重點關(guān)注邊緣和字母方向等高級特征是非常重要的。在SRGAN的論文中，研究者們發(fā)現(xiàn)了一個新的內(nèi)容損失函數(shù)，該函數(shù)計算VGG網(wǎng)絡(luò)的特征空間中的均方誤差，它突出了原始圖像的特征，而不是圖像空間中的均方誤差。他們將VGG損失定義為

我們的模型經(jīng)過優(yōu)化，以最小化VGG損失和MSE（稱為內(nèi)容損失）的混合：

內(nèi)容丟失迫使模型在重建時注意邊緣，以確保高層骨架與真實值相匹配。

結(jié)束

就這樣！如你所見，重建車牌并不難！如果你對模型的詳細實現(xiàn)感興趣，請查看我們在Github上的存儲庫！

• https://github.com/zzxector/License-super-resolution

原文鏈接：https://towardsdatascience.com/license-plate-image-enhancement-5a170475bec1