基于GAN來(lái)做低光照?qǐng)D像增強(qiáng)，EnlightenGAN論文解讀

【GiantPandaCV導(dǎo)語(yǔ)】本文主要對(duì)2021年IEEE TRANSACTIONS ON IMAGE PROCESSING中由德克薩斯A&M大學(xué)和華中科技大學(xué)聯(lián)合發(fā)表的EnlightenGAN論文進(jìn)行解讀，從研究背景、網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)、實(shí)驗(yàn)結(jié)果方面對(duì)其進(jìn)行簡(jiǎn)要介紹。論文地址：(https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9334429)

引言

傳統(tǒng)的低光圖像增強(qiáng)方法大多都是基于直方圖均衡化和基于Retinex理論的方法，基于直方圖均衡化的方法通過(guò)改變圖像的直方圖來(lái)改變圖像中各像素的灰度來(lái)增強(qiáng)圖像的對(duì)比度，例如亮度保持直方圖均衡化(BBHE)、對(duì)比度限制自適應(yīng)直方圖均衡化(CLAHE)等；Retinex理論假定人類(lèi)觀察到的彩色圖像可以分解為照度圖(illumination)和反射圖(Reflectance)，其中反射圖是圖像的內(nèi)在屬性，不可更改；Retinex理論通過(guò)更改照度圖中像素的動(dòng)態(tài)范圍以達(dá)到增強(qiáng)對(duì)比度的目的，如單尺度Retinex(SSR)；多尺度Retinex(MSRCR)等。深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域得到了廣泛應(yīng)用，并取得了非常優(yōu)異的效果；眾多優(yōu)異的方法，如深度卷積神經(jīng)網(wǎng)絡(luò)、GAN等，也已經(jīng)廣泛應(yīng)用于低光圖像增強(qiáng)領(lǐng)域，本文介紹的便是2021年在TIP上發(fā)表的基于GAN的低光圖像增強(qiáng)方法：EnlightenGAN。

網(wǎng)絡(luò)簡(jiǎn)介：

網(wǎng)絡(luò)結(jié)構(gòu)

EnlightenGAN整體網(wǎng)絡(luò)結(jié)構(gòu)如下：

EnlightenGAN采用了注意力導(dǎo)向U-Net網(wǎng)絡(luò)作為生成器，并采用了雙重鑒別器結(jié)構(gòu)來(lái)指導(dǎo)全局和局部信息，U-Net網(wǎng)絡(luò)在各種領(lǐng)域中都取得了顯著成就，在文中對(duì)U-Net網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，提出了一種注意力導(dǎo)向U-Net網(wǎng)絡(luò)結(jié)構(gòu)；首先將輸入的RGB圖像中的照度通道I進(jìn)行歸一化，然后對(duì)1-I進(jìn)行逐元素差分作為自正則化注意力圖，隨后將所有的注意力圖大小重置到與每個(gè)特征圖相匹配，并與所有中間的特征圖相乘得到最后的輸出圖像；整個(gè)注意力導(dǎo)向U-Net生成器包含8個(gè)卷積模塊，每個(gè)卷積模塊包含2個(gè)3x3的卷積層、LeakyReLu激活函數(shù)以及批歸一化層（BN），在上采樣階段使用了雙線性上采樣與卷積層相結(jié)合來(lái)替代傳統(tǒng)的反卷積操作。為了在增強(qiáng)局部區(qū)域的同時(shí)提升全局亮度，鑒別器則采用了雙重鑒別器結(jié)構(gòu)，包含全局和局部鑒別器；全局鑒別器和局部鑒別器都采用了PatchGAN來(lái)用于真/假鑒別，除了圖像級(jí)別的全局鑒別，還通過(guò)從輸出和真實(shí)圖像之間隨機(jī)裁剪局部塊來(lái)區(qū)分真/假以用作局部鑒別。

損失函數(shù)

文中的損失函數(shù)分為兩個(gè)部分，第一個(gè)為對(duì)抗損失，第二個(gè)為自特征保留損失；對(duì)抗損失部分分為全局損失和局部損失兩個(gè)部分。在全局鑒別器中采用了新提出的相對(duì)鑒別結(jié)構(gòu)，即使用最小二乘GAN來(lái)替代原始的Sigmoid以提升鑒別器能力，全局損失函數(shù)結(jié)構(gòu)如下：

在局部鑒別器中從增強(qiáng)后圖像和原始圖像中隨機(jī)剪裁5個(gè)圖像塊來(lái)進(jìn)行真假判斷，局部鑒別器選擇使用原始的最小二乘GAN來(lái)作為對(duì)抗損失，局部損失函數(shù)結(jié)構(gòu)如下：

為了限制感知相似性，可以利用感知損失來(lái)約束輸出圖像與真實(shí)圖像之間的提取出的VGG特征之間的距離來(lái)實(shí)現(xiàn)，但是由于EnlightenGAN采用的是不成對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，因此文中將其改為限制輸入圖像與對(duì)應(yīng)增強(qiáng)圖像之間的特征距離，成為自特征保留損失函數(shù)(將原始的Perceptual loss的輸入改為低光圖像和增強(qiáng)后圖像)，用于抑制其自正則化能力以保留在增強(qiáng)前和增強(qiáng)后圖像自身的內(nèi)容，文中選擇VGG網(wǎng)絡(luò)第5個(gè)Max-Pooling層后的第一個(gè)卷積層特征圖來(lái)計(jì)算自特征保留損失；損失函數(shù)結(jié)構(gòu)如下：

同時(shí)在全局和局部鑒別器中也采用了自特征保留損失，因此總體的損失函數(shù)結(jié)構(gòu)如下：

數(shù)據(jù)集

由于EnlightenGAN采用了不成對(duì)圖像的訓(xùn)練方式，因此在訓(xùn)練數(shù)據(jù)集中所包含的低光圖像與正常光圖像并不需要成對(duì)，這使得數(shù)據(jù)集的采集方式更為簡(jiǎn)便，文中從各個(gè)數(shù)據(jù)集中收集了914張低光照?qǐng)D像與1016張正常光圖像組成數(shù)據(jù)集；并且將所有圖像轉(zhuǎn)換位PNG格式，大小重置為600x400。

實(shí)施細(xì)節(jié)

在訓(xùn)練過(guò)程中一共訓(xùn)練了200個(gè)epoch，前100個(gè)epoch的學(xué)習(xí)率設(shè)置為0.0001，在后100個(gè)周期，學(xué)習(xí)率線性衰減至0；訓(xùn)練過(guò)程中采用了Adam優(yōu)化器并且batch size=32。

實(shí)驗(yàn)結(jié)果

本文主要進(jìn)行了四個(gè)實(shí)驗(yàn)，包括消融實(shí)驗(yàn)、人體主觀視覺(jué)評(píng)價(jià)測(cè)試、各種方法之間的定量評(píng)估以及在真實(shí)低光圖像上的視覺(jué)展示。在消融實(shí)驗(yàn)部分，主要比較了僅使用全局鑒別器的網(wǎng)絡(luò)結(jié)構(gòu)、采用沒(méi)有自正則化注意力機(jī)制的U-Net生成器和全版本的EnlightenGAN的結(jié)果，實(shí)驗(yàn)結(jié)果如下：

在人體主觀視覺(jué)評(píng)價(jià)測(cè)試中，選取了9位參與者對(duì)經(jīng)過(guò)Retinex-Net、LIME、NPE、SRIE、EnlightenGAN五種方法生成的23幅增強(qiáng)后圖像進(jìn)行打分，實(shí)驗(yàn)結(jié)果如下：

第三個(gè)實(shí)驗(yàn)是在五個(gè)子數(shù)據(jù)集（MEF、LIME、NPE、VV、DICM）上進(jìn)行了測(cè)試，并采用NIQE進(jìn)行就定量評(píng)估，實(shí)驗(yàn)結(jié)果如下：

在子數(shù)據(jù)集上的視覺(jué)展示結(jié)果如下：

可以看出，EnlightenGAN能夠恰當(dāng)?shù)膶?duì)圖像的全局和局部進(jìn)行增強(qiáng)，在細(xì)節(jié)保留上也優(yōu)于其他的低光增強(qiáng)方法。

最后一個(gè)實(shí)驗(yàn)是在真實(shí)低光圖像上對(duì)LIME、AHE、EnlightenGAN的輸出結(jié)果進(jìn)行了主觀視覺(jué)展示，實(shí)驗(yàn)結(jié)果如下：

總結(jié)

EnlightenGAN是第一個(gè)采用不成對(duì)圖像進(jìn)行訓(xùn)練的網(wǎng)絡(luò)，得到了非常不錯(cuò)的效果，實(shí)驗(yàn)結(jié)果也證明其性能優(yōu)于傳統(tǒng)的和基于深度學(xué)習(xí)的SOTA方法；EnlightenGAN的貢獻(xiàn)主要包括三點(diǎn)：1、基于生成對(duì)抗網(wǎng)絡(luò)GAN提出了用于低光圖像增強(qiáng)的網(wǎng)絡(luò)結(jié)構(gòu)EnlightenGAN，并且第一次采用了不成對(duì)圖像進(jìn)行訓(xùn)練；2、提出了一種雙重鑒別器來(lái)平衡全局增強(qiáng)和局部增強(qiáng)；3、提出了一種新的自正則化感知損失函數(shù)用于模型訓(xùn)練。(如有不同見(jiàn)解可聯(lián)系：[email protected])

歡迎關(guān)注GiantPandaCV, 在這里你將看到獨(dú)家的深度學(xué)習(xí)分享，堅(jiān)持原創(chuàng)，每天分享我們學(xué)習(xí)到的新鮮知識(shí)。( ? ?ω?? )?

有對(duì)文章相關(guān)的問(wèn)題，或者想要加入交流群，歡迎添加BBuf微信：