基于深度學(xué)習(xí)的低光照圖像增強(qiáng)
點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時間送達(dá)
之前在做光照對于高層視覺任務(wù)的影響的相關(guān)工作，看了不少基于深度學(xué)習(xí)的低光照增強(qiáng)（low-light enhancement）的文章[3,4,5,7,8,9,10]，于是決定簡單梳理一下。
光照估計(jì)（illumination estimation）和低光照增強(qiáng)（low-light enhancement）的區(qū)別：光照估計(jì)是一個專門的底層視覺任務(wù)（例如[1,2,6]），它的輸出結(jié)果可以被用到其它任務(wù)中，例如圖像增強(qiáng)、圖像恢復(fù)（處理色差，白平衡）。而低光照增強(qiáng)是針對照明不足的圖像存在的低亮度、低對比度、噪聲、偽影等問題進(jìn)行處理，提升視覺質(zhì)量。值得一提的是，低光照增強(qiáng)方法有兩種常見的模式，一種是直接end-to-end訓(xùn)練，另一種則包含了光照估計(jì)。
LLNet: A deep autoencoder approach to natural low-light image enhancement
2017 Pattern Recognition
這篇文章應(yīng)該是比較早的用深度學(xué)習(xí)方法完成低光照增強(qiáng)任務(wù)的文章，它證明了基于合成數(shù)據(jù)訓(xùn)練的堆疊稀疏去噪自編碼器能夠?qū)Φ牡凸庹沼性肼晥D像進(jìn)行增強(qiáng)和去噪。模型訓(xùn)練基于圖像塊（patch），采用sparsity regularized reconstruction loss作為損失函數(shù)。
主要貢獻(xiàn)如下：
（1）我們提出了一種訓(xùn)練數(shù)據(jù)生成方法（即伽馬校正和添加高斯噪聲）來模擬低光環(huán)境。
（2）探索了兩種類型的網(wǎng)絡(luò)結(jié)構(gòu)：(a) LLNet,同時學(xué)習(xí)對比度增強(qiáng)和去噪；(b) S-LLNet,使用兩個模塊分階段執(zhí)行對比度增強(qiáng)和去噪。
（3）在真實(shí)拍攝到的低光照圖像上進(jìn)行了實(shí)驗(yàn)，證明了用合成數(shù)據(jù)訓(xùn)練的模型的有效性。
（4）可視化了網(wǎng)絡(luò)權(quán)值，提供了關(guān)于學(xué)習(xí)到的特征的insights。
MSR-net:Low-light Image Enhancement Using Deep Convolutional Network
2017 arXiv
這篇文章引入了CNN，它提了一個有趣的觀點(diǎn)，傳統(tǒng)的multi-scale Retinex（MSR）方法可以看作是有著不同高斯卷積核的前饋卷積神經(jīng)網(wǎng)絡(luò)，并進(jìn)行了詳細(xì)論證。
接著，仿照MSR的流程，他們提出了MSR-net，直接學(xué)習(xí)暗圖像到亮圖像的端到端映射。MSR-net包括三個模塊：多尺度對數(shù)變換->卷積差分->顏色恢復(fù)，上面的結(jié)構(gòu)圖畫得非常清楚了。
訓(xùn)練數(shù)據(jù)采用的是用PS調(diào)整過的高質(zhì)量圖像和對應(yīng)的合成低光照圖像（隨機(jī)減少亮度、對比度，伽馬校正）。損失函數(shù)為帶正則項(xiàng)的誤差矩陣的F-范數(shù)平方，即誤差平方和。
Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images
2018 TIP
這篇文章其實(shí)主要關(guān)注單圖像對比度增強(qiáng)（SICE），針對的是欠曝光和過曝光情形下的低對比度問題。其主要貢獻(xiàn)如下：
（1）構(gòu)建了一個多曝光圖像數(shù)據(jù)集，包括了不同曝光度的低對比度圖像以及對應(yīng)的高質(zhì)量參考圖像。
（2）提出了一個兩階段的增強(qiáng)模型，如上圖所示。第一階段先用加權(quán)最小二乘（WLE）濾波方法將原圖像分解為低頻成分和高頻成分，然后對兩種成分分別進(jìn)行增強(qiáng)；第二階段對增強(qiáng)后的低頻和高頻成分融合，然后再次增強(qiáng)，輸出結(jié)果。
對于為什么要設(shè)計(jì)兩階段結(jié)構(gòu)，文章中是這樣解釋的：單階段CNN的增強(qiáng)結(jié)果并不令人滿意，且存在色偏現(xiàn)象，這可能是因?yàn)閱坞A段CNN難以平衡圖像的平滑成分與紋理成分的增強(qiáng)效果。
值得一提的是，模型第一階段的Decomposition步驟采用的是傳統(tǒng)方法，而后面介紹的Retinex-Net使用CNN實(shí)現(xiàn)了。
Deep Retinex Decomposition for Low-Light Enhancement
2018 BMVC
這篇文章是我前后讀過許多遍，比較值得介紹。受Retinex理論的啟發(fā)，它采用了兩階段式的先分解后增強(qiáng)的步驟，完全采用CNN實(shí)現(xiàn)。對于Decom-Net的訓(xùn)練，引入了反射圖一致性約束（consistency of reflectance）和光照圖平滑性約束（smoothness of illumination），非常容易復(fù)現(xiàn)，實(shí)驗(yàn)效果也不錯。
主要貢獻(xiàn)如下：
（1）構(gòu)建了paired的低光照/正常光照數(shù)據(jù)集LOL dataset，應(yīng)該也是第一個在真實(shí)場景下采集的paired dataset.該數(shù)據(jù)集分為兩部分：真實(shí)場景的圖像數(shù)據(jù)是通過改變相機(jī)感光度和曝光時間得到的；合成的圖像數(shù)據(jù)是用Adobe Lightroom接口調(diào)節(jié)得到的，并且調(diào)節(jié)后圖像的Y通道直方圖必須盡可能地接近真實(shí)低光照場景。
（2）提出了Retinex-Net，它分為兩個子網(wǎng)絡(luò)：Decom-Net能夠?qū)D像進(jìn)行解耦，得到光照圖和反射圖；Enhance-Net對前面得到的光照圖進(jìn)行增強(qiáng)，增強(qiáng)后的光照圖和原來的反射圖相乘就得到了增強(qiáng)結(jié)果。另外，考慮到噪聲問題，采用一種聯(lián)合去噪和增強(qiáng)的策略，去噪方法采用BM3D。
（3）提出一個structure-aware total variation constraint，就是用反射圖梯度作為權(quán)值對TV loss進(jìn)行加權(quán)，從而在保證平滑約束的同時不破壞紋理細(xì)節(jié)和邊界信息。
MBLLEN: Low-light Image/Video Enhancement Using CNNs
2018 BMVC
這篇文章的核心思想是，網(wǎng)絡(luò)中不同層次的特征的提取和融合。此外，該文的另一個亮點(diǎn)是針對視頻的低光照增強(qiáng)網(wǎng)絡(luò)，和一幀一幀處理的直接做法不同，它們使用3D卷積對網(wǎng)絡(luò)進(jìn)行了改進(jìn)，有效提升了性能。
補(bǔ)充說明一下，視頻的低光照增強(qiáng)會存在的一種負(fù)面情況，閃爍（flickering），即幀與幀之間可能存在不符合預(yù)期的亮度跳變。這一問題可以用AB(avr)指標(biāo)（即平均亮度方差）來度量。
網(wǎng)絡(luò)結(jié)構(gòu)：包括特征提取模塊FEM、增強(qiáng)模塊EM和融合模塊FM。FEM是有10層卷積的單流向網(wǎng)絡(luò)，每層的輸出都會被輸入到各個EM子模塊中分別提取層次特征。最終這些層次特征被拼接到一起并通過1x1卷積融合得到最終結(jié)果。為了用于視頻增強(qiáng)，還需要對網(wǎng)絡(luò)進(jìn)行修改，具體可參考原文。
損失函數(shù)：本文不采用常規(guī)的MSE或者M(jìn)AE損失，而是提了一個新的損失函數(shù)，包括三個部分，即結(jié)構(gòu)損失、內(nèi)容損失和區(qū)域損失。結(jié)構(gòu)損失采用SSIM和MS-SSIM度量相結(jié)合的形式；內(nèi)容損失，就是VGG提取的特征應(yīng)該盡可能相似；區(qū)域損失令網(wǎng)絡(luò)更關(guān)注于圖像中低光照的區(qū)域。
Learning to See in the Dark
2018 CVPR
這篇文章主要關(guān)注于極端低光條件和短時間曝光條件下的圖像成像系統(tǒng)，它用卷積神經(jīng)網(wǎng)絡(luò)去完成Raw圖像到RGB圖像的處理，實(shí)驗(yàn)效果非常驚艷。
網(wǎng)絡(luò)結(jié)構(gòu)基于全卷積網(wǎng)絡(luò)FCN，直接通過端到端訓(xùn)練，損失函數(shù)采用L1 loss。此外，文章提出了See-in-the-Dark數(shù)據(jù)集，由短曝光圖像及對應(yīng)的長曝光參考圖像組成。
Kindling the Darkness: A Practical Low-light Image Enhancer
2019 arXiv
這篇文章在今年5月份掛到了arXiv上，干貨挺多，據(jù)稱是state-of-the-art。它提出了低光照增強(qiáng)任務(wù)存在的三個難點(diǎn)：
（1） 如何有效的從單張圖像中估計(jì)出光照圖成分，并且可以靈活調(diào)整光照level?
（2） 在提升圖像亮度后，如何移除諸如噪聲和顏色失真之類的退化？
（3） 在沒有g(shù)round-truth的情況下，樣本數(shù)目有限的情況下，如何訓(xùn)練模型？
這篇文章的增強(qiáng)思路還是沿用了Retinex-Net的decomposition->enhance的兩階段方式，網(wǎng)絡(luò)總共分為三個模塊：Decomposition-Net、Restoration-Net和Adjustment-Net，分別執(zhí)行圖像分解、反射圖恢復(fù)、光照圖調(diào)整。一些創(chuàng)新點(diǎn)如下：
（a）對于Decomposition-Net，其損失函數(shù)除了沿用Retinex-Net的重構(gòu)損失和反射圖一致?lián)p失外，針對光照圖的區(qū)域平滑性和相互一致性，還增加了兩個新的損失函數(shù)。
（b）對于Restoration-Net，考慮到了低光照情況下反射圖往往存在著退化效應(yīng)，因此使用了良好光照情況下的反射圖作為參考。反射圖中的退化效應(yīng)的分布很復(fù)雜，高度依賴于光照分布，因此引入光照圖信息。
（c）對于Adjustment-Net，實(shí)現(xiàn)了一個能夠連續(xù)調(diào)節(jié)光照強(qiáng)度的機(jī)制（將增強(qiáng)比率作為特征圖和光照圖合并后作為輸入）。通過和伽馬校正進(jìn)行對比，證明它們的調(diào)節(jié)方法更符合實(shí)際情況。
參考文獻(xiàn)
[1] Shi, W., Loy, C. C., & Tang, X. (2016). Deep Specialized Network for Illuminant Estimation.?ECCV,?9908, 371–387.?doi.org/10.1007/978-3-3
[2] Guo, X., Li, Y., & Ling, H. (2017). LIME: Low-light image enhancement via illumination map estimation.?IEEE Transactions on Image Processing,?26(2), 982–993.?doi.org/10.1109/TIP.201
[3] Lore, K. G., Akintayo, A., & Sarkar, S. (2017). LLNet: A deep autoencoder approach to natural low-light image enhancement.?Pattern Recognition,?61, 650–662.?doi.org/10.1016/j.patco
[4] Shen, L., Yue, Z., Feng, F., Chen, Q., Liu, S., & Ma, J. (2017). MSR-net:Low-light Image Enhancement Using Deep Convolutional Network.?ArXiv. Retrieved from?arxiv.org/abs/1711.0248
[5] Cai, J., Gu, S., & Zhang, L. (2018). Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images.?IEEE Transactions on Image Processing,?1(c), 1–14. Retrieved from?www4.comp.polyu.edu.hk/
[6] Gao, Y., Hu, H. M., Li, B., & Guo, Q. (2018). Naturalness preserved nonuniform illumination estimation for image enhancement based on retinex.?IEEE Transactions on Multimedia,?20(2), 335–344.?doi.org/10.1109/TMM.201
[7] Chen, C., Chen, Q., Xu, J., & Koltun, V. (2018). Learning to See in the Dark.?CVPR, 3291–3300.?doi.org/10.1109/CVPR.20
[8] Lv, F., Lu, F., Wu, J., & Lim, C. (2018). MBLLEN: Low-light Image/Video Enhancement Using CNNs.?BMVC, 1–13.
[9] Wei, C., Wang, W., Yang, W., & Liu, J. (2018). Deep Retinex Decomposition for Low-Light Enhancement.?BMVC, (61772043). Retrieved from?arxiv.org/abs/1808.0456
[10] Zhang, Y., Zhang, J., & Guo, X. (2019). Kindling the Darkness: A Practical Low-light Image Enhancer.?ArXiv, 1–13. Retrieved from?arxiv.org/abs/1905.0416
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計(jì)算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~