深度學(xué)習(xí)論文精讀[GAN]：利用深度生成先驗進行多用途圖像修復(fù)與處理
將從圖像修復(fù)與處理的經(jīng)典之作DGP《Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation》開始，重啟精讀之路。
0.1元預(yù)約DGP論文直播
直播結(jié)束后提供課件&代碼數(shù)據(jù)集
DGP提出了一種挖掘GAN中圖像先驗的方式，在多個任務(wù)上揭示了GAN作為一種通用圖像先驗的潛力。
論文提出了同時插值隱變量和生成器的漸變式圖像反演方法，可以應(yīng)用于復(fù)雜圖片的對抗防御，在實驗中DGP所展現(xiàn)出的強大的像素間空間關(guān)系模擬能力也十分有趣。
Deep generative prior的圖像復(fù)原效果
深度圖像先驗DIP僅依靠輸入圖像的統(tǒng)計信息，無法應(yīng)用于需要更一般的圖像統(tǒng)計信息的任務(wù)，如圖像上色和圖像編輯。
我們更感興趣的是研究一種更通用的圖像先驗，即在大規(guī)模自然圖像上訓(xùn)練的GAN生成器用于圖像合成。具體來說，是一個基于GAN-inversion的圖像重構(gòu)過程。
在實踐中，僅僅通過優(yōu)化隱向量z難以準確重建ImageNet這樣的復(fù)雜真實圖像。訓(xùn)練GAN的數(shù)據(jù)集(ImageNet)本身是自然圖片中很少的一部分，GAN受限于有限的模型性能和mode collapse，其模擬的圖片分布與訓(xùn)練集圖片分布也存在鴻溝。
即使存在以上限制，GAN仍然學(xué)習(xí)了豐富的圖片信息，為了利用這些信息并且實現(xiàn)精確重建，我們讓生成器online地適應(yīng)于每張目標圖片，即聯(lián)合優(yōu)化隱向量z和生成器參數(shù)。
我們將此新的目標稱為深度生成先驗(DGP)，DGP顯著提高了圖像重構(gòu)的效果。設(shè)計合適的距離度量和優(yōu)化策略非常關(guān)鍵，在重建過程中，生成器原始的生成先驗被修改了，輸出真實自然圖像的能力可能會下降。
0.1元預(yù)約DGP論文直播
直播結(jié)束后提供課件&代碼數(shù)據(jù)集
從 latent space Z 中隨機抽取幾百個候選的初始 latent code，并選擇在度量L下重構(gòu)效果最好的一個。
在GAN重建中，傳統(tǒng)的距離度量方法是 MSE 或 Perceptual loss。優(yōu)化生成器參數(shù)時，將這些傳統(tǒng)距離度量用在圖像恢復(fù)如上色任務(wù)中，常常無法準確恢復(fù)顏色，并且重建過程中圖像會變得模糊，需要設(shè)計更好的優(yōu)化方式來保留生成器的原有信息。
0.1元預(yù)約DGP論文直播
直播結(jié)束后提供課件&代碼數(shù)據(jù)集
我們在該工作中選擇使用與生成器對應(yīng)的判別器來作為距離度量。與Perceptual loss所采用的VGGNet不同，判別器并非在一個第三方的任務(wù)上訓(xùn)練，而是在預(yù)訓(xùn)練時就與生成器高度耦合，它天然地適用于調(diào)整生成器的輸出分布。
使用這種基于判別器的距離度量時，重建的過程更加自然和真實，最終顏色恢復(fù)的效果也更好。
其中D(x, i)代表以x作為輸入時判別器第i個block輸出的特征
雖然改進的距離度量帶來了更好的效果，但是圖像復(fù)原的結(jié)果仍存在非自然痕跡，因為生成器在針對目標圖片優(yōu)化時，淺層參數(shù)匹配好圖片整體布局之前，深層參數(shù)就開始匹配細節(jié)紋理了。
上面的蘋果圖是幾種訓(xùn)練策略的對比，從三行效果可以看出，有的蘋果在訓(xùn)練初期沒被染上色后期還是沒被染上色，我們把這種現(xiàn)象稱作“信息滯留”。
對策就是：使用漸進式重建的策略，即在微調(diào)生成器時，先優(yōu)化淺層，再逐漸過渡到深層，讓重建過程“先整體后局部”。
與非漸進策略相比，這種漸進策略更好地保留了缺失語義和現(xiàn)有語義之間的一致性。
0.1元預(yù)約DGP論文直播
直播結(jié)束后提供課件&代碼數(shù)據(jù)集
使用BigGAN模型，基于ImageNet進行訓(xùn)練，使用ImageNet驗證集中的1000張圖像進行實驗，取每類的第一張，相比于其他方法，DGP取得了非常高的PSNR和SSIM，視覺上的重建誤差幾乎難以察覺。
因為GAN刻畫了自然圖像的先驗，因此可以完成很多的任務(wù)：比如上色、補全、超分辨率等等，還能進行圖像處理。下面放一些效果圖。
圖像上色
使用ResNet50上的分類精度作為定量評估結(jié)果， 下列方法的精度分別為 51.5%, 56.2%, 56.0%, 62.8%。
圖像補全
超分辨率
靈活性
隨機擾動
0.1元預(yù)約DGP論文直播
直播結(jié)束后提供課件&代碼數(shù)據(jù)集
總結(jié)
GAN作為圖像領(lǐng)域最強大的生成式模型之一，學(xué)習(xí)到了豐富的自然圖像流形，可以對自然圖像的恢復(fù)和編輯帶來巨大幫助。
利用好大規(guī)模預(yù)訓(xùn)練模型的能力是深度學(xué)習(xí)目前各個領(lǐng)域的流行前沿，可以減少對訓(xùn)練數(shù)據(jù)的需求，整合相近的研究領(lǐng)域。
未來更強大的生成式模型，將帶來更具實際應(yīng)用價值的圖像恢復(fù)和編輯應(yīng)用，有望在更廣泛的領(lǐng)域落地
0.1元預(yù)約DGP論文直播
直播結(jié)束后提供課件&代碼數(shù)據(jù)集