點(diǎn)擊上方“程序員大白”，選擇“星標(biāo)”公眾號(hào)
重磅干貨，第一時(shí)間送達(dá)

將從圖像修復(fù)與處理的經(jīng)典之作DGP《Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation》開(kāi)始，重啟精讀之路。

0.1元預(yù)約DGP論文直播

直播結(jié)束后提供課件&代碼數(shù)據(jù)集

Deep generative prior的圖像復(fù)原效果

深度圖像先驗(yàn)DIP僅依靠輸入圖像的統(tǒng)計(jì)信息，無(wú)法應(yīng)用于需要更一般的圖像統(tǒng)計(jì)信息的任務(wù)，如圖像上色和圖像編輯。

我們更感興趣的是研究一種更通用的圖像先驗(yàn)，即在大規(guī)模自然圖像上訓(xùn)練的GAN生成器用于圖像合成。具體來(lái)說(shuō)，是一個(gè)基于GAN-inversion的圖像重構(gòu)過(guò)程。

在實(shí)踐中，僅僅通過(guò)優(yōu)化隱向量z難以準(zhǔn)確重建ImageNet這樣的復(fù)雜真實(shí)圖像。訓(xùn)練GAN的數(shù)據(jù)集(ImageNet)本身是自然圖片中很少的一部分，GAN受限于有限的模型性能和mode collapse，其模擬的圖片分布與訓(xùn)練集圖片分布也存在鴻溝。

即使存在以上限制，GAN仍然學(xué)習(xí)了豐富的圖片信息，為了利用這些信息并且實(shí)現(xiàn)精確重建，我們讓生成器online地適應(yīng)于每張目標(biāo)圖片，即聯(lián)合優(yōu)化隱向量z和生成器參數(shù)。

我們將此新的目標(biāo)稱(chēng)為深度生成先驗(yàn)(DGP)，DGP顯著提高了圖像重構(gòu)的效果。設(shè)計(jì)合適的距離度量和優(yōu)化策略非常關(guān)鍵，在重建過(guò)程中，生成器原始的生成先驗(yàn)被修改了，輸出真實(shí)自然圖像的能力可能會(huì)下降。

從 latent space Z 中隨機(jī)抽取幾百個(gè)候選的初始 latent code，并選擇在度量L下重構(gòu)效果最好的一個(gè)。

在GAN重建中，傳統(tǒng)的距離度量方法是 MSE 或 Perceptual loss。優(yōu)化生成器參數(shù)時(shí)，將這些傳統(tǒng)距離度量用在圖像恢復(fù)如上色任務(wù)中，常常無(wú)法準(zhǔn)確恢復(fù)顏色，并且重建過(guò)程中圖像會(huì)變得模糊，需要設(shè)計(jì)更好的優(yōu)化方式來(lái)保留生成器的原有信息。

我們?cè)谠摴ぷ髦?/span>選擇使用與生成器對(duì)應(yīng)的判別器來(lái)作為距離度量。與Perceptual loss所采用的VGGNet不同，判別器并非在一個(gè)第三方的任務(wù)上訓(xùn)練，而是在預(yù)訓(xùn)練時(shí)就與生成器高度耦合，它天然地適用于調(diào)整生成器的輸出分布。

使用這種基于判別器的距離度量時(shí)，重建的過(guò)程更加自然和真實(shí)，最終顏色恢復(fù)的效果也更好。

其中D(x, i)代表以x作為輸入時(shí)判別器第i個(gè)block輸出的特征

雖然改進(jìn)的距離度量帶來(lái)了更好的效果，但是圖像復(fù)原的結(jié)果仍存在非自然痕跡，因?yàn)樯善髟卺槍?duì)目標(biāo)圖片優(yōu)化時(shí)，淺層參數(shù)匹配好圖片整體布局之前，深層參數(shù)就開(kāi)始匹配細(xì)節(jié)紋理了。

上面的蘋(píng)果圖是幾種訓(xùn)練策略的對(duì)比，從三行效果可以看出，有的蘋(píng)果在訓(xùn)練初期沒(méi)被染上色后期還是沒(méi)被染上色，我們把這種現(xiàn)象稱(chēng)作“信息滯留”。

對(duì)策就是：使用漸進(jìn)式重建的策略，即在微調(diào)生成器時(shí)，先優(yōu)化淺層，再逐漸過(guò)渡到深層，讓重建過(guò)程“先整體后局部”。

與非漸進(jìn)策略相比，這種漸進(jìn)策略更好地保留了缺失語(yǔ)義和現(xiàn)有語(yǔ)義之間的一致性。

使用BigGAN模型，基于ImageNet進(jìn)行訓(xùn)練，使用ImageNet驗(yàn)證集中的1000張圖像進(jìn)行實(shí)驗(yàn)，取每類(lèi)的第一張，相比于其他方法，DGP取得了非常高的PSNR和SSIM，視覺(jué)上的重建誤差幾乎難以察覺(jué)。

因?yàn)镚AN刻畫(huà)了自然圖像的先驗(yàn)，因此可以完成很多的任務(wù)：比如上色、補(bǔ)全、超分辨率等等，還能進(jìn)行圖像處理。下面放一些效果圖。

圖像上色

使用ResNet50上的分類(lèi)精度作為定量評(píng)估結(jié)果， 下列方法的精度分別為 51.5%, 56.2%, 56.0%, 62.8%。

圖像補(bǔ)全

超分辨率

靈活性

隨機(jī)擾動(dòng)

總結(jié)

GAN作為圖像領(lǐng)域最強(qiáng)大的生成式模型之一，學(xué)習(xí)到了豐富的自然圖像流形，可以對(duì)自然圖像的恢復(fù)和編輯帶來(lái)巨大幫助。

利用好大規(guī)模預(yù)訓(xùn)練模型的能力是深度學(xué)習(xí)目前各個(gè)領(lǐng)域的流行前沿，可以減少對(duì)訓(xùn)練數(shù)據(jù)的需求，整合相近的研究領(lǐng)域。

未來(lái)更強(qiáng)大的生成式模型，將帶來(lái)更具實(shí)際應(yīng)用價(jià)值的圖像恢復(fù)和編輯應(yīng)用，有望在更廣泛的領(lǐng)域落地