畫質(zhì)增強背后的超分辨率重建技術(shù)

畫質(zhì)增強背后的

超分辨率重建技術(shù)

從“標(biāo)清”變“4K”。最近，老視頻修復(fù)又引起了一波“回憶殺”，許多的老影像、老動畫、MV、甚至還有表情包畫質(zhì)都得到了增強，那么畫質(zhì)清晰度提升的背后究竟有著什么樣的神奇之處呢？

答案是“超分辨率重建”

分辨率（Image Resolution）很好理解，就是指圖片上像素的數(shù)量，同等條件下，分辨率越高，圖像就越清晰。超分辨率重建中的“超（Super）”就是指把圖像的畫質(zhì)從低變高從而帶來超額的視覺體驗的這種目的，而“重建”則傳遞了一個十分關(guān)鍵的信息，這些網(wǎng)絡(luò)上所謂的“高清重制版”并不是所謂的“還原修復(fù)”，而是依據(jù)殘存信息，推測出的畫面，通俗來講就是“無中生有”。

這里我們要正視一個問題，圖像的信息，丟失了則視為失去，且不可逆。我們不妨舉例來說明一下，小奇拍攝了一張“高清”大圖，然后用JPEG格式存儲在電腦上，然后把該照片發(fā)給了同學(xué)A，同學(xué)A縮小了一下尺寸，然后發(fā)給了同學(xué)B，之后的一段時間里，這張圖片在各位同學(xué)之間被任意傳輸，最后則變成了一張“失真”小圖。那么問題來了，面對這張“失真”小圖是否能夠順藤摸瓜找回最初的高清大圖？顯然不能，這里有兩個明顯的問題，首先是根本不知道丟失了哪些信息，其次也不知道這些信息是如何丟失的，這種情況就被稱為“盲”。換句話說，既然圖像損失的過程無法追溯，就不可能精準(zhǔn)的倒回原位，那么回到之前的問題，“重建”畫面是如何做到的呢？

答案是：深度學(xué)習(xí)

即將大量數(shù)據(jù)交給機器，由它們自行探索解決的方法，就好比此時你手里有一張已經(jīng)受損的圖像，你想要將它修復(fù)，就要通過未損失的部分不斷的進行學(xué)習(xí)，此后不管遇到什么樣的圖像都可以將它還原出來。

但是深度學(xué)習(xí)也有不足，只能做“見過”的東西，比如之前見過的都是“泛黃”老照片，現(xiàn)在突然來了一張被修補的，那么它依舊會按照之前的“泛黃”去處理，因為它無法追溯這種現(xiàn)象的過程。

本質(zhì)上看，機器學(xué)習(xí)就是對過往經(jīng)驗的歸納總結(jié)，從而解決一些復(fù)雜的問題，但是不足之處在于一旦脫離了曾經(jīng)見過的數(shù)據(jù)類型，效果就會變得不理想。這種現(xiàn)象被稱為“domain gap”即因訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)類型不同而導(dǎo)致效果變差的情況，一般被認為是數(shù)據(jù)之間存在domain gap。

因此，想要基于深度學(xué)習(xí)的超分辨率重建在現(xiàn)實生活中有著更加“精確”的表現(xiàn)，就要縮小這種差異，搭建足夠逼近真實的數(shù)據(jù)模型。這里提到的數(shù)據(jù)并不是網(wǎng)絡(luò)上隨處可見的數(shù)據(jù)，機器學(xué)習(xí)常見的訓(xùn)練方式有三類：監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)，其中監(jiān)督學(xué)習(xí)就好比我們在刷題時會看參考答案，通過分析答案和題目之間的關(guān)系找到解題思路；而無監(jiān)督學(xué)習(xí)就好比在習(xí)題集里面找到各類型的題目，將他們按照所考察的知識點進行分類。回到圖像修復(fù)問題，監(jiān)督學(xué)習(xí)一般會得到更好的效果，因此，所謂的“數(shù)據(jù)”就并不是簡單的海量圖片，而是一個個像“題目”和“答案”一樣是已經(jīng)匹配好的“數(shù)據(jù)對”。

舉例來看，上圖一張清晰的圖像A，和一張經(jīng)過降質(zhì)的圖像B，它們組合在一起才是一對有意義的數(shù)據(jù)。反之，網(wǎng)絡(luò)上的任意一張失真圖，如果無法找到與之對應(yīng)的清晰版，就是無效的。

因此，搭建有效的極其逼近真實的數(shù)據(jù)模型就是深度學(xué)習(xí)關(guān)鍵的第一步，那么可以嘗試寫出一個具體的降質(zhì)模型，比如小奇在拍攝照片的一瞬間由于手抖產(chǎn)生了一些模糊，記作與模糊核K發(fā)生卷積，接下來同學(xué)A把它縮小了，分辨率下降損失了一部分像素，之后在反復(fù)的壓縮傳輸中又積累了很多噪聲n，然而，JPEG本身就是一種有損壓縮格式，這樣就搭建了一個基礎(chǔ)模型，當(dāng)然真實情況要遠遠比這個復(fù)雜的多。模型中每一個參數(shù)的值都是未知的，且變化空間極大，互相摻雜在一起，還會出現(xiàn)反復(fù)發(fā)生、隨機組合等情況排列出無數(shù)種可能。

另外，這個簡單模型并沒有考慮到毛邊、綠線、劃痕、斑點等更復(fù)雜的情況。為了更貼近現(xiàn)實，專家們還會進行多次降質(zhì)，給失真圖層層疊加噪點、模糊等，也會對原始圖片進行銳化處理以得到更加的感知效果。

要訓(xùn)練一個超分辨率重建模型就需要有“高清”和“低清”的樣本對，那么研究超分模型的學(xué)者就把獲得低分辨率圖像的這個過程叫做降級（Degradation）。降級可以用這個公式表示：Ix = D（Iy ; δ）

其中Iy表示高清圖像，Ix表示降級之后得到的低清圖像，D表示降級映射，δ為模型中的參數(shù)。

將這個公式代入到超分模型當(dāng)中：

就可以得到下面這個公式：

從以上的過程我們可以看出，超分就是降級的反過程當(dāng)超分圖像∧Iy越來越接近高清圖像Iy時，超分模型就會越來越接近降級模型的反函數(shù)。所以說，如果降級模型的假設(shè)越貼近真實的場景，所以獲得的超分模型的效果就會越好。但是在實際的問題中，降級過程是非常復(fù)雜的，它會受到圖像壓縮失真、傳感器噪聲、噪點、散焦等影響。

那么現(xiàn)有的降級模型有兩種，第一是簡單的下采樣；另一種是加入模糊與噪聲的下采樣。

簡單的下采樣Ix = （Iy）↓s，公式中的↓表示下采樣操作，s表示下采樣的倍數(shù)。就是直接將一個高清圖像Iy進行下采樣操作得到低清圖像Ix，沒有多余的其它操作。

公式中?表示卷積，k為卷積核，n為噪聲。

那么相應(yīng)的加入模糊與噪聲的下采樣，它是將高清圖像Iy先進行一個卷積操作，然后再做下采樣再加入噪聲，最終得到Ix這樣一個低清圖像。這樣的過程就是用加入了模糊和噪聲的方法得到的下采樣圖像和原始的高清圖像放入超分模型中。

較為傳統(tǒng)的超分辨率重建技術(shù)主要包括：基于插值的技術(shù)、基于重建的方法、基于非深度學(xué)習(xí)的方法。

首先基于插值的技術(shù)，其實就是在圖像中插入一些像素點，這些像素點的值根據(jù)臨近的像素點來計算出來。那么計算它們的方法一般包括最臨近元法、雙線性內(nèi)插法、三次內(nèi)插法的一些插值方法。

基于重建的方法它的理論基礎(chǔ)就是一些數(shù)學(xué)的概率論或集合論，一般有以上幾個超分辨率重建圖像的方法，其中混合方法就是將前面幾個方法混合在一起。

基于學(xué)習(xí)的方法其實就是基于機器學(xué)習(xí)的非深度學(xué)習(xí)的方法，主要包括以上幾種方法，以上主要是列舉了傳統(tǒng)的圖像超分辨率重建的一些方法。

這個問題本身可以把它看作一個監(jiān)督學(xué)習(xí)的問題，上圖是它的實現(xiàn)過程，首先找到一張原圖，將它縮小，得到一張縮小圖，然后通過模型重建得到一張重建圖，將重建圖和原圖進行對比，對比后通過調(diào)整圖形得到模型組合好。得到的重建圖足夠清晰。

監(jiān)督學(xué)習(xí)可以用這樣的一個公式將它進行一個符號化，其中Ix和∧Iy分別表示低清圖像與超分圖像，F(xiàn)表示超分模型，θ為模型中的參數(shù)。

模型的學(xué)習(xí)目標(biāo)可以用以上的公式表示，其中L為損失函數(shù)，ф(θ)為正則項，λ為懲罰系數(shù)。它的目標(biāo)就是要找到參數(shù)θ使損失函數(shù)L最小。

然而，這僅僅是針對一張靜態(tài)的圖像，如果想要修復(fù)視頻，面臨的問題將會更多，那么如此復(fù)雜的工程，超分辨率重建到底可以做什么呢？實際上，圖像處理關(guān)乎很多現(xiàn)實問題，比如醫(yī)院的檢查報告、遙感衛(wèi)星成像、監(jiān)控圖像復(fù)原等等。而現(xiàn)在，隨著計算機的發(fā)展，也為面對這些挑戰(zhàn)帶來了更多的可能性。

1、深度圖超分辨率

深度圖記錄了場景中視點和目標(biāo)之間的距離，深度信息在姿態(tài)估計、語義分割等許多任務(wù)中發(fā)揮著重要作用。然而，由于生產(chǎn)力和成本方面的限制，由深度傳感器生成的深度圖通常分辨率較低，并飽受噪聲、量化、缺失值等方面的降級影響。為了提高深度圖的空間分辨率，研究人員引入了超分辨率。

2、人臉圖像超分辨率

人臉圖像超分辨率（又名face hallucination，F(xiàn)H）通常有助于完成其它與人臉相關(guān)的任務(wù)。與一般圖像相比，人臉圖像擁有更多與人臉相關(guān)的結(jié)構(gòu)化信息，因此將人臉先驗知識整合到FH中是一種非常流行且頗有前景的方法。

3、超光譜圖像超分辨率

與全色圖像（panchromatic image，PAN）相比，超光譜圖像（HSI）包含數(shù)百個波段的高光譜圖像，能夠提供豐富的光譜特征，幫助完成許多視覺任務(wù)。然而，由于硬件限制，不僅是搜集高質(zhì)量HSI比搜集PAN難度更大，搜集到的HSI分辨率也要更低。因此，該領(lǐng)域引入了超分辨率，研究人員往往將HR PAN與LR HSI相結(jié)合來預(yù)測HR HSI。

4、視頻超分辨率

在視頻超分辨率中，多個幀可以提供更多的場景信息，該領(lǐng)域不僅有幀內(nèi)空間依賴，還有幀間時間依賴（如運動、亮度和顏色變化）。因此，現(xiàn)有研究主要關(guān)注更好地利用時空依賴，包括明確的運動補償（如光流算法、基于學(xué)習(xí)的方法）和循環(huán)方法等。