1. 存在問題
   

2. 主要貢獻(xiàn)

3. 網(wǎng)絡(luò)結(jié)構(gòu)

4. 網(wǎng)絡(luò)的細(xì)節(jié)
   

5. 實驗部分

存在問題

（1）、觀察到圖像SR的非常深的網(wǎng)絡(luò)更難以訓(xùn)練，以及簡單地堆疊殘差塊以構(gòu)建更深的網(wǎng)絡(luò)幾乎無法獲得更好的改進(jìn)。更深層次的網(wǎng)絡(luò)是否能進(jìn)一步促進(jìn)圖像SR的性能，以及如何構(gòu)建非常深的可訓(xùn)練網(wǎng)絡(luò)，仍有待探討。?

（2）、圖像SR可以看作是這樣一個過程：試圖恢復(fù)盡可能多的高頻信息。LR圖像包含大多數(shù)低頻信息，這些信息可以直接傳遞到最終的HR輸出，不需要太多的計算。?

（3）、基于CNN的很多方法（例如，EDSR ）將從原始LR輸入中提取特征，但這些信息在信道上被平等對待。這樣的過程會浪費不必要的計算以獲得豐富的低頻特征，缺乏跨特征通道的判別性學(xué)習(xí)能力，最終阻礙了CNN的表示能力。

主要貢獻(xiàn)

（1）提出了一種非常深的殘差信道注意網(wǎng)絡(luò)（RCAN），用于高精度的圖像SR。RCAN的深度可以構(gòu)造的比以前基于CNN的網(wǎng)絡(luò)更深，并獲得更好的SR性能。?

（2）提出了Residual in Residual結(jié)構(gòu)（RIR）來構(gòu)建非常深的可訓(xùn)練網(wǎng)絡(luò)。RIR中的長跳和短跳連接有助于傳遞豐富的低頻信息，使主網(wǎng)絡(luò)學(xué)習(xí)到更有效的信息。?

（3）提出了信道注意（CA）機(jī)制，通過考慮特征信道之間的相互依賴性自適應(yīng)地調(diào)整特征。這種CA機(jī)制進(jìn)一步提高了網(wǎng)絡(luò)的表達(dá)能 力。。

網(wǎng)絡(luò)結(jié)構(gòu)

RCAN主要由四部分組成：淺特征提取、residual in residual (RIR) 深度特征提取、上采樣模塊和重建部分。假設(shè)I(LR)和I(SR)表示為RCAN的輸入和輸出。?

（1）、淺特征提取：僅使用一個卷積層（conv）從LR輸入中提取淺特征F0（其中Hsf表示卷積運算，F(xiàn)0用于RIR模塊的深度特征提?。?/p>

（2）、residual in residual (RIR) 深度特征提?。℉rir表示的是RIR模塊，包括G個殘差組）：

（3）、上采樣模塊（Hup表示上采樣的算法，F(xiàn)up表示上采樣之后得到的特征圖）：

有幾種選擇可用作上采樣的模塊，例如反卷積層（也稱為轉(zhuǎn)置卷積），最近鄰上采樣+?

卷積以及ESPCN的亞像素卷神經(jīng)網(wǎng)絡(luò)。?

（4）、重建，通過一個Conv層重建升級的特征：

（5）、損失函數(shù)：超分辨loss有l(wèi)1,l2,gan的loss以及紋理結(jié)構(gòu)perceptual loss，為了保證有效性，選擇了L1 loss：

網(wǎng)絡(luò)的細(xì)節(jié)

（1）、Residual in Residual (RIR）：

??? RIR結(jié)構(gòu)包含G個residual組（RG）和長跳躍連接（LSC），每一個RG包含B個具有短跳躍連接的殘差通道注意塊（RCAB），這種RIR的結(jié)構(gòu)能夠使高性能的圖像SR算法訓(xùn)練的更深（超過400層）。第G組中的RG表示如下：

Hg表示的是第G個RG，F(xiàn)g-1和Fg分別是第G個RG的輸入和輸出，作者發(fā)現(xiàn)，簡單地堆疊多個RG將無法獲得更好的性能。為了解決這個問題，在RIR中進(jìn)一步引入了長跳躍連接（LSC），以穩(wěn)定訓(xùn)練深的網(wǎng)絡(luò)。LSC表示如下：

表達(dá)式中，Wlsc為最后一個RIR模塊后接的一個conv層的權(quán)重，為了簡單起見，省略了偏置項。

LSC不僅可以簡化RG之間的信息流，而且可以在粗略的級別學(xué)習(xí)殘差信息。在LR輸入和特征包含著豐富的信息，SR網(wǎng)絡(luò)的目標(biāo)是恢復(fù)更多有用的信息。豐富的低頻信息可以通過跳躍連接傳輸?shù)胶竺妗?

此外，每個RG中堆疊B個殘差信道注意塊。第g個RG中的第b個殘留信道關(guān)注塊（RCAB）可以表示為：

Fg,b-1和Fg,b表示的是第g個RG中的第b個RCAB的輸入和輸出，與RG塊類似，這B個殘差信道注意塊也具有跳躍連接，稱為短跳躍連接（SSC)：

Wg是第g個RB模塊尾部的一個conv的權(quán)重。LSC和SSC的存在，使更豐富的低頻信息在訓(xùn)練過程流動到更深層。

（2）、Channel Attention (CA)

????以前基于CNN的SR方法對LR信道特征的處理是相同的，這在實際情況中并不靈活。為了使網(wǎng)絡(luò)專注于更多信息特征，利用特征信道之間的相互依賴性，形成信道注意力機(jī)制。如下圖所示：

使用全局平均池來將通道的全局空間信息轉(zhuǎn)換為通道描述符，也就是獲取1x1xc的特征圖，然后壓縮成1x1xc/r的特征圖，接著再恢復(fù)回1x1xc，最后再通過一個sigmoid激活函數(shù)獲取1x1xc的表示每個通道的權(quán)值的描述符，最后各通道權(quán)重值分別和原特征圖對應(yīng)通道的二維矩陣相乘。（f表示sigmoid，δ表示relu，s是通道的權(quán)重，Xc是全局平均池化前的特征圖）：?

（3）、Residual Channel Attention Block (RCAB)

將CA集成到RB中并提出殘余信道注意塊（RCAB）（如上圖）。對于第g個RG中的第b個RB，表示如下（Rg,b表示的是CA函數(shù)模塊，fg,b?1與fg,b分別表示的是輸入和輸出，Xg,b表示的是殘差塊中的2個堆疊的卷積）：

實驗部分

??? RIR模塊G=10個，每個RIR中，RCAB設(shè)為20個，對于卷積層，除了通道縮減和通道擴(kuò)展中的內(nèi)核大小為1×1，其他的用3x3的filter并使用零填充策略來保持大小固定， 淺層特征提取和RIR結(jié)構(gòu)中的Conv層具有C = 64個filter， 通道縮減中的Conv層具有C / r = 4filter，其中縮減率r設(shè)置為16,上采樣模塊使用亞像素卷積，最后的卷積層有3個filter，表示輸出為彩色圖像。?

urban100和manga109數(shù)據(jù)集上4×SR，相關(guān)模型的效果：

urban100和manga109數(shù)據(jù)集上8×SR，相關(guān)模型的效果 ：

模型定量結(jié)果。最佳和次優(yōu)結(jié)果：

代碼地址?

網(wǎng)絡(luò)結(jié)構(gòu)的代碼詳見：?

https://github.com/cswhshi/super-resolution/blob/master/RCAN.py?

歡迎大家指正和star~?

參考：?

https://arxiv.org/pdf/1807.02758.pdf

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~