哈工大等提出輕量級盲超分辨模型LESRCNN，代碼已開源

點擊上方“小白學視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

近年來圖像超分辨率（super-resolution?，SR）已經獲得長足發(fā)展，但計算量大仍阻礙相關研究進入產品，來自哈工大等單位的學者提出一種輕量級SR 模型，在取得了state-of-the-art結果的同時，顯著降低計算量，代碼已經開源，相信對從事相關方向的學術和產業(yè)界的朋友都會有參考價值。

Lightweight image super-resolution with enhanced CNN

作者：Chunwei Tian, Ruibin Zhuge, Zhihao Wu, Yong Xu, Wangmeng Zuo, Chen Chen, Chia-Wen Lin

單位：哈工大、美國北卡夏洛特分校和臺灣國立清華大學

01

背景與動機

數(shù)字設備在收集圖像過程中常受到拍攝物周圍環(huán)境、相機硬件和人為因素影響，導致捕獲到圖像不清晰，這嚴重影響后續(xù)視覺任務性能。已有深度學習方法都通過單一縮放因子來恢復高清圖像，這不適用于現(xiàn)實中捕獲的受損程度不同圖像。

此外，已有方法都通過增大網絡深度提升圖像超分辨性能， 但這會增大網絡計算代價，也不適用于手機和相機等。

針對這些問題，本文提出一種輕量級增強的超分辨網絡（A lightweight enhanced SR CN, LESRCNN）。LSRCNN主要從網絡結構和解決問題兩方面來設計網絡的。在網絡結構方面，LESRCNN采用異構結構，結合低頻特征和高頻特征，提升網絡超分辨性能。在解決任務上，采用一組自適應的子像素卷積計算實現(xiàn)盲超分辨網絡。

02

工作原理

本文提出的LESRCNN由信息提取和增強塊（IEEB）、重構塊（RB）和信息提純塊（IRB）組成。結構圖如圖1所示：

圖1 LESRCNN的網絡結構圖

IEEB: IEEB能提取層次的低頻特征和逐步加強獲得特征的作用來增強網絡淺層對深層的記憶能力。為了移除冗余的低頻特征，3x3和1x1卷積組成的異構結構應用到IEEB中。

RB: 因為SR任務目標是把低分辨率圖像轉換為高分辨率圖像，所以RB能通過子像素卷積技術把低頻特征轉換為高頻特征。

為了防止原始輸入低頻圖像在轉換過程中丟失重要信息，RB通過融合局部和全局特征來解決網絡長期依賴問題。

此外，為了實現(xiàn)盲超分辨網絡，一組靈活的子像素卷積技術應用到RB中，如圖2所示。

其中，這個靈活的子像素卷積技術由x2、x3和x4三種模式組成。當訓練固定縮放因子的超分辨模型時，選擇三種模式中一種即可。當訓練盲超分辨模型時，三種模式同時開啟。

圖2 靈活的子像素卷積技術

IRB: IRB能進一步學習RB獲得高頻特征，以恢復更多的高頻細節(jié)信息，提升SR性能。此外，IRB也負責構造高清圖像。

03

創(chuàng)新點

（1）LESRCNN通過級聯(lián)三個塊，以減少參數(shù)量和獲得高的圖像超分辨性能；

（2）LESRCNN通過提取層次低頻特征并融合這些特征，以解決網絡長期依賴問題。此外，LSRCNN中異構卷積結構能在不降低SR性能情況下降低網絡參數(shù)和提高SR網絡效率。低頻和高頻特征同時使用能提升SR性能。

（3）LESRCNN能處理固定縮放因子的低分辨率圖像和盲超分辨任務。

04

實驗效果

表1不同方法在Set5上恢復不同縮放因子（x2、x3和x4）的低分辨率圖像獲得PSNR和SSIM值

表2不同方法在Set14上恢復不同縮放因子（x2、x3和x4）的低分辨率圖像獲得PSNR和SSIM值

表3不同方法在B100上恢復不同縮放因子（x2、x3和x4）的低分辨率圖像獲得PSNR和SSIM值

表4不同方法在U100上恢復不同縮放因子（x2、x3和x4）的低分辨率圖像獲得PSNR和SSIM值

表5不同方法恢復256x256,512x512和1024x1024高質量圖像的運行時間

表6不同圖像超分辨網絡的復雜度

圖3 不同方法在U100上恢復縮放因子2的高質量圖像視覺效果

圖4 不同方法在Set14上恢復縮放因子3的高質量圖像視覺效果

圖5 不同方法在B100上恢復縮放因子4的高質量圖像視覺效果

論文：

https://arxiv.org/pdf/2007.04344.pdf

代碼：

https://github.com/hellloxiaotian/LESRCNN