點擊下方卡片，關(guān)注“新機器視覺”公眾號

重磅干貨，第一時間送達

圖像降噪的英文名稱是Image Denoising， 圖像處理中的專業(yè)術(shù)語。是指減少數(shù)字圖像中噪聲的過程，有時候又稱為圖像去噪。

噪聲是圖像干擾的重要原因。一幅圖像在實際應用中可能存在各種各樣的噪聲,這些噪聲可能在傳輸中產(chǎn)生,也可能在量化等處理中產(chǎn)生。根據(jù)噪聲和信號的關(guān)系可將其分為三種形式：(f(x, y)表示給定原始圖像，g(x, y)表示圖像信號，n(x, y)表示噪聲。)

1) 加性噪聲，此類噪聲與輸入圖像信號無關(guān)，含噪圖像可表示為f(x, y)=g(x, y)+n(x, y),信道噪聲及光導攝像管的攝像機掃描圖像時產(chǎn)生的噪聲就屬這類噪聲；

2) 乘性噪聲，此類噪聲與圖像信號有關(guān)，含噪圖像可表示為f(x, y)=g(x, y)+n(x ,y)g(x, y),飛點掃描器掃描圖像時的噪聲，電視圖像中的相干噪聲，膠片中的顆粒噪聲就屬于此類噪聲。

3) 量化噪聲，此類噪聲與輸入圖像信號無關(guān)，是量化過程存在量化誤差，再反映到接收端而產(chǎn)生。

目前來說圖像去噪分為三大類：基于濾波器的方法（Filtering-Based Methods）、基于模型的方法（Model-Based Methods）和基于學習的方法（Learning-Based Methods）。

接下來讓我們分別來看一下，這幾種去噪方法的優(yōu)缺點。

01

基于濾波器的方法

經(jīng)典的基于濾波的方法，如中值濾波和維納濾波等，利用某些人工設(shè)計的低通濾波器來去除圖像噪聲。

• 中值濾波器[1]：它是一種常用的非線性平滑濾波器，其基本原理是把數(shù)字圖像或數(shù)字序列中一點的值用該點的一個領(lǐng)域中各點值的中值代換，其主要功能是讓周圍像素灰度值的差比較大的像素改取與周圍的像素值接近的值，從而可以消除孤立的噪聲點，所以中值濾波對于濾除圖像的椒鹽噪聲非常有效。
• 自適應維納濾波器[2]：它能根據(jù)圖像的局部方差來調(diào)整濾波器的輸出，局部方差越大，濾波器的平滑作用越強。

同一個圖像中具有很多相似的圖像塊，可以通過非局部相似塊堆疊的方式去除噪聲，如經(jīng)典的非局部均值（NLM）算法[3]、基于塊匹配的3D濾波(BM3D)算法[4]等。缺點：1. 塊操作會導致模糊輸出。2. 需要手動設(shè)置超參數(shù)。

02

基于模型的方法

基于模型的方法試圖對自然圖像或噪聲的分布進行建模。然后，它們使用模型分布作為先驗，試圖獲得清晰的圖像與優(yōu)化算法?；谀Ｐ偷姆椒ㄍǔ⑷ピ肴蝿斩x為基于最大后驗(MAP)的優(yōu)化問題，其性能主要依賴于圖像的先驗。如Xu等人[5]提出了一種基于低秩矩陣逼近的紅外加權(quán)核范數(shù)最小化(WNNM)方法。Pang等人[9]引入了基于圖的正則化器來降低圖像噪聲。

在過去的幾十年中，各種基于模型的方法已經(jīng)被用于圖像先驗建模，包括非局部自相似（NSS）模型，稀疏模型，梯度模型和馬爾可夫隨機場（MRF）模型。盡管它們具有高的去噪質(zhì)量，但是大多數(shù)基于圖像先驗方法都有兩個缺點：

1. 這些方法在測試階段通常涉及復雜的優(yōu)化問題，使去噪過程時非常耗時的。因此，大多數(shù)基于先驗圖像先驗方法在不犧牲計算效率的情況下很難獲得高性能。
2. 模型通常是非凸的并且涉及幾個手動選擇的參數(shù)，提供一些余地以提高去噪性能。

為了克服先驗方法的局限性，最近開發(fā)了幾種判別學習方法以在截斷推理過程的背景下，學習圖像先驗模型。得到的先驗模型能夠擺脫測試階段的迭代優(yōu)化過程。Schmidt和Roth提出了一種收縮場級聯(lián)（CSF）方法，該方法將基于隨機場的模型和展開的半二次優(yōu)化算法統(tǒng)一為一個學習框架。陳等人提出了一種可訓練的非線性反應擴散（TNRD）模型，該模型通過展開固定數(shù)量的梯度下降推斷步驟來學習改進的專家領(lǐng)域。盡管CSF和TNRD在彌補計算效率和去噪質(zhì)量上的差距方面已經(jīng)取得了好的效果，但它們的性能本質(zhì)上僅限于先前那種特定的形式。具體而言，CSF和TNRD采用的先驗是基于分析模型，這個模型在捕獲圖像結(jié)構(gòu)整體特征上被限制。此外，通過階段式貪婪訓練以及所有階段之間的聯(lián)合微調(diào)來學習參數(shù)，并且涉及許多手工參數(shù)。另外一個不可忽視的缺點是他們針對特定水平的噪音訓練特定的模型，并且在盲圖像去噪上受限制。

雖然這些基于模型的方法有很強的數(shù)學推導性，但在重噪聲下恢復紋理結(jié)構(gòu)的性能將顯著下降。此外，由于迭代優(yōu)化的高度復雜性，它們通常是耗時的。

03

基于學習的方法

基于學習的方法側(cè)重于學習有噪聲圖像到干凈圖像的潛在映射，可以分為傳統(tǒng)的基于學習的方法和基于深度網(wǎng)絡的學習方法。近年來，由于基于深度網(wǎng)絡的方法比基于濾波、基于模型和傳統(tǒng)的基于學習的方法獲得了更有前景的去噪結(jié)果，它們已成為主流方法。

Zhang等人[6]通過疊加卷積、批歸一化和校正線性單元(ReLU)層，提出了一種簡單但有效的去噪卷積神經(jīng)網(wǎng)絡(CNN)。

受圖像非局部相似度的啟發(fā)，將非局部操作納入到的循環(huán)神經(jīng)網(wǎng)絡中[7]。

Anwar等人[8]提出了一種帶特征注意力的單階段去噪網(wǎng)絡。

DnCNN[10]、FFDnet[11]、CBDnet[12]這三篇覺得應該是聯(lián)系十分緊密的一個系列，是逐步泛化，逐步考慮增加噪聲復雜的一個過程，DnCNN主要針對高斯噪聲進行去噪，強調(diào)殘差學習和BN的作用，F(xiàn)FDnet考慮將高斯噪聲泛化為更加復雜的真實噪聲，將噪聲水平圖作為網(wǎng)絡輸入的一部分，CBDnet主要是針對FFDnet的噪聲水平圖部分入手，通過5層FCN來自適應的得到噪聲水平圖，實現(xiàn)一定程度上的盲去噪。

DnCNN使用了Batch Normalization和Residual Learning加速訓練過程和提升去噪性能。網(wǎng)絡的結(jié)構(gòu)圖如下：

FFDNet側(cè)重與去除更加復雜的高斯噪聲。主要是不同的噪聲水平。之前的基于卷積神經(jīng)網(wǎng)絡的去噪算法，大多數(shù)都是針對于某一種特定噪聲的，為了解決不同噪聲水平的問題，F(xiàn)FDNet的作者利用noise level map作為輸入，使得網(wǎng)絡可以適用于不同噪聲水平的圖片：

CBDNet網(wǎng)絡由噪聲估計子網(wǎng)絡和去噪子網(wǎng)絡兩部分組成。同時進行end to end的訓練。并采用基于信號獨立的噪聲以及相機內(nèi)部處理的噪聲合成的圖片和真是的噪聲圖片（所謂“真實”的噪聲圖片是來自于別人的數(shù)據(jù)集RENOIR、DND、NC12等，）聯(lián)合訓練。提高去噪網(wǎng)絡的泛化能力，也增強去噪的效果：

SRMD[13]不同于前三篇，主要是從bicubic入手，考慮模糊核和噪聲水平的影響，將LR、模糊核、噪聲水平統(tǒng)一的輸入網(wǎng)絡中，來實現(xiàn)對不同退化模型的復原。可以將退化圖和LR圖像合并在一起作為CNN的輸入。為了證明此策略的有效性，選取了快速有效的ESPCN超分辨網(wǎng)絡結(jié)構(gòu)框架。值得注意的是為了加速訓練過程的收斂速度，同時考慮到LR圖像中包含高斯噪聲，因此網(wǎng)絡中加入了Batch Normalization層。網(wǎng)絡結(jié)構(gòu)如下圖所示：

等等等......

基于深度網(wǎng)絡的方法具有很大的發(fā)展?jié)摿?，但是它主要依靠于?jīng)驗設(shè)計，沒有充分考慮到傳統(tǒng)的方法，在一定程度上缺乏可解釋性。所以最新的CVPR2021論文：Adaptive Consistency Prior based Deep Network for Image Denoising就是通過可解釋性來設(shè)計網(wǎng)絡的，它首先，在傳統(tǒng)一致性先驗中引入非線性濾波算子、可靠性矩陣和高維特征變換函數(shù)，提出一種新的自適應一致性先驗(ACP)。其次，將ACP項引入最大后驗框架，提出了一種基于模型的去噪方法。該方法進一步用于網(wǎng)絡設(shè)計，形成了一種新穎的端到端可訓練和可解釋的深度去噪網(wǎng)絡，稱為DeamNet。網(wǎng)絡結(jié)構(gòu)如下如所示：

DeamNet整體的網(wǎng)絡結(jié)構(gòu)

NLO子網(wǎng)絡結(jié)構(gòu)

DEAM注意力模塊

04

數(shù)據(jù)集的發(fā)展

近年來，去噪問題的研究焦點已經(jīng)從AWGN（添加高斯白噪聲）如BSD68、Set12等轉(zhuǎn)向了更真實的噪聲。最近的一些研究工作在真實噪聲圖像方面取得了進展，通過捕獲真實的噪聲場景，建立了幾個真實的噪聲數(shù)據(jù)集如DnD、RNI15、SIDD等，促進了對真實圖像去噪的研究。

‘test039’from BSD68 (合成的噪聲圖像)

‘Starfish’from Set12 (合成的噪聲圖像)

DnD（真實的噪聲圖像）

RNI15（真實的噪聲圖像）

SIDD（真實的噪聲圖像）

參考文獻

[1] Chen Tao, Kai-Kuang Ma, and Li-Hui Chen. Tri-state median filter for image denoising. IEEE Transactions on Image Processing, 8(12):1834–1838, Dec. 1999. 1

[2] Jingdong Chen, J. Benesty, Yiteng Huang, and S. Doclo. New insights into the noise reduction wiener filter. IEEE Transactions on Audio, Speech, and Language Processing, 14(4):1218–1234, Jul. 2006. 1

[3] Antoni Buades, Bartomeu Coll, and J. M. Morel. A nonlocal algorithm for image denoising. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), pages 60–65, Jun. 2005. 1

[4] Kostadin Dabov, Alessandro Foi, Vladimir Katkovnik, and Karen Egiazarian. Image denoising by sparse 3-d transformdomain collaborative filtering. IEEE Transactions on Image Processing, 16(8):2080–2095, Aug. 2007. 1, 2, 7, 8

[5] Shuhang Gu, Lei Zhang, Wangmeng Zuo, and Xiangchu Feng. Weighted nuclear norm minimization with application to image denoising. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 2862–2869, Jun. 2014. 1, 7, 8

[6] Kaibing Zhang, Xinbo Gao, Dacheng Tao, and Xuelong Li. Single image super-resolution with non-local means and steering kernel regression. IEEE Transactions on Image Processing, 21(11):4544–4556, Nov. 2012. 2

[7] Ding Liu, Bihan Wen, Yuchen Fan, Chen Change Loy, and Thomas S. Huang. Non-local recurrent network for image restoration. In International Conference on Learning Representations (ICLR), pages 1680–1689, Dec. 2018.1, 2

[8] Saeed Anwar and Nick Barnes. Real image denoising with feature attention. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 3155–3164, Oct. 2019. 1, 2, 7, 8

[9] Jiahao Pang and Gene Cheung. Graph laplacian regularization for image denoising: Analysis in the continuous domain. IEEE Transactions on Image Processing, 26(4):177–1785, Apr. 2017. 1

[10] Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising.

[11] FFDNet Toward a Fast and Flexible Solution for CNN based Image Denoising.

[12] Toward Convolutional Blind Denoising of Real Photographs.

[13] Learning a Single Convolutional Super-Resolution Network for Multiple Degradations.

來源：知乎

作者：初識CV

本文僅做學術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

—THE END—