非制冷紅外圖像降噪算法綜述
點擊下方卡片，關注“新機器視覺”公眾號
視覺/圖像重磅干貨，第一時間送達
本文內容轉載自《紅外技術》2021年第6期，版權歸《紅外技術》編輯部所有。本文內容不含參考文獻，如有需要請參考原論文。
王加，周永康，李澤民，王世錦，曾邦澤，趙德利，胡健釧
昆明物理研究所，陸軍裝備部駐重慶地區(qū)軍事代表局駐昆明地區(qū)第一軍代室
摘要：紅外圖像處理中，由于非制冷紅外探測器工藝技術上的原因，原始的紅外圖像包含多種噪聲，尤其是椒鹽噪聲、固定或隨機條紋噪聲。當前有許多紅外圖像降噪的濾波算法，但在時間、空間、降噪效果、細節(jié)保持等方面各有側重，難以實現(xiàn)完美結合。如何更快速、更高效、更準確地濾除噪聲信息，保留更多的細節(jié)信息，是今后紅外圖像處理降噪研究的關鍵方向。本文調研了目前主流的紅外圖像降噪算法，并從傳統(tǒng)濾波降噪、變換域濾波降噪、基于圖像分層處理濾波降噪三大類別進行了分析比較，并且提出了一種結合傳統(tǒng)算法和基于圖像分層的自適應降噪算法，為今后的相關領域研究人員提供參考。
關鍵詞：紅外圖像降噪；自適應降噪；傳統(tǒng)濾波器；圖像分層濾波器變換域濾波器
0 引言
非制冷紅外探測系統(tǒng)多用于軍事領域，紅外圖像屬于灰度圖像，由于受到探測器的限制和多種外界環(huán)境因素的干擾，普遍存在灰度范圍窄、圖像對比度低、信噪比小、圖像邊緣模糊、高頻細節(jié)信息少等缺陷。紅外圖像具有明顯的椒鹽噪聲（主要來源于非制冷探測器響應不均勻）以及固定或隨機條紋噪聲。在軍用領域內，對非制冷紅外探測系統(tǒng)的實時性有很高要求，對生成的紅外圖像的細節(jié)信息和捕捉小目標信息同樣有著更高的要求。因此需要開發(fā)一種實時性高且占用資源小的算法對紅外圖像進行降噪處理。對紅外圖像的降噪研究至今，研究人員們嘗試更加充分地利用圖像信號的各種特性，最大限度地過濾紅外圖像的噪聲信息，盡可能地保留圖像細節(jié)信息的完整性。傳統(tǒng)的濾波器比如高斯濾波、均值濾波、中值濾波對細節(jié)信息的保留不足，無法滿足軍用的要求。對紅外圖像進行分層處理如引導濾波、雙邊濾波、加權最小二乘濾波，對細節(jié)信息的保留有所改善，但是仍需要進一步的改善。變換域濾波中如小波變換、Contourlet變換、三維塊匹配算法（Block-Matching and 3Dfiltering簡稱BM3D算法）對細節(jié)保留有較好的效果，但是算法復雜度較高，實時性不足，難以滿足工程應用的要求。如何在滿足實時性要求的前提下最大限度地保留細節(jié)信息和小目標信息，實現(xiàn)降噪是亟待解決的問題。
1 傳統(tǒng)的濾波算法
傳統(tǒng)的濾波算法包括高斯濾波、均值濾波以及中值濾波。這幾類濾波算法是通過分析在一定大小的窗口內中心像素與其他相鄰像素之間在灰度空間的直接聯(lián)系，來獲取新的中心像素值的方法。高斯濾波器用像素鄰域的加權均值來代替該點的像素值，但是由于高斯濾波對每個像素都進行線性濾波，所以導致其降噪能力并不算理想。均值濾波處理是使噪聲部分被弱化到周圍像素點上，所得到的結果是噪聲幅度減小，不能完全消除噪聲，并且噪聲點的顆粒面積同時變大，所以噪聲點所占比例反而擴大了。中值濾波通過統(tǒng)計模板內部所有像素的平均中值，能夠較好地消除椒鹽噪聲，但是會使圖像變模糊，并且對邊緣細節(jié)信息的損失較大。
1.1 高斯濾波
高斯濾波是對整個圖像進行加權平均的過程，即使用一個特定的窗口對圖像中的每一個像素點進行掃描，用窗口確定范圍內像素的加權平均灰度值去替換窗口中心像素點的值。
文獻[1]提出了一種改進的自適應高斯濾波算法的降噪方法，運用高斯核中的參數，作為對應窗口中的權重，將像素矩陣中的每一個灰度值都關聯(lián)起來，最終達到降噪的目的。此方法通過算法發(fā)現(xiàn)改進的自適應高斯濾波算法具備一定的通用性。但是，針對不同強度以及不同類型的噪聲下是否仍然具備同樣降噪效果，仍需大量實驗反復驗證，以提高算法的適用性。
1.2 均值濾波
均值濾波是一種直接在空間域上進行平滑處理的算法，是一種較為直觀的線性濾波方式，主要通過在領域內各像素的平均灰度值替換初始的灰度值。
均值濾波算法使用簡便，易于實現(xiàn)，對于濾除圖像中產生的椒鹽噪聲效果較好，但是會造成圖像的過于平滑，從而導致圖像會變得模糊，造成細節(jié)信息的丟失。
文獻[2]針對邊緣細節(jié)信息的不足，提出了一種基于均值濾波的算法上增添了梯度影響因子的濾波算法，更好地降低噪聲的同時將細節(jié)信息保留下來，但是增加了算法的復雜度，實時性不足，仍需要進一步研究。
1.3 中值濾波
中值濾波屬于非線性濾波，是對一個滑動領域內的所有像素灰度值進行排序，找到其中間值，用中間值代替中心像素原來灰度值的算法。對于這種算法而言，正確選擇領域尺寸的大小是一個較為重要的步驟。對于處理簡單模型的噪聲時，如均勻空曠區(qū)域背景下的噪聲，具有較好的效果，但是對于圖像的細節(jié)部分噪聲處理較為乏力，尤其對于圖像的邊角區(qū)域，易造成細節(jié)信息丟失。
在中值濾波計算時，選取的是窗口的中間值，如果中間值和原始值差距較大，則會改變原始圖像的信息特征，例如將圖像中的點或者線信息當成是噪聲進行濾除?；谥兄禐V波改進了加權中值濾波器，自適應中值濾波也是對中值濾波缺點的改進。
文獻[3]針對紅外圖像的降噪處理，提出了一種改進的中值濾波器算法，改進的自適應窗口中值濾波器能夠在濾除較明顯的椒鹽噪聲的同時，還能更完整地保留紅外圖像的細節(jié)信息，對比于傳統(tǒng)的中值濾波器，處理的效果更為理想。但是仍然存在一些可以繼續(xù)改進的部分，例如在一些細節(jié)信息得以保留的同時，能否使圖像整體的均勻性更佳。
2 基于圖像分層處理的濾波算法
當前對紅外圖像降噪處理應用較為主流的方法如圖1所示，是對圖像進行分層處理，即通過低通濾波器將輸入圖像進行平滑處理，作為背景層；再將輸入圖像與背景層圖像做差，得到圖像中的細節(jié)信息，作為細節(jié)層。由于細節(jié)層中包含所有高頻信息，所以不僅含有圖像的細節(jié)信息，也會含有噪聲信息。對細節(jié)層中所需要的真實細節(jié)進行增強，對形成干擾的噪聲進行降噪處理。最后，將處理過后的細節(jié)層與背景層合并，輸出圖像。
在紅外圖像分層處理中，目前較為主流的濾波器有引導濾波器、雙邊濾波器以及加權最小二乘濾波器。以上3種濾波器對于紅外圖像的細節(jié)信息有較好的平滑效果，通過與輸入圖像作差，從而將細節(jié)層從輸入圖像分離出來，達到細節(jié)提取的目的。
圖1 紅外圖像分層處理基本框架
文獻[4]提出了改進的引導濾波算法，能更好地保護邊緣細節(jié)信息，進一步提升了噪聲的抑制效果。文獻[5]提出了一種自適應雙邊濾波結合自適應高斯濾波的算法，通過自適應高斯濾波解決了雙邊濾波帶來的梯度反轉的問題。進一步抑制了噪聲對圖像的影響。
文獻[6]采用加權最小二乘濾波器將輸入的圖像進行多尺度分層，用不同算法對不同層進行處理后再將細節(jié)層和背景層合并，有效地避免了梯度反轉現(xiàn)象的產生，抑制了圖像噪聲。
2.1 基于引導濾波紅外圖像分層的降噪算法
引導濾波器屬于線性變換濾波的一種，通過一張導引圖，對輸入圖像進行對比濾波處理，使得最后的輸出圖像接近于輸入圖像，但是細節(jié)部分與導引圖接近。引導濾波能在平滑圖像的同時對紅外圖像邊界保持可以起到較好的作用。引導濾波的數學模型如下表示：
式中：Qi為輸出圖像；Ii為引導圖像；Pi表示輸入圖像；i表示位置像素點；wk表示確定的窗口；建立了和每個像素點從輸入到輸出的關系；ak和bk是唯一確定的常量系數；︱w︱表示窗口內像素點的個數；μk和σk2分別表示窗口wk內的平均值和方差；Pk是輸入圖像在窗口wk中的平均值；ε為正則化參數，用于避免ak過大。
如圖2所示為經過引導濾波分層之后，對細節(jié)層經過中值濾波處理以及自適應中值濾波處理后的細節(jié)層以及與背景層合并后的圖像。
2.2 基于雙邊濾波紅外圖像分層的降噪算法
雙邊濾波器屬于非線性濾波的一種，是綜合了圖像的空間鄰近度和像素值相似度的一種濾波處理方法，每個像素點的最終處理結果表示為其臨近區(qū)域各像素的加權均值。該加權均值既考慮空間鄰近度與像素灰度差值，也考慮空間域信息和灰度相似性，以達到保邊降噪的目的。對于一幅二維的灰度圖像，對位置的像素進行濾波，具體數學模型如下所示：
圖2 引導濾波細節(jié)層處理效果對比圖
式中：I(x)和?(x)是降噪前后x處像素的灰度值；‖x， y‖22是二范數，表示歐式距離；wS為空間鄰近度因子；wr為亮度相似度因子；Z為權重的歸一化因子；σS2和σr2分別表示濾波強弱程度的方差參數；N(x)是以位置x為中心的模板濾波窗口。
如圖3所示為經過雙邊濾波分層之后，對細節(jié)層經過中值濾波處理以及自適應中值濾波處理后的細節(jié)層以及與背景層合并后的圖像。
2.3 基于加權最小二乘濾波的紅外圖像降噪算法
加權最小二乘濾波目的是使得輸入圖像與經過平滑處理后的圖像盡量相似，但是在邊緣部分盡量保持原狀，其數學模型表示如下：
式中：(i，j)表示圖像中的像素點坐標，[Iout(i，j)-Iin(i，j)]2是為了使輸出圖像和輸入圖像之間的差距盡可能小，圖像平滑程度取決于平滑因子ai(Iin)和aj(Iin)，是和輸入圖像相關的平滑系數。λ用于平衡兩個多項式，數值越大圖像的平滑程度越高。
圖3 雙邊濾波細節(jié)層處理效果對比圖
式(11)的矩陣形式表示如式(12)所示：
式中：Ai和Aj分別為包含平滑因子的對角矩陣。Di和Dj為離散微分算子矩陣。求解取得最小值的線性系統(tǒng)如下所示：
式中：I為等階單位矩陣，對于平滑因子如下所示：
式中：l由輸入圖像取對數獲得，即l＝ln(Iin)，α作為控制細節(jié)的尺度，ε為一個很小的常量。
如圖4所示，為經過加權最小二乘濾波分層之后，對細節(jié)層經過中值濾波處理以及自適應中值濾波處理后的細節(jié)層以及與背景層合并后的圖像。
2.4 自適應降噪系數細節(jié)圖像處理
經研究表明，人眼對均勻區(qū)域的細節(jié)圖像噪聲敏感程度更高，在復雜的細節(jié)區(qū)域中包含的噪聲，人眼相對而言不易察覺。在圖像細節(jié)多的區(qū)域，圖像的局部方差大，噪聲可能被細節(jié)所掩蓋，而在圖像細節(jié)少的區(qū)域，噪聲易于觀察到。在對細節(jié)層圖像進行降噪時，使圖像的細節(jié)降噪系數根據圖像的不同區(qū)域自適應地進行變化，降噪系數公式如下所示：
式中：定義噪聲掩膜函數，m(i，j)與圖像的局部方差有關；v(i，j)用于表征噪聲可見性與掩膜函數之間的關系；gL為圖像低增益值；gH為圖像高增益值，在統(tǒng)計圖像中的某個像素點v(i，j)趨近于零時，該像素點的降噪系數取值相對較大，反之系數取值相對較小。為了不使圖像的細節(jié)層信息被過多的抑制，gL與gH的選值為較小的整數。
通過自適應降噪系數，對圖像的細節(jié)層分區(qū)域進行處理，將噪聲更多的進行抑制，對細節(jié)進行更明顯的增加。
如圖5所示，分別為經過引導濾波、雙邊濾波以及加權最小二乘濾波分層之后，對細節(jié)層經過自適應降噪系數處理以后的細節(jié)層以及與背景層合并后的圖像。
圖4 加權最小二乘濾波細節(jié)層處理效果對比圖
3 變換域降噪算法
隨著紅外圖像降噪算法的多角度研究，也涌現(xiàn)出一些相對復雜的算法。小波變換是關于人眼視覺信息處理的一種較為理想的數學模型，它對信號的分解存在于空間域以及變換域兩個域中，而且具有在方向范圍內將信息局部化表達出來的特性。Contourlet變換對于圖像的細節(jié)信息和線性信息具有較大的優(yōu)勢，在復雜噪聲的環(huán)境下也能獲得較好的降噪效果。BM3D降噪算法結合了空間域和變換域的算法，運用了兩次降噪的過程，經過算法處理后殘留的噪聲更少，圖像細節(jié)保留得更為完好，是目前算法中效果領先的降噪算法。
圖5 自適應降噪系數細節(jié)層處理效果對比圖
文獻[7]分析了小波閾值去噪的基本原理以及軟、硬閾值方法去噪的優(yōu)缺點，對閾值函數做了改進。結果表明：采用改進閾值的去噪方法在有效地減少紅外圖像噪聲的同時，能保留更多的圖像細節(jié)信息，去噪后的紅外圖像具有更高的信噪比，對紅外圖像中的噪聲具有良好的濾除效果。
文獻[8]提出一種了基于小波的非下采樣Contourlet變換并結合灰色系統(tǒng)理論的算法。首先分析灰色關聯(lián)度與非下采樣Contourlet變換系數間的關系，得出系數之間的相關性；再由相關性得出圖像的降噪算法。該算法能較好地區(qū)分出邊緣細節(jié)以及噪聲。因此，在降低噪聲的同時能夠較好地保留細節(jié)信息。
文獻[9]依據噪聲是復合存在的特點，提出了基于BM3D算法的改進算法，在傳統(tǒng)的BM3D算法中加入了方差穩(wěn)定性變換，得到方差統(tǒng)一的噪聲圖像，同時，對BM3D算法的第一步計算后加入噪聲殘差圖對比，以保留圖像更多的細節(jié)。
盡管這些算法能獲得更為滿意的處理效果，但是其算法的復雜度以及時間和空間復雜度使得工程適用性較差，在實際工程應用中的時間和空間消耗占比很大，難以滿足實時處理圖像的目的。這些算法很難完整地移植到目前大多采用FPGA/DSP的硬件平臺之上。大多數情況下需要進行簡化和近似處理，不可避免地使處理效果有所折扣。
4 分析討論
4.1 算法優(yōu)缺點分析
為了更為直觀地體現(xiàn)出3類算法的區(qū)別，將各類算法的特點展示出來，本文對降噪算法進行了概括性的比較，如表1所示。
如圖6所示，將經過3種濾波分層處理后，加入自適應增益系數處理后的細節(jié)圖像，結合自適應中值濾波處理，使圖像均勻區(qū)域的噪聲進一步降低，細節(jié)信息盡可能多地保留下來。
4.2 未來發(fā)展趨勢分析
如何兼顧細節(jié)保留與噪聲抑制，且對于不同的降噪算法，針對抑制的噪聲也不盡相同，這些問題一直以來就是紅外圖像降噪處理中最需要去平衡最難以解決的問題。在民用領域，對計算速度與資源占用的要求也較為寬泛，可以從其他角度如變換域降噪對紅外圖像進行處理。在軍用領域，對各項指標的要求都較為嚴格，特別是實時性要求高，變換域降噪等占用資源多，算法復雜度高，計算時間長的降噪算法并不適用，需要從空間域降噪進行多角度、多維度的探索，去著手解決問題。
非制冷紅外圖像降噪算法在軍用工程應用方面具有計算速度快，占用資源小的要求，根據本身的優(yōu)勢，可以結合更多維度的降噪算法，以求得更好的紅外圖像質量，也可更有效地對噪聲進行抑制。進一步提升非制冷紅外圖像降噪算法的性能，使其更加多元化的應用到紅外探測系統(tǒng)之中，生成的圖像更符合人眼觀察特性，進一步推動紅外探測系統(tǒng)的發(fā)展與進步。
表1 三類基于分層處理算法優(yōu)缺點對比
圖6 三種分層處理濾波器結合中值濾波器與自適應系數處理效果對比
5 結論
本文分別對傳統(tǒng)濾波器、基于圖像分層濾波器和基于變換域的濾波器進行了分析。并對非制冷紅外圖像降噪算法的發(fā)展趨勢做出了一定的分析。其中傳統(tǒng)濾波器對于細節(jié)信息的保留有較大缺陷，變換域濾波器的算法復雜度較高，耗費的計算時間較大，不易于實現(xiàn)工程化?；诩t外圖像具有典型的椒鹽噪聲和條紋噪聲的特點，提出了一種結合傳統(tǒng)算法和基于圖像分層的自適應降噪算法思路，在保留細節(jié)的情況下，降噪性能得到了提升。基于紅外圖像分層處理的降噪算法在對圖像質量和系統(tǒng)計算效率都有較高的要求的軍事領域，具有一定的實際應用價值，但還仍需進一步的研究提高。
文獻：
[1] 李健，丁小奇，陳光，等.基于改進高斯濾波算法的葉片圖像去噪方法[J].南方農業(yè)學報，2019，50(6): 1385-1391.
[2] 魏松濤，何文思.一種基于均值濾波和梯度影響因子的濾波算法[J].機械制造與自動化，2020，49(1): 20-22.
[3] 劉智嘉，夏寅輝，楊德振，等.基于中值濾波器的紅外圖像噪聲處理的改進方法[J].激光與紅外，2019，49(3): 376-380.
[4] LIU Ning，ZHAO Dongxue. Detail enhancement for high dynamic range infraredimages based on guided image filter[J]. Infrared Physics and Technology，2014，67(7): 138-147
[5] 謝岱偉.一種基于雙邊濾波的高動態(tài)紅外圖像壓縮與細節(jié)增強算法[J].艦船電子對抗，2019，42(2): 96-98，117.
[6] 朱道廣，隋修寶，朱才高，等.基于多尺度的高動態(tài)紅外圖像增強算法[J].紅外技術，2013，35(8): 476-481，486.
[7] 秦乾坤，楊慧，岳威，等.基于改進小波閾值的紅外熱波無損檢測圖像噪聲抑制方法的研究[J].計算機時代，2019(1): 75-78，82.
[8] 王寶坤.基于非下采樣Contourlet變換的圖像降噪研究[D].哈爾濱:東北林業(yè)大學，2018.
[9] 黃麗姝，馬銘志.改進的基于BM3D的圖像去噪算法[J].現(xiàn)代計算機(專業(yè)版)，2019(6): 60-63，71.
—版權聲明—
僅用于學術分享，版權屬于原作者。
若有侵權，請聯(lián)系微信號:yiyang-sy 刪除或修改！