圖像修復(fù)簡介
點擊上方“AI算法與圖像處理”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
在實際應(yīng)用中，圖像經(jīng)常被噪聲腐蝕。這些噪音是鏡頭上的灰塵或水滴，或者是舊照片的刮擦，或者是人為繪制的圖像，或者圖像的一部分已損壞。文獻中有兩種主要的圖像恢復(fù)方法：
基于PDE的方法的目的是將已知區(qū)域中的線或邊擴展到用戶指定的區(qū)域。這些區(qū)域充分注意結(jié)構(gòu)的傳播，但是由于其情況下的模糊效果，因此不適合處理大區(qū)域。
基于示例的方法使用紋理合成方法來合成用戶指定區(qū)域中的像素。
本文主要研究小型破損圖像修復(fù)技術(shù)和大型破損圖像完成技術(shù)及其相關(guān)應(yīng)用。
基于補丁的方法
設(shè)I是 在Ω上定義的輸入圖像，O是在Ω上的遮擋區(qū)域。我們注意到D =Ω? O未被遮擋的區(qū)域。我在D上已知的圖像，但在O上未知。
我們在這里考慮補丁的奇數(shù)大?。?/p>
我們首先定義一個與補丁size的大小相關(guān)的鄰域：
我們將補丁Ψ_p定義為一個以像素p為中心的補丁，作為圍繞p的補丁鄰域中像素值的向量：
該定義基本上是圍繞像素p的正方形
我們注意到d?在Ω其（2A + 1）設(shè)定的未被遮擋像素×（2A + 1）鄰域也未被遮擋。Wexler等。[1]提出了一種通用的視頻修復(fù)算法，該算法是雙向相似性方法的前身，并且不需要對象檢測或分割。該方法基本上使形式的連貫項最大化。
其中φ是在Ω像素之間的對應(yīng)關(guān)系映射，必須滿足X + φ（X）∈ d?對于所有X ∈Ω。這種成本函數(shù)是非凸的，我們使用的啟發(fā)式方法，以盡量減少或者它ü和φ。
初始化之后，使用以下兩個步驟優(yōu)化此功能：
匹配鑒于ü，找到d?每個補丁的近鄰Px的已在補繪域像素?，也就是地圖φ（X），? X ∈Ω?D~。
重建鑒于變速映射φ，屬性的新值ù（X），以每個像素X ∈ O.
重復(fù)這些步驟，以收斂到令人滿意的解決方案。該過程可被視為以前的成本的最小化交替?在變速圖φ和圖像內(nèi)容ü。
稀疏表示
拉索算法用于通過以下公式估算給定字典的信號的系數(shù)β：
|| β|| _1引入擬合系數(shù)向量的稀疏性，參數(shù)λ控制重構(gòu)誤差與稀疏性之間的權(quán)衡。更有趣的是，當(dāng)信號的某些分量被破壞時，這意味著模型被修改為
其中，e表示錯誤，當(dāng)且僅當(dāng)y_i損壞時，e_i為非零。
這可以用來幫助我們發(fā)現(xiàn)中斷的信號。但是在此應(yīng)用中，用戶已經(jīng)標記了需要校正的區(qū)域，因此我們可以直接確定像素是否已損壞。
我們將中斷信號的索引集標記為
，表示從y中刪除索引為I的剩余向量，和是相應(yīng)的字典矩陣，通過刪除I中所有索引的剩余列獲得?，F(xiàn)在，稀疏系數(shù)β可以通過以下公式計算：
然后，我們使用計算出的w來修復(fù)損壞的信號：
圖像復(fù)原算法
給定輸入圖像，用戶選擇要刪除和填充的目標區(qū)域。然后通常將缺失的部分視為目標區(qū)域。
我們用Ω表示目標區(qū)域，用Φ表示源區(qū)域，用δΩ表示目標區(qū)域的邊緣。
[2]生成從孔的邊界到內(nèi)部的圖像。在每次迭代中，他們計算邊緣δΩ上每個像素p的優(yōu)先級P（p），然后選擇優(yōu)先級最高的像素作為p_m。
使用一個k維向量Ψ_{P_m}來表示n×n個補丁中心p_m。
根據(jù)前面提到的稀疏表示，將Ψ_{P_m}設(shè)為y，這是屬于目標區(qū)域的需要還原的信號。我們可以通過以下兩個公式計算稀疏表示：
其中x是稀疏表示的字典。通過稀疏表示來完成信號，并在當(dāng)前不確定完成后更新邊界，然后進行下一個迭代。
結(jié)論
本期涵蓋了圖像處理的基本，低級操作和工具，這些對于理解計算機視覺的大多數(shù)常用方法和工具都是必需的。
參考文獻
Wexler, Y., Shechtman, E., & Irani, M. (2004, June). Space-time video completion. In Computer Vision and Pattern Recognition, 2004. CVPR 2004. Proceedings of the 2004 IEEE Computer Society Conference on (Vol. 1, pp. I-120). IEEE.
Shen, B., Hu, W., Zhang, Y., & Zhang, YJ (2009). Image inpainting via sparse representation. In ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing-Proceedings (pp. 697–700 ). https://doi.org/10.1109/ICASSP.2009.4959679.
Newman, Richard (2011). Conservation and care of museum collections(1st ed.). MFA publications. p. 29. ISBN 978–0–87846–729–7.
Darrow, E.J. “Pietro Edwards and the restoration of the public pictures of Venice, 1778–1819: necessity introduced these arts”. Research Works Archive. University of Washington. Retrieved 29 March 2020.
National Gallery,(2019), Helmut Ruhemann Papers: 1939–1979, https://www.nationalgallery.org.uk/archive/record/NG29. Retrieved November 2. 2019.
Jessell, Bettina, (1977), Helmut Ruhemann’s Inpainting Techniques, Journal of the American Institute for Conservation, Volume 17, Number 1, Article 1 (pp. 01 to 08), http://cool.conservation-us.org/jaic/articles/jaic17-01-001.html, Retrieved November 2, 2019.
Garland, Patricia, 2011, Chapter3, Tradition of retouching Practices in America, pp 34–52, in Painting Conservation Catalog, Volume III Inpainting,The Paintings Specialty Group of the American Institute for Conservation, https://www.culturalheritage.org/docs/default-source/resource-guides/painting-conservation-catalog-volume-3-(inpainting).pdf?sfvrsn=6, Retrieved November 2, 2019.
Idelson, Antonia Iaccarino; Severini, Leonardo (18 June 2018). “Inpainting”. The Encyclopedia of Archaeological Sciences: 1–4. doi:10.1002/9781119188230.saseas0330. ISBN 9780470674611.
Bertalmio, Marcelo; Sapiro, Guillermo. “Image Inpainting” (PDF). University of Minnesota. University of Minnesota. Retrieved 29 March 2020.
“Inpainting | Museu Nacional d’Art de Catalunya”. www.museunacional.cat. Retrieved 29 March 2020.
下載1：何愷明頂會分享
在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析
下載2：終身受益的編程指南：Google編程風(fēng)格指南
在「AI算法與圖像處理」公眾號后臺回復(fù)：c++，即可下載。歷經(jīng)十年考驗，最權(quán)威的編程規(guī)范！
下載3 CVPR2020
在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR2020，即可下載1467篇CVPR 2020論文 個人微信（如果沒有備注不拉群！） 請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
覺得不錯就點亮在看吧
