91丨九色丨偷拍老熟女,亚洲播播,日本黄色A A二级二,激情五月天中文在线天堂,国产99久久,大香蕉视频色,娇妻在办公室伺候上司h,一级学生妹毛片

點(diǎn)擊下方卡片，關(guān)注“新機(jī)器視覺”公眾號

重磅干貨，第一時(shí)間送達(dá)

基于深度學(xué)習(xí)的工業(yè)缺陷檢測方法可以降低傳統(tǒng)人工質(zhì)檢的成本, 提升檢測的準(zhǔn)確性與效率, 因而在智能制造中扮演重要角色, 并逐漸成為計(jì)算機(jī)視覺領(lǐng)域新興的研究熱點(diǎn)之一. 其被廣泛地應(yīng)用于無人質(zhì)檢、智能巡檢、質(zhì)量控制等各種生產(chǎn)與運(yùn)維場景中. 本綜述旨在對工業(yè)缺陷檢測的任務(wù)定義、難點(diǎn)、挑戰(zhàn)、主流方法、公共數(shù)據(jù)集及評價(jià)指標(biāo)等進(jìn)行全面歸納, 以幫助研究人員快速了解該領(lǐng)域. 具體而言, 本文首先介紹工業(yè)缺陷檢測的背景與特點(diǎn). 接著, 按照實(shí)際數(shù)據(jù)標(biāo)注情況, 劃分出缺陷模式已知、缺陷模式未知與少量缺陷標(biāo)注 3 種研究任務(wù)設(shè)置, 并根據(jù)方法類型作進(jìn)一步歸納與分析, 探討了各方法的性能優(yōu)劣與適用場景, 闡明了方法與實(shí)際應(yīng)用需求的關(guān)聯(lián)性. 此外, 本文還歸納了方法部署中的關(guān)鍵輔助技術(shù), 總結(jié)了現(xiàn)有方法在實(shí)際產(chǎn)業(yè)落地中存在的局限性. 最后, 本文對該領(lǐng)域未來的發(fā)展趨勢和潛在研究方向進(jìn)行了展望.

原文鏈接：http://scis.scichina.com/ssi2022.html#526

引言

大到飛機(jī)機(jī)翼, 小到芯片晶粒, 工業(yè)制品在現(xiàn)代社會中無處不在. 工業(yè)缺陷檢測, 旨在發(fā)現(xiàn)各種工業(yè)制品的外觀瑕疵, 是保障產(chǎn)品質(zhì)量、維持生產(chǎn)穩(wěn)定的重要技術(shù)之一. 以往的缺陷檢測需要人工篩查, 成本高、效率低, 難以覆蓋大規(guī)模的質(zhì)檢需求. 近年來, 隨著工業(yè)成像、計(jì)算機(jī)視覺和深度學(xué)習(xí)等領(lǐng)域的新技術(shù)層出不窮, 基于視覺的工業(yè)缺陷檢測技術(shù)得到了長足的發(fā)展, 成為了針對產(chǎn)品外觀質(zhì)檢的一種有效的解決方案, 引發(fā)了學(xué)術(shù)界和工業(yè)界的強(qiáng)烈關(guān)注. 工業(yè)缺陷檢測不僅可以用于檢測各種工業(yè)制品, 如金屬、紡織物、半導(dǎo)體等, 而且具有優(yōu)秀的檢測精度與效率, 還能提供簡便、安全的操作環(huán)境. 因此, 工業(yè)缺陷檢測已成為智能制造領(lǐng)域重要的基礎(chǔ)研究與技術(shù)之一, 并被廣泛應(yīng)用于無人質(zhì)檢、智能巡檢、生產(chǎn)控制和異常溯源等場景.

《中國制造 2025》行動綱領(lǐng)指出, 建設(shè)制造強(qiáng)國任務(wù)艱巨而緊迫, 需要加速推進(jìn)信息化與工業(yè)化的深度融合, 推進(jìn)生產(chǎn)過程的智能化. 因此, 基于視覺的工業(yè)缺陷檢測不僅具有非常重要的研究價(jià)值, 同時(shí)也擁有廣闊的應(yīng)用前景. 然而, 相比于一般的目標(biāo)檢測任務(wù), 工業(yè) 缺陷檢測面臨著諸多難點(diǎn), 如, 缺陷樣本匱乏、缺陷的可視性低、形狀不規(guī)則、類型未知等, 導(dǎo)致許多現(xiàn)有方法難以同時(shí)滿足高精度、高速度的任務(wù)需求, 因此在實(shí)現(xiàn)落地應(yīng)用的道路上依然存在大量問題亟待解決.

由于工業(yè)缺陷可以視為工業(yè)產(chǎn)品的外觀 “異?！? 因此也有部分工業(yè)缺陷檢測方法采用了異常檢測的思路. 然而異常檢測的定義與工業(yè)缺陷檢測也有所區(qū)別. 具體而言, 異常檢測的概念更加廣泛與抽象, 其中圖像異常檢測主要關(guān)注輸入圖像是否為異常實(shí)例, 而工業(yè)缺陷檢測更關(guān)注像素層面的檢出任務(wù). 在像素層面上, 異常與正常模式的差別更加細(xì)微, 檢測難度也大幅增加. 因此直接使用異常檢測方法難以滿足工業(yè)缺陷檢測的任務(wù)需求.

近年來, 深度學(xué)習(xí)方法因其在處理背景復(fù)雜、缺陷微弱的工業(yè)圖像時(shí)展現(xiàn)出卓越的性能優(yōu)勢, 逐漸在該領(lǐng)域占據(jù)主導(dǎo)地位. 鑒于此, 本文對基于深度學(xué)習(xí)的工業(yè)缺陷檢測方法進(jìn)行綜述, 旨在幫助研究人員快速對該領(lǐng)域的任務(wù)設(shè)置、主流方法、評價(jià)體系等方面有系統(tǒng)性的了解. 由于該任務(wù)具有較強(qiáng) 的應(yīng)用驅(qū)動性, 本文按照實(shí)際情況中數(shù)據(jù)樣本的標(biāo)注與使用情況, 劃分出 3 種任務(wù)設(shè)置: 缺陷模式已知、缺陷模式未知和少量缺陷標(biāo)注. 特別地, 本文還歸納了促進(jìn)方法落地的關(guān)鍵輔助技術(shù), 其有助于提升方法的實(shí)用性. 本文關(guān)注各方法間的共性與不同, 按照問題導(dǎo)向逐步剖析其發(fā)展脈絡(luò), 并結(jié)合領(lǐng)域研究現(xiàn)狀對未來發(fā)展趨勢進(jìn)行展望, 希望幫助研究者們開拓思路.

目前國內(nèi)外的綜述 [1～5] 大多探討廣義的異常檢測領(lǐng)域的方法, 試圖涵蓋圖像、視頻、表格和序列等各種數(shù)據(jù)形式. 文獻(xiàn) [2, 3] 對基于深度學(xué)習(xí)的異常檢測方法進(jìn)行了綜合性的歸納與分析, 但缺乏針對工業(yè)場景的探討. 文獻(xiàn) [6, 7] 雖然以工業(yè)生產(chǎn)為背景來綜述, 但主要著眼于傳統(tǒng)方法與系統(tǒng)控制. 文獻(xiàn) [8] 對基于深度學(xué)習(xí)的表面缺陷檢測方法進(jìn)行了系統(tǒng)性的歸納, 但主要梳理有監(jiān)督方法. 而近期, 基于無監(jiān)督、半監(jiān)督等設(shè)置的研究同樣涌現(xiàn)出許多新的成果, 但目前尚無相應(yīng)針對工業(yè)缺陷檢測領(lǐng)域的全面而細(xì)致的綜述文獻(xiàn). 因此, 本綜述希望填補(bǔ)這一空缺, 并著重對此類新方法進(jìn)行介紹與總結(jié). 本文后續(xù)內(nèi)容的組織如下: 第 2 節(jié)介紹工業(yè)缺陷檢測問題的定義, 分析研究難點(diǎn)與挑戰(zhàn); 第 3 節(jié) 基于3種任務(wù)設(shè)置介紹近年主流的工業(yè)缺陷檢測方法, 并按照方法的設(shè)計(jì)原理進(jìn)一步歸納與分析; 第 4 節(jié)梳理針對實(shí)際部署的關(guān)鍵輔助技術(shù); 第 5 節(jié)介紹常用的公開數(shù)據(jù)集與評價(jià)指標(biāo), 并比較典型方法的性能; 最后, 第 6 節(jié)總結(jié)了當(dāng)前研究的狀況與局限性, 并對未來發(fā)展趨勢與潛在研究方向進(jìn)行展望.

問題定義與研究現(xiàn)狀

2.1 問題定義

基于視覺的工業(yè)缺陷檢測旨在發(fā)現(xiàn)織物、芯片、藥品乃至基建材料等各種工業(yè)制品的外觀可見缺陷. 這些缺陷雖然微小, 卻可能嚴(yán)重危害產(chǎn)品的正常功能. 它們可能發(fā)生在工業(yè)產(chǎn)品的生命周期中任何時(shí)期, 如產(chǎn)品的生產(chǎn)、運(yùn)輸與使用過程等. 缺陷 (defect) 的概念可類比到異常 (anomaly). 異常指超出預(yù)期模式范圍的數(shù)據(jù)[1] , 目前已有大量工作對其進(jìn)行定義與歸類 [1～5, 9, 10] . 通常學(xué)者根據(jù)數(shù)據(jù)之間是否存在上下文關(guān)系, 將異常分為點(diǎn)異常、上下文異常和集群異常 [1, 5, 10] .

如圖 1(a) 所示, 點(diǎn)異常又稱為離群值 (outliers) [9] , 描述數(shù)值上偏離正常樣本的獨(dú)立數(shù)據(jù); 上下文異常同樣描述數(shù)據(jù)點(diǎn), 其數(shù)值屬于正常范圍, 但不符合局部上下文規(guī)律; 集群異常描述一系列相關(guān)數(shù)據(jù)的集合, 集合中的每一個實(shí)例的數(shù)值在單獨(dú)考察時(shí)都處于正常值域, 但集合整體的相關(guān)性特征不服從正常模式. 具體到圖像數(shù)據(jù), 文獻(xiàn) [5] 根據(jù)異常是否存在明顯的語義性將圖像異常分為低級紋理異常和高級語義異常.

與異常相近的概念還包括新穎點(diǎn) (novelty) 和分布外數(shù)據(jù) (out-of-distribution, OOD) [4] . 在圖 1(b) 所示的圖像分類任務(wù)中, 基于白貓樣本定義貓類. 白狗即使顏色相近, 但因語義類別不同而屬于離群值; 黑貓屬于貓類, 語義類別相同, 但其顏色屬性未在訓(xùn)練集中出現(xiàn)過, 而屬于新穎點(diǎn); OOD 則關(guān)注數(shù)據(jù)集合的分布差異, 文本數(shù)據(jù)集與自然場景中貓的數(shù)據(jù)集的分布呈現(xiàn)出明顯差異. 類似地, 如圖 1(c) 所示, 工業(yè)缺陷檢測中, 正常樣本包括多類產(chǎn)品, 缺陷可被視為其外觀上的 “異常”. 不同的是, 工業(yè)缺陷往往出現(xiàn)在圖像中的小部分區(qū)域, 顯著程度更低, 且語義概念模糊. 因而, 一般的圖像異常檢測往往僅需區(qū)分正常與異常樣本, 而工業(yè)缺陷檢測更關(guān)注于檢測圖像中的異常像素. 在實(shí)際工業(yè)場景中, 缺陷的定義更加主觀, 因而學(xué)者們試圖尋求其與異常檢測的關(guān)聯(lián). 考慮到上述幾種任務(wù)的相似性, 在部分缺陷檢測方法中也采用了異常檢測、新穎點(diǎn)檢測與 OOD 檢測的思路. 例如, 單獨(dú)考慮缺陷的像素值, 可類比為新穎點(diǎn)或離群值; 考慮像素間的關(guān)聯(lián)時(shí), 又可將其類比上下文異常或集群異常.

雖然缺陷通常屬于未知模式, 但仍然可以從已有的缺陷樣本中發(fā)現(xiàn)一定的共性, 因此總結(jié)缺陷與背景的類型有助于針對性地設(shè)計(jì)檢測方法. 如圖 2 所示, 依據(jù)缺陷出現(xiàn)的位置與表現(xiàn)形式, 本文將工業(yè)缺陷分為表面缺陷與結(jié)構(gòu)缺陷.

表面缺陷主要出現(xiàn)在產(chǎn)品表面的局部位置, 通常表現(xiàn)在紋理突變、異狀區(qū)域、反規(guī)律模式或錯誤的圖案. 例如, 表面裂紋、色塊、織物的稀織以及商標(biāo)文字的印刷錯誤等. 根據(jù)缺陷區(qū)域的像素值與周圍背景的差異性可將其類比為離群值或集群異常: 離群值型缺陷的像素值通常與正常圖像具有明顯差異; 集群異常型缺陷的像素值與周圍正常區(qū)域?qū)儆谕环秶? 因而更難被發(fā)現(xiàn).

結(jié)構(gòu)缺陷主要是由產(chǎn)品整體的結(jié)構(gòu)錯誤所致, 包括形變、錯位、缺損與污染. 例如鐵絲的彎曲、二極管的邊緣缺損或處于錯誤的位置等. 相應(yīng)地, 根據(jù)是否包含產(chǎn)品整體結(jié)構(gòu), 背景可分為紋理類與物體類. 紋理類聚焦產(chǎn)品的局部表面, 按照復(fù)雜程度依次劃分為簡單紋理、規(guī)則紋理與無規(guī)則紋理. 物體類包含產(chǎn)品整體, 結(jié)構(gòu)更加復(fù)雜, 且存在產(chǎn)品之外的背景干擾. 此時(shí), 不僅需要考慮表面缺陷, 也要考慮結(jié)構(gòu)缺陷. 可見, 在不同的背景上, 不同種類的缺陷微弱程度不同. 即使是同種缺陷的不同實(shí)例之間, 可視性也可能有較大差異.

根據(jù)輸出結(jié)果粒度的不同, 工業(yè)視覺缺陷檢測任務(wù)一般包括分類和定位. 如圖 3 所示, 對于一個待測圖像實(shí)例, 分類任務(wù)首先將其二分類為正常樣本或缺陷樣本; 當(dāng)缺陷類型已知時(shí), 還可進(jìn)一步對缺陷類型進(jìn)行判別, 例如, 織物上可能存在穿線、異色等多種缺陷. 定位任務(wù)的目標(biāo)是找到缺陷在圖像中的具體區(qū)域, 根據(jù)缺陷區(qū)域的描述方式可分為檢測 (檢測框) 與分割 (像素級). 事實(shí)上, 上述任務(wù)有時(shí)是可以同時(shí)進(jìn)行的, 例如, 在分類模型上利用可視化方法 [11～13] 可實(shí)現(xiàn)像素級的定位, 分割結(jié)果同樣可以用來判斷整圖的分類. 由于工業(yè)缺陷的形狀不規(guī)則、尺寸變化較大, 檢測框難以精確表示缺陷的位置, 而且容易引入較多無關(guān)的背景信息, 對缺陷檢測性能的評估造成麻煩. 因而, 在實(shí)際的缺陷定位任務(wù)中, 研究者們更關(guān)注缺陷分割方法. 鑒于此, 本文將重點(diǎn)論述分類與分割任務(wù)的工作。

2.2 研究概述

工業(yè)缺陷檢測長期以來都是工業(yè)視覺領(lǐng)域最重要的研究之一. 近年來, 隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺任務(wù)中的普及, 基于深度學(xué)習(xí)的工業(yè)缺陷檢測方法也得到了飛速發(fā)展, 并逐漸占據(jù)主流. 得益于卷積神經(jīng)網(wǎng)絡(luò) (convolutional neural network, CNN) 強(qiáng)大的特征提取能力與對高維數(shù)據(jù)的表征能力, 基于深度學(xué)習(xí)的方法可以自動學(xué)習(xí)人工難以設(shè)計(jì)的特征, 不僅節(jié)約了手工設(shè)計(jì)特征的成本, 還令檢測精度大幅提高. 相比基于圖像處理與統(tǒng)計(jì)學(xué)習(xí)的傳統(tǒng)方法, 它更擅長處理復(fù)雜的工業(yè)圖像數(shù)據(jù).

本文將近年國內(nèi)外工業(yè)缺陷檢測領(lǐng)域的熱點(diǎn)研究進(jìn)展組織為圖 4 所示的結(jié)構(gòu). 檢測算法依據(jù)實(shí)際工業(yè)場景中數(shù)據(jù)情況的不同, 被分為缺陷模式已知、缺陷模式未知與少量缺陷標(biāo)注 3 種設(shè)置. 缺陷模式已知時(shí), 一般采用有監(jiān)督深度學(xué)習(xí)方法, 需要充足而精確的樣本標(biāo)注, 可以從分類、檢測與分割 3 種角度進(jìn)行方法設(shè)計(jì). 缺陷模式未知時(shí), 一般采用無監(jiān)督深度學(xué)習(xí)方法構(gòu)造比較對象. 根據(jù)比較對象維度的不同, 可分為在圖像維度與在特征維度比較相似度, 并基于方法的原理進(jìn)一步細(xì)分. 少量缺陷標(biāo)注的場景貼近實(shí)際工業(yè)情況, 訓(xùn)練集中包含比例不均衡正負(fù)樣本, 且只有少量的缺陷樣本具有精確或不精確的標(biāo)注. 此時(shí), 根據(jù)具體的數(shù)據(jù)標(biāo)注情況, 分別采用小樣本、半監(jiān)督和弱監(jiān)督等新興方法來處理, 近年來這些方法也逐漸得到學(xué)術(shù)界與工業(yè)界的高度重視. 自監(jiān)督學(xué)習(xí)屬于無監(jiān)督學(xué)習(xí)的一種, 其從無標(biāo)注數(shù)據(jù) 中挖掘自身的監(jiān)督信息, 最近也在工業(yè)缺陷檢測領(lǐng)域得到了廣泛的應(yīng)用.

因此, 本文從構(gòu)建監(jiān)督信息的角度對自監(jiān)督方法予以歸納. 輔助技術(shù)主要用于提升檢測方法的實(shí)用性, 本文主要從 3 個角度討論. 數(shù)據(jù)增強(qiáng)與合成為數(shù)據(jù)貪婪的檢測模型提供足夠的訓(xùn)練集; 模型壓縮與加速技術(shù)面向落地使用中的低存儲開銷與實(shí)時(shí)性需求; 閾值設(shè)置旨在找到推理階段最合適的分類邊界.

檢測算法

3.1 缺陷模式已知

在許多實(shí)際工業(yè)場景中, 大部分缺陷的類型已事先經(jīng)過專業(yè)的統(tǒng)計(jì)與歸納, 因而在方法設(shè)計(jì)時(shí)可以利用缺陷的特征直接檢測, 或者利用先驗(yàn)知識搜集、標(biāo)注數(shù)據(jù)集來訓(xùn)練模型. 基于有監(jiān)督設(shè)置的深度學(xué)習(xí)方法已經(jīng)在許多視覺任務(wù)上取得了較為成熟的發(fā)展與應(yīng)用. 當(dāng)缺陷種類已知且具有充足的標(biāo)注樣本, 或者需要解決缺陷種類的多分類問題時(shí), 工業(yè)缺陷檢測往往采用有監(jiān)督方法. 這些方法大多是將已有的通用目標(biāo)的分類、檢測、分割模型應(yīng)用于工業(yè)場景, 并根據(jù)實(shí)際情況中缺陷的微弱性與模型的速度需求進(jìn)行微調(diào).

有監(jiān)督的方法可以解決缺陷多分類的問題, 適合于大部分缺陷的類型已知或缺陷特點(diǎn)鮮明的情況. 盡管需要高昂的標(biāo)注成本, 但是此類方法在樣本充足的情況下具有優(yōu)良的性能, 并已在部分實(shí)際應(yīng)用中檢驗(yàn)了方法的有效性. 現(xiàn)有方法在簡單規(guī)則的工業(yè)場景中已較為成熟, 而對于復(fù)雜背景及無規(guī)則微弱缺陷的檢測仍有發(fā)展空間. 然而, 面對樣本匱乏、缺陷模式未知的情況時(shí), 有監(jiān)督方法本身依然存在不足.

3.2 缺陷模式未知

在實(shí)際情況中, 含有缺陷的樣本極難獲取. 面對缺陷的未知性與無規(guī)則性, 基于缺陷先驗(yàn)知識的方法存在較大的局限性. 因此, 無監(jiān)督的設(shè)置已經(jīng)引起了廣泛重視. 此類方法大多借鑒異常檢測的思路, 對易于獲取與描述的正常樣本進(jìn)行建模. 缺陷被定義為正常范圍之外的模式.

無監(jiān)督設(shè)置下的任務(wù)目標(biāo)通常是判斷待測樣本是否包含缺陷, 或?qū)θ毕輩^(qū)域進(jìn)行定位, 此時(shí)定位結(jié)果的輸出一般是像素級的分割結(jié)果. 基于無監(jiān)督設(shè)置的深度學(xué)習(xí)方法僅需要易于獲取的正常樣本用于模型訓(xùn)練, 無需使用真實(shí)缺陷樣本. 其不僅能解決有監(jiān)督深度學(xué)習(xí)方法無法發(fā)現(xiàn)未知缺陷的問題, 而且擁有比傳統(tǒng)方法更強(qiáng)的對圖像特征的表達(dá)能力, 因而成為了當(dāng)今的研究熱點(diǎn). 此類方法的核心思想是構(gòu)建出一個與待測樣本最相近的 “模板” 與之比較, 根據(jù)像素或特征的差異性實(shí)現(xiàn)缺陷的檢出與定位. 根據(jù)比較維度的不同, 本文將方法劃分為基于圖像相似度的方法與基于特征相似度的方法.

3.3 少量缺陷標(biāo)注

實(shí)際工業(yè)場景的情況往往介于上述兩種設(shè)置之間. 不僅可以獲得相對充分的正常樣本, 還可以事先收集少量缺陷樣本, 并進(jìn)行標(biāo)注. 即使缺陷樣本只有粗粒度的標(biāo)注也能為檢測性能帶來提升, 因此純粹的有監(jiān)督與無監(jiān)督方法均難以充分利用提供的數(shù)據(jù), 而不是最佳的解決方案. 此時(shí), 面對樣本稀少、數(shù)據(jù)不均衡、標(biāo)注不精確等問題, 研究者們嘗試基于小樣本、半監(jiān)督和弱監(jiān)督的設(shè)置來設(shè)計(jì)更加合理的方法.

輔助技術(shù)

檢測方法設(shè)計(jì)不僅要考慮方法本身的檢測精度, 還需要根據(jù)實(shí)際情況, 利用一些輔助技術(shù)幫助其投入產(chǎn)業(yè)使用. 對此, 本文主要綜述 3 種關(guān)鍵的輔助技術(shù): 數(shù)據(jù)擴(kuò)增旨在利用合成等手段增加樣本的多樣性, 以提升有監(jiān)督和自監(jiān)督方法的性能; 輕量化技術(shù)關(guān)注模型在實(shí)際部署時(shí)的時(shí)間與空間復(fù)雜度, 幫助模型在低功耗設(shè)備上達(dá)到實(shí)時(shí)檢測的水平; 閾值設(shè)置是區(qū)分正常與異常樣本的關(guān)鍵, 合適而可控的閾值設(shè)置有助于方法實(shí)現(xiàn)較高的實(shí)際性能。

數(shù)據(jù)集與性能評估

5.1 常用數(shù)據(jù)集

當(dāng)前常被用于工業(yè)缺陷檢測研究的數(shù)據(jù)集如表 3 [19, 30, 39, 173～182]1)所示. 本文具體介紹近年提出的契合不同任務(wù)設(shè)置的典型數(shù)據(jù)集.

5.2 評價(jià)指標(biāo)

由于分類與分割通常在工業(yè)缺陷檢測中具有較大的實(shí)用價(jià)值, 本文主要介紹這兩類任務(wù)的評價(jià) 指標(biāo). 分類的性能通常采用準(zhǔn)確率 (accuracy)、精確率 (precision) 和召回率 (recall) 進(jìn)行評估. 準(zhǔn)確率指所有預(yù)測正確的類占全部的比重; 精確率也被稱查準(zhǔn)率, 指預(yù)測為缺陷的樣本中正確預(yù)測所占的比例; 召回率也被稱為查全率、真陽性率 (true positive rate, TPR), 指所有缺陷中被正確檢出的比例. 在實(shí)際應(yīng)用中, 往往還會關(guān)注誤檢率 (false drop rate, FPR) 與漏檢率 (false negatives rate, FNR), 它們衡量模型的不足之處。像素級缺陷定位的任務(wù)可視為前景與背景的兩類分割問題. 當(dāng)輸出的異常分?jǐn)?shù)圖是表示對應(yīng)像素為缺陷概率的熱力圖時(shí), 需要對其設(shè)定相應(yīng)閾值獲得二值化分割結(jié)果. 因此, 分割指標(biāo)也可分為固定閾值的指標(biāo)和與閾值無關(guān)的指標(biāo)。

總結(jié)與展望

6.1 總結(jié)

作為工業(yè)視覺的核心技術(shù), 基于視覺的工業(yè)缺陷檢測因其廣泛而重要的應(yīng)用價(jià)值, 逐漸成為炙手可熱的新興研究問題之一. 近年來已經(jīng)涌現(xiàn)出大量的新理論和新方法, 并已逐漸投入實(shí)際產(chǎn)業(yè). 本文對該領(lǐng)域的任務(wù)定義、研究難點(diǎn)、檢測方法、輔助技術(shù)、常用公開數(shù)據(jù)集、評價(jià)指標(biāo)與典型方法性能等進(jìn)行了綜合梳理, 重點(diǎn)綜述了深度學(xué)習(xí)方法的重要進(jìn)展然而, 盡管目前工業(yè)缺陷檢測方法已在部分工業(yè)數(shù)據(jù)上表現(xiàn)出較高的性能, 但現(xiàn)有研究依然存在很大的局限性, 限制了相關(guān)方法的進(jìn)一步研究與落地.

6.1.1 更貼近實(shí)際的任務(wù)設(shè)置

基于有監(jiān)督的缺陷檢測方法已逐漸趨于成熟, 展現(xiàn)出了優(yōu)越的性能. 但是有監(jiān)督方法依賴于大規(guī) 模帶有精確標(biāo)注數(shù)據(jù)的支持, 而數(shù)據(jù)的搜集與標(biāo)注過程成本高昂, 使之無法與實(shí)際工業(yè)場景完全吻合. 同時(shí), 有監(jiān)督方法無法處理新類別缺陷的檢測問題. 無監(jiān)督方法雖然大大降低了數(shù)據(jù)標(biāo)注的需求, 也能檢測未知型缺陷, 但是在定位性能與可解釋性方面仍然無法替代有監(jiān)督方法. 在實(shí)際生產(chǎn)環(huán)境中, 少量缺陷標(biāo)注的情況更加常見. 用戶不僅可以提供大量的正常樣本, 同時(shí)也能提供少量具有精確或粗糙標(biāo)注的缺陷樣本. 相比于上述兩種設(shè)置, 小樣本、半監(jiān)督和弱監(jiān)督的方法更加貼合工業(yè)場景, 可以更加充分地利用資源, 因而其關(guān)注度迅速增加. 目前, 這些方法仍然處于發(fā)展的初期, 仍有待進(jìn)一步的研究與發(fā)展.

6.1.2 缺乏完備的數(shù)據(jù)集

數(shù)據(jù)集是深度學(xué)習(xí)方法研究的基礎(chǔ). 目前常用于工業(yè)缺陷檢測任務(wù)的數(shù)據(jù)集主要存在著背景類型單一、缺陷種類單一等不足, 無法模擬現(xiàn)實(shí)中復(fù)雜的檢測場景. 在實(shí)際工業(yè)生產(chǎn)過程中, 所拍攝的產(chǎn)品圖像也可能來源于不同的成像條件、不同的拍攝角度或者不同制程, 在同一產(chǎn)品上也會出現(xiàn)不同類型的缺陷. 構(gòu)建更貼近實(shí)際工業(yè)場景與任務(wù)設(shè)置的數(shù)據(jù)集不僅有助于更加實(shí)用的算法的開發(fā), 也有助于算法實(shí)際部署. 例如, 多重成像的數(shù)據(jù)集可以將在一種成像條件下難以被發(fā)現(xiàn)的缺陷在另一成像中凸顯, 從而給缺陷發(fā)現(xiàn)帶來了便利. 工業(yè)缺陷檢測方法在無人巡檢、異常溯源等延伸性工作的性能也需要經(jīng)過相應(yīng)數(shù)據(jù)集的檢驗(yàn). 因此, 新數(shù)據(jù)集的建立與完善也非常重要, 只有構(gòu)造出合適的數(shù)據(jù)集, 才能支撐各種新場景、新任務(wù)和新設(shè)置下方法的發(fā)展.

6.2 展望

除了上述總結(jié)的目前研究中的不足, 該領(lǐng)域還有許多極具潛力的研究方向有待進(jìn)一步探索.

6.2.1 神經(jīng)架構(gòu)搜索

現(xiàn)有的基于深度學(xué)習(xí)的方法大多依靠手工設(shè)計(jì)深度神經(jīng)網(wǎng)絡(luò), 依照經(jīng)驗(yàn)設(shè)置超參數(shù). 因此, 現(xiàn)有的模型結(jié)構(gòu)可能并非面向工業(yè)缺陷檢測的最優(yōu)解. Rippel 等 [132] 比較了多種基礎(chǔ)網(wǎng)絡(luò)對模型性能的影響, 其中基于自動機(jī)器學(xué)習(xí) (automated machine learning, AutoML) 獲得的 EfficientNet [187] 的性能優(yōu)于人工設(shè)計(jì)的 ResNet [188] . EfficientNet 高效的網(wǎng)絡(luò)結(jié)構(gòu)與 Swish 激活函數(shù)被認(rèn)為是提升性能的主要原因. 相比于其他通用的視覺檢測任務(wù), 大部分工業(yè)視覺的使用場景更加具體, 利用神經(jīng)架構(gòu)搜索 (neural architecture search, NAS) 的方法自動搜索針對特定任務(wù)場景的最優(yōu)模型是一種可行的解決方案, 不僅有助于彌補(bǔ)人工經(jīng)驗(yàn)設(shè)置的不足, 還能提升模型的效率. AutoOD [189] 基于 NAS 搜索 AE 架構(gòu)的模型參數(shù), 實(shí)現(xiàn)了優(yōu)于手工模型的檢測性能. 然而, 目前 NAS 在無監(jiān)督與半監(jiān)督設(shè)置中的應(yīng)用尚少, 未來可能在工業(yè)視覺領(lǐng)域的相關(guān)任務(wù)上得到發(fā)展.

6.2.2 Transformer 的應(yīng)用

近年來, Transformer 模型 [190] 被引入到計(jì)算機(jī)視覺領(lǐng)域, 并在多種視覺任務(wù)上展現(xiàn)出優(yōu)越的性能[191～195] . 相比于 CNN 關(guān)注局部特征關(guān)系, 視覺 Transformer 利用注意力機(jī)制, 可以建模圖像中的長距離關(guān)系. Xie 等 [196] 將高效的 Swin Transformer[194] 改進(jìn)后用于有監(jiān)督的太陽能電池板的缺陷檢測.其增加窗間注意力來增強(qiáng)全局語義特征的提取, 用多尺度聚合模塊結(jié)合不同層級的特征, 實(shí)現(xiàn)了較高的分類性能.

然而, Transformer 模型的性能優(yōu)勢通常需要足夠的訓(xùn)練數(shù)據(jù)支撐, 而大部分工業(yè)缺陷檢測場景難以獲取充足的缺陷數(shù)據(jù). 因此, 研究者們嘗試在無監(jiān)督設(shè)置下引入 Transformer, 一般將其用于基于圖像相似度的方法. Mishra 等 [180] 將基于圖像重建模型的編碼器改為 Transformer 結(jié)構(gòu), 以增強(qiáng)全局特征的提取能力. 同時(shí), 用 GMM 對 Transformer 的編碼結(jié)果進(jìn)行密度估計(jì). 在測試階段, 根據(jù) GMM 對圖像塊的密度估計(jì)結(jié)果進(jìn)行缺陷定位, 同時(shí)結(jié)合重建誤差實(shí)現(xiàn)圖像級分類. Pirnay 等 [157] 認(rèn)為在基于圖像復(fù)原任務(wù)的缺陷檢測方法 [114] 中, 長距離信息有利于高質(zhì)量的圖像復(fù)原, 從而提升缺陷分割能力, 因而將 CNN 替換為 Transformer, 根據(jù)周圍信息來復(fù)原圖像塊, 最終根據(jù)重建誤差進(jìn)行缺陷分割. Pinaya 等 [197] 首先訓(xùn)練 VQ-VAE [198] 對圖像進(jìn)行離散編碼, 然后利用多個高效的 Transformer 模型 Performer [195] 對不同順序的離散編碼進(jìn)行自回歸建模. 最終基于重建誤差和隱空間編碼的似然進(jìn)行異常分割, 從而減少誤檢.

Transformer 具有全局關(guān)系建模的能力, 且具有更好的可解釋性 [199] . 但是其對計(jì)算資源的需求也相應(yīng)增大, 對工業(yè)場景的低開銷需求提出挑戰(zhàn). 目前也有相關(guān)工作繼續(xù)在高效 Transformer 模型[194, 195] 與小數(shù)據(jù)集 [199] 的應(yīng)用上進(jìn)行探索. 盡管目前 Transformer 在工業(yè)缺陷檢測領(lǐng)域的實(shí)用性還尚未得到充分探索, 但現(xiàn)有研究已經(jīng)指出了 Transformer 的潛力.

6.2.3 多重成像與多模態(tài)

早期的工業(yè)缺陷檢測方法利用光學(xué)方法提升缺陷的顯著性, 從而使其易于被檢出. 事實(shí)上, 工業(yè) 缺陷的種類千差萬別, 可能存在各自適合的成像方式, 因此, 利用不同成像條件的差異產(chǎn)生區(qū)分力是一個具有潛力的方案. 在實(shí)際場景下, 紅外線、X 射線等其他成像方式可能適合特定產(chǎn)品的質(zhì)檢任務(wù); 結(jié)構(gòu)光、激光等方式獲得的 3D 信息還能進(jìn)一步提升產(chǎn)品結(jié)構(gòu)性缺陷的表達(dá)能力. 目前大部分的方法僅關(guān)注于單一的 RGB、灰度圖像或其他成像形式的輸入. 為了綜合不同成像條件的感知能力, 模型可以進(jìn)一步考慮融合多模態(tài)數(shù)據(jù)的特征來增強(qiáng)檢測性能, 以應(yīng)對更復(fù)雜的場景.

6.2.4 更具可解釋性的方法

盡管深度學(xué)習(xí)極大地促進(jìn)了工業(yè)缺陷檢測的發(fā)展, 新興的方法擁有卓越的檢測性能, 但是不少方法仍缺乏完備的可解釋性. 許多基于無監(jiān)督的方法還依賴大量的經(jīng)驗(yàn)性假設(shè). 對模型解釋性的研究不僅有助于人們理解模型工作機(jī)制, 還能促進(jìn)新型方法的研發(fā). 從輔助人工檢測的角度而言, 建立人機(jī) 互信在實(shí)際應(yīng)用落地的推進(jìn)中至關(guān)重要. 因此, 置信度預(yù)測 [200] 和模型可視化等模型理解的研究不只在工業(yè)缺陷檢測領(lǐng)域, 也在整個人工智能領(lǐng)域極具意義.

6.2.5 在線學(xué)習(xí)與聯(lián)邦學(xué)習(xí)

現(xiàn)有方法大多采用離線學(xué)習(xí)的方法, 即預(yù)先根據(jù)對應(yīng)所給數(shù)據(jù)集訓(xùn)練模型, 然后部署到產(chǎn)線中. 但由于訓(xùn)練初期通常缺乏有標(biāo)簽的缺陷樣本, 部署時(shí)模型的實(shí)際性能難達(dá)最佳. 在實(shí)際應(yīng)用中, 產(chǎn)線可以不斷地提供新樣本, 也可能發(fā)現(xiàn)新的缺陷類型. 因此, 運(yùn)用在線學(xué)習(xí)的方法對模型進(jìn)行快速實(shí)時(shí)的調(diào)整也將成為后續(xù)研究與應(yīng)用的重點(diǎn)之一. 由于某些產(chǎn)品及其缺陷存在一定的共性特征, 結(jié)合不同生產(chǎn)線上的樣本有助于充分訓(xùn)練與調(diào)整模型. 考慮到工業(yè)數(shù)據(jù)往往容易涉及隱私問題, 引入聯(lián)邦學(xué)習(xí)的框架有助于在保障各個合作者隱私安全的前提下, 有效地結(jié)合各方的樣本數(shù)據(jù).

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

—THE END—

工業(yè)缺陷檢測深度學(xué)習(xí)方法綜述