基于ResNet的鋼材表面缺陷分類

摘要

開發(fā)了一種自動檢測和分類軋制金屬中三類表面缺陷的方法，該方法允許以指定的效率和速度參數(shù)進(jìn)行缺陷檢測。研究了利用殘差神經(jīng)網(wǎng)絡(luò)對缺陷進(jìn)行分類的可能性?；赗esNet50神經(jīng)網(wǎng)絡(luò)的分類器被接受為基礎(chǔ)。該模型可以對三類損傷的平面圖像進(jìn)行分類，基于測試數(shù)據(jù)，分類精度為96.91%。結(jié)果表明，使用ResNet50可以提供出色的識別、高速和準(zhǔn)確度，這使其成為檢測金屬表面缺陷的有效工具。

by Ihor Konovalenko ,Pavlo Maruschak,Janette Brezinová ,Ján Viňá? and Jakub Brezina?

?

關(guān)鍵詞：冶金；鋼板；表面缺陷；視覺檢測技術(shù)；分類

?

1.導(dǎo)言

?

鋼帶的表面缺陷會導(dǎo)致其質(zhì)量受損，而對這些類型的損傷進(jìn)行分類可以快速識別并消除其發(fā)生的原因[1,2,3]。因此，缺陷分類的效率和準(zhǔn)確性是金屬產(chǎn)品質(zhì)量控制的關(guān)鍵[4,5,6,7]。

許多光學(xué)數(shù)字系統(tǒng)被發(fā)明出來，允許在足夠高的水平上對軋制金屬表面進(jìn)行缺陷檢測。然而，已知大量形狀相似的缺陷，其精確識別需要進(jìn)一步研究[8,9,10]。創(chuàng)建用于檢測和識別不同粗糙度的表面缺陷（具有明顯的顏色強(qiáng)度梯度）的算法仍然是相關(guān)的。此外，現(xiàn)有系統(tǒng)通常對軋制金屬帶的照明敏感。因此，在該過程中應(yīng)確保光流的均勻性。

?

相關(guān)標(biāo)準(zhǔn)[11,12,13]中描述了各類缺陷（如裂紋、毛刺等）的控制要求和主要特征。在使用基于大量正確標(biāo)記的缺陷圖像或完整表面示例訓(xùn)練的神經(jīng)網(wǎng)絡(luò)時，可以考慮缺陷的最大數(shù)量。缺陷幾何分析和大樣本統(tǒng)計數(shù)據(jù)的形成是改進(jìn)工藝和降低軋制設(shè)備維護(hù)成本的關(guān)鍵，尤其是在消除異常損壞或溫度偏差時。因此，可以防止此類設(shè)備的不可預(yù)測故障[14,15,16]。

?

針對這類任務(wù)，需要構(gòu)建基于深度殘差神經(jīng)網(wǎng)絡(luò)的分類模型。在軋制金屬的平面圖像上研究了它們的定性指標(biāo)。除了使用缺陷圖像作為檢測到的缺陷鏡損傷外，他們還將其視為鋼帶缺陷分類的初始信息[17,18,19,20]。使用神經(jīng)網(wǎng)絡(luò)需要解決幾個任務(wù)，例如訓(xùn)練和控制樣本的形成和準(zhǔn)備、選擇神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化其組件的操作參數(shù)，以及驗證所獲得的結(jié)果。

?

不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包括AlexNet、GoogLeNet、ResNet等，用于解決各種缺陷檢測問題。模型的復(fù)雜性決定了它的速度。神經(jīng)網(wǎng)絡(luò)是針對某冶金廠的顯著缺陷圖像進(jìn)行訓(xùn)練的。這允許在處理訓(xùn)練樣本期間考慮現(xiàn)有設(shè)備的特征和缺陷形態(tài)。這消除了缺陷固有的技術(shù)差異問題[21,22]。另一個重要問題是檢測和分類具有明顯不同或相似特征的不同類別的若干缺陷。對具有此類多個缺陷的軋制金屬型材進(jìn)行光學(xué)數(shù)字控制，需要開發(fā)和完善已知算法，以提高此類缺陷損傷診斷的準(zhǔn)確性。現(xiàn)有系統(tǒng)僅限于在穩(wěn)定工作條件下識別先前分類的缺陷。

對鋼表面缺陷進(jìn)行分類是識別缺陷和研究缺陷成因的一項重要任務(wù)。這使得降低產(chǎn)品缺陷率成為可能，并大幅減少煉鋼過程中的缺陷數(shù)量[23]。在之前的工作中，作者分析了冶金設(shè)備的大量缺陷，系統(tǒng)化了其發(fā)生的原因，并提出了預(yù)測方法[24]。然而，這種方法的潛力并未得到充分利用，因為連鑄機(jī)上的澆鑄速度和軋制速度的提高會對冶金設(shè)備造成新類型的損壞[25,26]。設(shè)備故障會導(dǎo)致軋制金屬中出現(xiàn)的缺陷幾何形狀發(fā)生變化，并導(dǎo)致其參數(shù)“不穩(wěn)定”。顯然，軋制產(chǎn)品的低成本光學(xué)數(shù)字質(zhì)量控制系統(tǒng)是必要的，目前正在烏克蘭和俄羅斯的冶金廠積極引進(jìn)。這些系統(tǒng)要解決的主要任務(wù)包括：對生產(chǎn)中出現(xiàn)的缺陷進(jìn)行系統(tǒng)化研究，提供將缺陷的幾何特征與其發(fā)生原因進(jìn)行比較的能力，以及制定消除技術(shù)違規(guī)或設(shè)備故障的協(xié)議和新方法。

?

基于深度神經(jīng)網(wǎng)絡(luò)的鋼材表面分析方法得到了廣泛應(yīng)用。在一項研究[27]中，作者提出了一種用于監(jiān)督鋼缺陷分類的最大池卷積神經(jīng)網(wǎng)絡(luò)方法。對于從實際生產(chǎn)線收集到的七種缺陷的分類任務(wù)，錯誤率為7%。在其他研究[28]中，作者提出了一種使用深層結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)（如具有類激活映射的卷積神經(jīng)網(wǎng)絡(luò)）診斷鋼缺陷的方法。

?

本研究的目的是開發(fā)一種基于殘差卷積神經(jīng)網(wǎng)絡(luò)圖像的金屬平面缺陷識別和分類方法。

?

2.缺陷及其分類

眾所周知，軋制金屬的缺陷是標(biāo)準(zhǔn)化的。標(biāo)準(zhǔn)GOST 21014-88描述并說明了黑色（鋼）軋制金屬的64種缺陷。同時，現(xiàn)代裝置和控制系統(tǒng)根據(jù)其參數(shù)的描述對缺陷進(jìn)行分類，在不同的技術(shù)條件下可能會有所不同[11,12,13]。對缺陷特征的不準(zhǔn)確描述會導(dǎo)致其部分遺漏，或?qū)⑵錃w因于缺陷未受損區(qū)域。此外，表面缺陷可能來自軋制和煉鋼。

?

應(yīng)該注意的是，在現(xiàn)代冶金生產(chǎn)中，只要觀察軋制的工藝模式，缺陷的數(shù)量要小得多。它們包括裂紋、機(jī)械缺陷和孔洞。根據(jù)規(guī)范性文件和帶狀缺陷的自動分析，確定了形態(tài)特征，并找到了其外觀的技術(shù)原因（表1）。

表1。缺陷形態(tài)的觀察標(biāo)識

在一個類別中，缺陷的形狀、外觀和結(jié)構(gòu)可能不同，這使其分類復(fù)雜化。為了解決這個問題，我們使用了基于卷積神經(jīng)網(wǎng)絡(luò)的分類器。

為了支持基于神經(jīng)網(wǎng)絡(luò)的方法，表面監(jiān)測工具的開發(fā)是一項緊迫的任務(wù)[29,30,31]，神經(jīng)網(wǎng)絡(luò)通過提供高精度、可靠性和速度，在各個行業(yè)證明了其有效性[32,33,34]。

3.數(shù)據(jù)集培訓(xùn)

神經(jīng)網(wǎng)絡(luò)分類器在一個樣本上進(jìn)行訓(xùn)練，該樣本包含87704張具有三種損傷類型的扁鋼表面數(shù)碼照片，以及未損傷表面的圖像（圖1）。訓(xùn)練圖像的大小為256×256像素。部分圖像取自卡格爾競賽“Severstal:鋼缺陷檢測”[35]。

?

圖1。具有1級（a）、2級（b）和3級（c）損傷的圖像。見表1和未損壞表面的圖像（d）。

訓(xùn)練樣本總共包含1820張1級損傷圖像、14576張2級損傷圖像和2327張3級損傷圖像。一些圖片顯示了幾個等級的損壞。特別是，訓(xùn)練圖像數(shù)據(jù)庫中有63張1級和2級損傷圖像，228張2級和3級損傷圖像。訓(xùn)練樣本還包含69272張完整表面的圖像，占其體積的79%。訓(xùn)練樣本在不同類別圖像的分布上存在顯著的不平衡性，這些圖像代表了現(xiàn)實中的類別分布。訓(xùn)練樣本的這一特征要求使用神經(jīng)網(wǎng)絡(luò)的相關(guān)訓(xùn)練技術(shù)，這減少了輸入數(shù)據(jù)異質(zhì)性的影響[36,37]。數(shù)據(jù)不平衡會對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果產(chǎn)生負(fù)面影響：該算法忽略了小類，導(dǎo)致分類精度較低。為了解決數(shù)據(jù)不平衡的問題，使用了以下方法：

?應(yīng)用類的權(quán)重;

?少數(shù)群體過采樣技術(shù);

?利用失焦功能。

類權(quán)值的設(shè)計是為了讓模型更多地關(guān)注在訓(xùn)練樣本中表現(xiàn)較少的類。在實踐中，這是使用Keras庫的工具完成的。權(quán)重是標(biāo)量系數(shù)，以權(quán)重的損失貢獻(xiàn)的不同模型輸出。該模型所最小化的損失值將是所有個別損失的加權(quán)和。但是，在我們的例子中，使用類權(quán)重并沒有產(chǎn)生預(yù)期的積極效果。

少數(shù)類過采樣是通過增廣將訓(xùn)練樣本擴(kuò)展為多個訓(xùn)練樣本來實現(xiàn)的[38,39]。這種方法的使用使我們能夠以可接受的結(jié)果訓(xùn)練分類器。但是，使用focal loss函數(shù)可以得到最好的結(jié)果，所以本文中給出的所有數(shù)據(jù)都與使用focal loss函數(shù)[40]的分類器有關(guān)。

focal loss將一個調(diào)制項應(yīng)用于交叉熵?fù)p失，以便將訓(xùn)練重點(diǎn)放在困難的負(fù)面例子上。它降低了分類良好的示例的權(quán)重，并將更多訓(xùn)練重點(diǎn)放在難以分類的數(shù)據(jù)上。在數(shù)據(jù)不平衡的實際環(huán)境中，大多數(shù)類會很快得到很好的分類，因為我們有更多的數(shù)據(jù)。因此，為了保證我們對少數(shù)類也能達(dá)到較高的準(zhǔn)確性，我們可以使用focal loss在訓(xùn)練過程中給予少數(shù)類例子更多的相對權(quán)重。

?

研究中的鋼樣品表面具有不同的紋理和陰影，照片是在不同的光照條件下獲得的。因此，訓(xùn)練樣本的特征不僅是缺陷的顯著多樣性，還包括未損壞的表面及其照明度。為了形成模型的最佳泛化特性，對輸入圖像進(jìn)行了增強(qiáng)。為此，為模型訓(xùn)練提供數(shù)據(jù)的數(shù)據(jù)生成器將圖像相對于水平軸和垂直軸翻轉(zhuǎn)，并以一定的概率以90°的倍數(shù)旋轉(zhuǎn)圖像。通過圖像修改來增加訓(xùn)練樣本的技術(shù)被各個應(yīng)用領(lǐng)域的研究人員廣泛使用[38,39]。為了在驗證過程中實現(xiàn)更好的泛化，使用了一個驗證圖像生成器，它使用隨機(jī)增強(qiáng)。鑒于在每個樣本的增強(qiáng)過程中隨機(jī)選擇變換，我們可以聲明，對于每個學(xué)習(xí)階段，圖像的驗證子集將永遠(yuǎn)不會重復(fù)。OpenCV庫用于擴(kuò)充。

雖然本研究只選擇了三類表面缺陷，但通過替換最后一層完全連接的神經(jīng)元，神經(jīng)網(wǎng)絡(luò)分類器很容易擴(kuò)展。

4.方法

?

為了解決表面缺陷分類問題，選擇了殘差神經(jīng)網(wǎng)絡(luò)[41]。ResNet是功能最強(qiáng)大的深層神經(jīng)網(wǎng)絡(luò)之一，已經(jīng)顯示出了優(yōu)異的性能。殘差網(wǎng)絡(luò)成為2015年ImageNet大規(guī)模視覺識別挑戰(zhàn)賽（ILSVRC）圖像分類、檢測和定位比賽的冠軍，以及2015年Microsoft COCO：上下文中的常見對象檢測和分割比賽的冠軍。ILSVRC是一項年度計算機(jī)視覺競賽，它是基于一個名為ImageNet的公開計算機(jī)視覺數(shù)據(jù)集的子集開發(fā)的。

ResNet架構(gòu)允許通過訓(xùn)練剩余表示函數(shù)而不是訓(xùn)練信號表示函數(shù)來構(gòu)建一個高達(dá)1202層的非常深的網(wǎng)絡(luò)[41,42]。ResNet引入了跳過連接（或快捷連接），將輸入從上一層鏈接到下一層，而無需對輸入進(jìn)行任何修改。我們沒有將堆疊的層鏈接到所需的底層映射，而是顯式地讓這些層匹配剩余映射。跳過連接可以擁有更深的網(wǎng)絡(luò)并獲得更好的性能。

?

作為解決表面缺陷分類問題的一部分，我們研究了殘余神經(jīng)網(wǎng)絡(luò)ResNet34、ResNet50、ResNet152和SeResNet50。剩余神經(jīng)網(wǎng)絡(luò)ResNet50由微軟研究司令部于2015年提出。ResNet50在圖像識別任務(wù)中表現(xiàn)出良好的泛化性能和較低的錯誤率，因此是一種有用的分類工具。讓我們考慮在基本模型RESNET50的示例中檢測表面缺陷的分類器的結(jié)構(gòu)。該分類器有50個堆疊層和2300多萬個可訓(xùn)練參數(shù)。Xu等人[38]認(rèn)為，堆疊層不應(yīng)降低網(wǎng)絡(luò)性能，因為我們可以簡單地在當(dāng)前網(wǎng)絡(luò)上堆疊快捷連接（不做任何事情的層），由此產(chǎn)生的架構(gòu)也會執(zhí)行相同的功能。

?

ResNet50的架構(gòu)如圖2所示。模型分為四個階段，每個階段都有一個殘余塊體。每個殘差塊有三層，分別作1 × 1和3 × 3卷積。

?

圖2 ?ResNet50分類器體系結(jié)構(gòu)。

?

為了減少梯度在深層消失的問題，ResNet網(wǎng)絡(luò)使用了快捷連接?？旖葸B接將輸入直接傳輸?shù)绞Ｓ鄩K的末端。ResNet50模型分別使用7 × 7和3 × 3 kernel size進(jìn)行初始卷積和max-pooling, stride均為2。然后網(wǎng)絡(luò)的階段1開始，階段1有三個剩余塊，每個塊包含三層。在第1階段塊的所有三層中進(jìn)行卷積運(yùn)算的kernel大小分別為64、64、256。當(dāng)我們從一個階段過渡到另一個階段時，通道寬度增加了一倍，輸入的大小減少了一半。曲線指的是快捷連接。虛線表示用stride 2對殘塊進(jìn)行卷積運(yùn)算。因此，輸入的大小將減少到一半，但通道寬度將增加一倍。

如圖2所示，ResNet50在其block中采用了瓶頸設(shè)計。每個區(qū)塊都有三層疊在一起。這三層分別是1 × 1,3 × 3和1 × 1卷積。1 × 1卷積層首先被縮減，然后它們恢復(fù)維度。3 × 3層作為輸入/輸出尺寸更小的瓶頸。

最后，該網(wǎng)絡(luò)有一個平均池化層，接著是一個全連接層，該層包含三個神經(jīng)元(根據(jù)所研究的三類缺陷)。每個神經(jīng)元在輸出處都可以有一個在[0…1]范圍內(nèi)的值，可以認(rèn)為是輸入圖像中存在某一類損傷時模型的置信度。

該分類器是使用Python 3.6編程語言和Keras和TensorFlow庫設(shè)計的。

5.培訓(xùn)

?

為了訓(xùn)練分類器，我們使用了遷移學(xué)習(xí)技術(shù)。作為基礎(chǔ)，我們從ImageNet數(shù)據(jù)庫中獲取了140萬張1000個類別的標(biāo)簽圖像，并對其進(jìn)行了培訓(xùn)。

?

所有圖像分為測試組（20%）和訓(xùn)練組（其余80%）。在訓(xùn)練模型時，20%的訓(xùn)練樣本用于驗證。所有類別的損害按其在總金額中所占的比例列示在每組中。

?

研究了兩類分類器：多標(biāo)簽分類器和多類分類器。多標(biāo)簽分類器假設(shè)多個類別的損壞可能出現(xiàn)在一張圖像中，而多類別分類器則假設(shè)每個圖像只代表一個類別的損壞。由于在我們的例子中，只有0.3%的圖像包含多個類別的損壞，我們可以假設(shè)它們對錯誤的總貢獻(xiàn)（如果只有一個類別的損壞）將是微不足道的。之前的研究表明，多標(biāo)簽分類器具有更好的準(zhǔn)確性。因此，只研究了多標(biāo)簽分類器。在結(jié)構(gòu)上，多標(biāo)簽分類器模型是四個二進(jìn)制分類器的組合。在每個閾值的輸出處使用一個單獨(dú)的閾值，以確定分析圖像中是否存在特定類別的損傷。這使得實現(xiàn)每個類別的最佳識別質(zhì)量成為可能。

?

訓(xùn)練中使用了二元損失函數(shù)和二元焦點(diǎn)損失函數(shù)。在每個歷元結(jié)束時，保留以下指標(biāo)的值：假陽性、假陰性、真陽性、真陰性、準(zhǔn)確性、精密度、召回率和受試者工作特征曲線下面積（AUC）。我們已經(jīng)確定，使用焦損函數(shù)可以獲得最好的結(jié)果，這已經(jīng)證明了它們對不平衡數(shù)據(jù)的適用性[37]。

?

在之前的研究中發(fā)現(xiàn)，使用隨機(jī)梯度下降（SGD）優(yōu)化器和焦損函數(shù)可以獲得最佳結(jié)果。Adam和RMSprop優(yōu)化器的使用導(dǎo)致了更糟糕的結(jié)果。在訓(xùn)練分類器時，訓(xùn)練速率、批量大小和每個歷元的步數(shù)等超參數(shù)是不同的。

?

學(xué)習(xí)率最初設(shè)置為0.001或0.0005。每10個時期后，如果損失函數(shù)沒有改善，則減少25%。訓(xùn)練期間，批量大小設(shè)置在8-20張圖像范圍內(nèi)。在每個時代結(jié)束時，模型被保存。在過去10個時期內(nèi)，進(jìn)行訓(xùn)練，直到喪失功能有所改善。作為培訓(xùn)的結(jié)果，選擇了驗證損失函數(shù)值最低的模型。培訓(xùn)是在一臺配備英特爾Core i7-2600 CPU、32 GiB RAM和兩個NVIDIA GeForce GTX 1060 GPU、6 GiB視頻內(nèi)存的工作站上進(jìn)行的。

?

為了選擇最優(yōu)分類器模型，研究了29種基于殘差神經(jīng)網(wǎng)絡(luò)的分類器模型。表2給出了其中四個的超參數(shù)。

?表2??分類器模型的超參數(shù)。

圖3給出了表2中分類器訓(xùn)練期間二元焦損函數(shù)的變化圖。從驗證損失函數(shù)可以看出，該模型在20-40個訓(xùn)練階段達(dá)到了數(shù)據(jù)泛化的最高水平，之后逐漸出現(xiàn)過度擬合。與此同時，培訓(xùn)損失繼續(xù)減少。

圖3。來自表2的分類器模型的訓(xùn)練曲線：（a）模型1，（b）模型2，（c）模型3和（d）模型4。

基于ResNet50的模型顯示出最好的結(jié)果，該模型使用SGD優(yōu)化器訓(xùn)練，學(xué)習(xí)速率為0.9，批處理大小為20，每epoch的步數(shù)為3000。將學(xué)習(xí)率降低到0.0005會稍微增加訓(xùn)練的持續(xù)時間，但并沒有改善結(jié)果。因此，選取0.001為最優(yōu)值。批量大小在8-20范圍內(nèi)沒有顯著影響結(jié)果。

6.分類器結(jié)果的評估和討論

為了評估分類器的質(zhì)量，我們計算了每個分類器的召回指標(biāo)、精度、F1分?jǐn)?shù)和二進(jìn)制精度。

召回指標(biāo)顯示了某一類別的損壞的哪些部分被正確識別，精度指標(biāo)表明被識別為屬于特定類別的損傷的哪一部分實際上屬于該類別。

F1分?jǐn)?shù)是一個綜合指標(biāo)，可以解釋為精確度和召回率的加權(quán)平均值，其中F1分?jǐn)?shù)在1時達(dá)到最佳值，在0時達(dá)到最差值。準(zhǔn)確度和回憶度對F1成績的相對貢獻(xiàn)是相等的。

二進(jìn)制精度度量顯示圖像中所有類別的總體檢測精度。

在訓(xùn)練期間，在分類器輸出處獲得的基本真值的形式為，其中是類的數(shù)量（在我們的例子中是），是輸出向量元素，如果輸入圖像中存在帶索引的類，則等于1，如果不存在，則等于0。

輸出預(yù)測向量為[0,1]。如果該向量的元素是（某個極限值），則圖像中存在一個具有索引的類，反之亦然。讓我們表示一個描述以下條件的逐步函數(shù)：

我們還表示兩個參數(shù)的相等函數(shù)，如果它們相同，則返回1，否則返回0：

那么，單個預(yù)測的二進(jìn)制精度等于：

按大小批量預(yù)測輸入圖像的二進(jìn)制精度：

6.1. 召回度量

發(fā)現(xiàn)2級損壞是最容易識別的（對于不同型號，召回范圍為0.7102至0.7403）。這些損傷數(shù)量最多，面積較大，使模型具有良好的泛化性質(zhì)。3級損傷也能很好地檢測到。與周圍背景相比，它也有很大的面積和明顯的形態(tài)異質(zhì)性。對于此類車型的不同車型，召回指標(biāo)的范圍為0.6169至0.6981。分類器在識別類別1中最精細(xì)的損傷方面表現(xiàn)最差，而這在訓(xùn)練樣本中表現(xiàn)最差。對于這一類，召回率在0.2953到0.3509之間。所有模型都能最好地檢測未損壞的表面；對他們來說，召回率為0.9392–0.9658。在訓(xùn)練樣本中，未損壞的圖像數(shù)量最多（占總數(shù)的79%），這使模型能夠最好地了解其特征。

因此，我們可以得出結(jié)論，進(jìn)一步擴(kuò)展訓(xùn)練樣本，特別是對于1類損傷，將允許訓(xùn)練具有最佳泛化性質(zhì)的模型。

6.2. 精密度

該指標(biāo)適用于3級損傷，其形態(tài)與背景損傷和其他損傷最為不同。該等級的精度在0.8714–0.8906之間。在2級損傷的分類中也有相當(dāng)多的誤報。該等級的精度指標(biāo)為0.8323–0.8561。對于1級損傷，再次獲得最差結(jié)果：精度在0.7131–0.8430之間。未受損表面的假陽性病例數(shù)最少（精度為0.9401–0.9597）。

6.3. F1成績指標(biāo)

F1分?jǐn)?shù)是一個綜合指標(biāo)，總結(jié)了召回率和精確度指標(biāo)的價值。由于它基于前面兩個指標(biāo)的值，因此顯示了類似的結(jié)果：1級損傷的識別最差（其指標(biāo)范圍為0.4398–0.4706）。2級傷害和3級傷害被更好地識別：它們的度量分別達(dá)到0.7940和0.7809。

6.4. 二進(jìn)制精度度量

二進(jìn)制精度計算預(yù)測與二進(jìn)制標(biāo)簽匹配的頻率。不同模型訓(xùn)練期間的二進(jìn)制精度圖如圖4所示。對于測試樣本，二元精度在0.9472到0.9691之間。

圖4 表2分類器模型訓(xùn)練期間的二元精度曲線：（a）模型1，（b）模型2，（c）模型3和（d）模型4。

二值精度度量的值受確定缺陷的精度和確定圖像中是否存在缺陷的精度的影響。由于分類器可以很好地識別缺陷的存在，所有類別的度量值都很高（0.9321–0.9884）。

對分類結(jié)果的分析表明，大多數(shù)誤報與圖像中類似真實損傷的偽影有關(guān)。圖5顯示了沒有缺陷但被錯誤識別為缺陷的圖像。因此，在圖5中，可以看到小瑕疵（1級損傷由小斑點(diǎn)表示，但實際上是表面上的一個缺口）。圖像中的2類缺陷（劃痕和擦傷）具有不同的外觀，其中一個缺陷由暗直線表示。圖5b說明了模型在這種表面形成上的錯誤操作。3級損傷以大面積和顯著的形態(tài)多樣性為特征。在圖5c中，我們可以看到類似的工件。根據(jù)獲得的結(jié)果，可以假設(shè)進(jìn)一步擴(kuò)展訓(xùn)練樣本將允許訓(xùn)練具有更好特征的模型，因為這將為模型提供每個類別缺陷的更多特征。

圖5。1級（a）、2級（b）和3級（c）損傷的誤報。

6.5. 選擇最佳模型

由于模型的每個輸出神經(jīng)元產(chǎn)生的結(jié)果不依賴于其他神經(jīng)元的值，因此每類缺陷可能有其自己的最佳閾值，在該閾值下將獲得最佳性能。因此，針對每個類別分析了0到1的閾值（步長為0.05）的分類結(jié)果。圖6顯示了模型1中每個類別的混淆矩陣，該矩陣顯示了閾值為0.2、0.4、0.6和0.8時正確識別和錯誤識別的樣本比例。每個矩陣的左上單元（真負(fù)片）對應(yīng)于正確識別的未損壞表面，這些表面數(shù)量最多。右下角的細(xì)胞（真陽性）對應(yīng)于正確分類的圖像，具有相應(yīng)類別的缺陷。另外兩個細(xì)胞（假陽性和假陰性）對應(yīng)于I型和II型錯誤。我們的目標(biāo)是為每一個類找到一個閾值，該閾值將產(chǎn)生最小數(shù)量的錯誤。這對于接收器工作特性（ROC）曲線很方便。

圖6 模型1中三類缺陷在不同閾值下的混淆矩陣。在每一行中，分別獲得閾值為0.2、0.4、0.6和0.8的矩陣。

ROC曲線顯示了二進(jìn)制分類器在輸出信號的不同閾值下識別輸入信號的能力。曲線顯示了在不同閾值下真陽性率（）與假陽性率（）的依賴關(guān)系。ROC曲線對類別分布不敏感。如果陽性與陰性的比例改變，ROC曲線不會改變。該曲線下的面積（AUC-ROC）是模型質(zhì)量的一個整體指標(biāo)，它總結(jié)了模型區(qū)分特定類別的能力。

圖7顯示了表2中模型1的ROC曲線。不同類別的AUC-ROC面積為0.90–0.98。從圖中可以看出，3級損傷（AUC-ROC面積為0.98）與未受損表面相比具有顯著的形態(tài)差異，是最好的識別。2級損傷也得到了廣泛認(rèn)可（AUC-ROC面積為0.96）。通常與背景融合的1級細(xì)微損傷（最低AUC-ROC面積為0.90）最難檢測。

圖7 具有最佳質(zhì)量指標(biāo)的分類器的接收器操作特征（ROC）曲線（模型1和模型2，表2）。

在分析了模型在不同閾值下的結(jié)果后，我們?yōu)槊總€類別選擇了最佳限值，從而提供了最佳的分類精度。表3顯示了最佳閾值的最成功模型的性能指標(biāo)。

表3。模型1和模型2的性能指標(biāo)。

在探測方面最有問題的是1類物體。不同的模型在檢測不同類型損傷方面表現(xiàn)出不同的能力。因此，模型2比模型1更好地檢測出16%的1類缺陷，但如精度指標(biāo)（0.7143對0.8430）所示，顯示出更多的誤報。因此，模型1的整體精度在這一類中更高。對于2級和3級損傷，不同模型的結(jié)果非常相似，這在訓(xùn)練樣本中表現(xiàn)得更好。根據(jù)廣義指標(biāo)F1得分，模型1是最好的。

7.結(jié)論

建立了多種基于深度殘差神經(jīng)網(wǎng)絡(luò)的分類模型，并對軋制金屬平面圖像的定性指標(biāo)進(jìn)行了研究。結(jié)果表明，所提出的模型可以用于高精度的表面缺陷檢測。面積足夠大（2級和3級）的缺陷最好識別。1級細(xì)損傷最難識別，它與通常在完整樣本上發(fā)現(xiàn)的表面結(jié)構(gòu)最為相似。同時，似乎可以顯著改善1級損傷的結(jié)果。這需要在本課程中擴(kuò)展損傷照片的訓(xùn)練樣本。

通過對不同類型的ResNet模型的分析，我們發(fā)現(xiàn)模型的最佳深度為50層。較簡單的模型（34層）表現(xiàn)出較差的泛化特性，而較深的模型在訓(xùn)練中表現(xiàn)出更好的結(jié)果。然而，測試數(shù)據(jù)的結(jié)果更差，表明擬合過度（或復(fù)雜模型的訓(xùn)練樣本不足）。

基于ResNet50的多標(biāo)簽分類器的最佳模型顯示，對于所有類型的損傷，分類的平均準(zhǔn)確度為0.9691。利用二元焦損函數(shù)和SGD優(yōu)化器對模型進(jìn)行訓(xùn)練。