TLU-Net：表面缺陷自動(dòng)檢測(cè)的深度學(xué)習(xí)方法
點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
鋼表面缺陷的目視檢測(cè)是鋼板制造過(guò)程中必不可少的環(huán)節(jié)。近年來(lái)研究了幾種基于機(jī)器學(xué)習(xí)的自動(dòng)視覺(jué)檢測(cè)(AVI)方法。然而，由于訓(xùn)練時(shí)間和AVI方法的不準(zhǔn)確性，大多數(shù)鋼鐵制造行業(yè)仍然使用人工目視檢查。自動(dòng)鋼缺陷檢測(cè)方法在成本更低和更快的質(zhì)量控制和反饋方面是有用的。但是，為分割和分類(lèi)準(zhǔn)備帶注釋的訓(xùn)練數(shù)據(jù)可能是一個(gè)昂貴的過(guò)程。在這項(xiàng)工作中，我們建議使用基于遷移學(xué)習(xí)的U-Net (tu - net)框架來(lái)檢測(cè)鋼表面缺陷。我們以U-Net架構(gòu)為基礎(chǔ)，探討了兩種編碼器:ResNet和DenseNet。我們使用隨機(jī)初始化和使用ImageNet數(shù)據(jù)集訓(xùn)練的預(yù)訓(xùn)練網(wǎng)絡(luò)的性能進(jìn)行了比較。實(shí)驗(yàn)使用Severstal數(shù)據(jù)進(jìn)行。結(jié)果表明，遷移學(xué)習(xí)的缺陷分類(lèi)性能比隨機(jī)初始化的缺陷分類(lèi)性能好5%(絕對(duì))。我們發(fā)現(xiàn)遷移學(xué)習(xí)在缺陷分割中的表現(xiàn)比隨機(jī)初始化好26%(相對(duì))。遷移學(xué)習(xí)的增益隨著訓(xùn)練數(shù)據(jù)的減少而增加，且遷移學(xué)習(xí)的收斂速度優(yōu)于隨機(jī)初始化。
在本研究中，我們系統(tǒng)地研究了遷移學(xué)習(xí)在鋼材缺陷分類(lèi)與定位(SDCL)中的有效性。遷移學(xué)習(xí)或領(lǐng)域適應(yīng)的目的是重用在一個(gè)領(lǐng)域?qū)W習(xí)到的特征，以提高在另一個(gè)領(lǐng)域的學(xué)習(xí)。在帶注釋的數(shù)據(jù)有限的情況下，這是一種流行的方法。遷移學(xué)習(xí)在各種任務(wù)中都有很好的應(yīng)用，如對(duì)象檢測(cè)、語(yǔ)義分割等。已經(jīng)表明，從一個(gè)任意領(lǐng)域到另一個(gè)領(lǐng)域的遷移學(xué)習(xí)可能是沒(méi)有用的。當(dāng)兩個(gè)領(lǐng)域相似時(shí)，遷移學(xué)習(xí)最有效。因此，研究遷移學(xué)習(xí)在SDCL案例中的有效性就顯得尤為重要。我們考慮了一個(gè)用于鋼缺陷分割的u網(wǎng)基線架構(gòu)。U-Net已經(jīng)展示了在各種圖像分割任務(wù)的藝術(shù)表現(xiàn)狀態(tài)。它使用了帶有跳過(guò)連接的編碼器-解碼器架構(gòu)。編碼器學(xué)習(xí)不同尺度的圖像特征，解碼器使用這些特征預(yù)測(cè)分割掩碼。
在這項(xiàng)工作中，我們探索了兩種預(yù)先訓(xùn)練的編碼器網(wǎng)絡(luò)ResNet和DenseNet網(wǎng)絡(luò)。這兩種網(wǎng)絡(luò)在不同的計(jì)算機(jī)視覺(jué)任務(wù)中都表現(xiàn)得很好。網(wǎng)絡(luò)是在ImageNet數(shù)據(jù)集上預(yù)先訓(xùn)練的。我們使用一個(gè)線性分類(lèi)器使用瓶頸表示的U-Net分類(lèi)缺陷。我們使用Severstal數(shù)據(jù)集對(duì)網(wǎng)絡(luò)的編碼器和解碼器進(jìn)行微調(diào)。在Severstal數(shù)據(jù)上的實(shí)驗(yàn)表明，與隨機(jī)初始化相比，預(yù)先訓(xùn)練網(wǎng)絡(luò)的分割和分類(lèi)性能都更好。研究發(fā)現(xiàn)，如果使用50%的數(shù)據(jù)進(jìn)行訓(xùn)練，使用預(yù)訓(xùn)練網(wǎng)絡(luò)的性能提高甚至更高。我們還證明了遷移學(xué)習(xí)的收斂速度比隨機(jī)初始化快。
提出的用于節(jié)點(diǎn)鋼缺陷分類(lèi)和分割的結(jié)構(gòu)遷移學(xué)習(xí)方法。藍(lán)色的線表示跳躍連接，橙色虛線表示初始化。
編碼器層的結(jié)構(gòu)為Resnet(左)和Densenet(右)。輸入的連接由(c)表示，+表示添加操作。BN+ReLU+Conv2D表示批處理歸一化、ReLU激活和核尺寸為3x3的卷積。
圖分割掩模預(yù)測(cè)。(a行)輸入圖像(b行)ground truth masks (c行)ResNet(Random)預(yù)測(cè)的掩碼(d行)ResNet(ImageNet)預(yù)測(cè)的掩碼。預(yù)測(cè)的相應(yīng)骰子顯示在圖像的標(biāo)題中。
在本研究中，我們建議使用遷移學(xué)習(xí)框架來(lái)進(jìn)行鋼材缺陷的分類(lèi)和分割。我們使用U-Net架構(gòu)作為基礎(chǔ)架構(gòu)，并探討兩種編碼器:ResNet和Dense Net。我們比較了使用隨機(jī)初始化的網(wǎng)絡(luò)和使用ImageNet數(shù)據(jù)集訓(xùn)練的預(yù)訓(xùn)練網(wǎng)絡(luò)的性能。我們發(fā)現(xiàn)，遷移學(xué)習(xí)的性能在缺陷分割和分類(lèi)方面都優(yōu)于ImageNet。我們還發(fā)現(xiàn)，隨著培訓(xùn)數(shù)據(jù)的減少，績(jī)效差距增加。我們還發(fā)現(xiàn)，遷移學(xué)習(xí)的收斂速度比隨機(jī)初始化的收斂速度要快。我們發(fā)現(xiàn)，在罕見(jiàn)缺陷類(lèi)型和復(fù)雜形狀缺陷中，遷移學(xué)習(xí)性能較差。作為未來(lái)工作的一部分，我們將致力于遷移學(xué)習(xí)，使用合成數(shù)據(jù)處理更復(fù)雜的形狀，以及使用生成模型進(jìn)行罕見(jiàn)的缺陷類(lèi)型泛化。我們希望探索半監(jiān)督/弱監(jiān)督學(xué)習(xí)方法來(lái)減少標(biāo)注訓(xùn)練數(shù)據(jù)的需求。
論文鏈接：https://arxiv.org/pdf/2101.06915.pdf
每日?qǐng)?jiān)持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周?chē)耐瑢W(xué)。
- END?-
交流群
歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱(chēng)+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~