一種基于圖像分割實(shí)現(xiàn)焊件缺陷檢測(cè)的方法 | 附源碼
點(diǎn)擊上方“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
圖像分割是指將圖像劃分為包含相似屬性的不同像素區(qū)域。為了對(duì)圖像分析和解釋，劃分的區(qū)域應(yīng)與對(duì)象特征密切相關(guān)。圖像分析的成功取決于分割的可靠性，但是圖像的正確分割通常是一個(gè)非常具有挑戰(zhàn)性的問(wèn)題。
圖像中心距是圖像像素強(qiáng)度的某個(gè)特定加權(quán)平均值。圖像矩可用于描述分割后的對(duì)象。通過(guò)圖像瞬間發(fā)現(xiàn)的圖像簡(jiǎn)單屬性包括：
面積（或總強(qiáng)度）
質(zhì)心
有關(guān)其方向的信息
該數(shù)據(jù)集包含兩個(gè)目錄。原始圖像存儲(chǔ)在“圖像”目錄中，分割后的圖像存儲(chǔ)在“標(biāo)簽”目錄中。讓我們來(lái)看看這些數(shù)據(jù)：原始圖像是RGB圖像，用于訓(xùn)練模型和測(cè)試模型。這些圖片的尺寸各不相同。直觀地，較暗的部分是焊接缺陷。模型需要對(duì)這些圖像執(zhí)行圖像分割。
“標(biāo)簽”目錄的圖像是二進(jìn)制圖像或地面真相標(biāo)簽。這是我們的模型必須針對(duì)給定的原始圖像進(jìn)行預(yù)測(cè)。在二進(jìn)制圖像中，像素具有“高”值或“低”值。白色區(qū)域或“高”值表示缺陷區(qū)域，而黑色區(qū)域或“低”值表示無(wú)缺陷。
我們將使用U-Net來(lái)解決這個(gè)問(wèn)題，通過(guò)以下三個(gè)主要步驟來(lái)檢測(cè)缺陷及其嚴(yán)重性：
圖像分割
使用顏色顯示嚴(yán)重性
使用圖像矩測(cè)量嚴(yán)重性
訓(xùn)練模型
使用的U-Net架構(gòu)
注意事項(xiàng)：
每個(gè)藍(lán)色框?qū)?yīng)一個(gè)多通道特征圖
通道數(shù)顯示在框的頂部。
（x，y）尺寸位于框的左下邊緣。
箭頭表示不同的操作。
圖層名稱位于圖層下方。
C1，C2，...。C7是卷積運(yùn)算后的輸出層
P1，P2，P3是最大池化操作的輸出層
U1，U2，U3是上采樣操作的輸出層
A1，A2，A3是跳過(guò)連接。
左側(cè)是收縮路徑，其中應(yīng)用了常規(guī)卷積和最大池化操作
圖像尺寸逐漸減小，而深度逐漸增大。
右側(cè)是擴(kuò)展路徑，在其中應(yīng)用了（向上采樣）轉(zhuǎn)置卷積和常規(guī)卷積運(yùn)算
在擴(kuò)展路徑中，圖像尺寸逐漸增大，深度逐漸減小
為了獲得更好的精確位置，在擴(kuò)展的每個(gè)步驟中，我們都使用跳過(guò)連接，方法是將轉(zhuǎn)置卷積層的輸出與來(lái)自編碼器的特征圖在同一級(jí)別上連接：
A1 = U1 + C3
A2 = U2 + C2
A3 = U3 + C1
每次串聯(lián)后，我們?cè)俅螒?yīng)用規(guī)則卷積，以便模型可以學(xué)習(xí)組裝更精確的輸出。
import numpy as npimport cv2import osimport randomimport tensorflow as tfh,w = 512,512def create_model():inputs = tf.keras.layers.Input(shape=(h,w,3))conv1 = tf.keras.layers.Conv2D(16,(3,3),activation='relu',padding='same')(inputs)pool1 = tf.keras.layers.MaxPool2D()(conv1)conv2 = tf.keras.layers.Conv2D(32,(3,3),activation='relu',padding='same')(pool1)pool2 = tf.keras.layers.MaxPool2D()(conv2)conv3 = tf.keras.layers.Conv2D(64,(3,3),activation='relu',padding='same')(pool2)pool3 = tf.keras.layers.MaxPool2D()(conv3)conv4 = tf.keras.layers.Conv2D(64,(3,3),activation='relu',padding='same')(pool3)upsm5 = tf.keras.layers.UpSampling2D()(conv4)upad5 = tf.keras.layers.Add()([conv3,upsm5])conv5 = tf.keras.layers.Conv2D(32,(3,3),activation='relu',padding='same')(upad5)upsm6 = tf.keras.layers.UpSampling2D()(conv5)upad6 = tf.keras.layers.Add()([conv2,upsm6])conv6 = tf.keras.layers.Conv2D(16,(3,3),activation='relu',padding='same')(upad6)upsm7 = tf.keras.layers.UpSampling2D()(conv6)upad7 = tf.keras.layers.Add()([conv1,upsm7])conv7 = tf.keras.layers.Conv2D(1,(3,3),activation='relu',padding='same')(upad7)model = tf.keras.models.Model(inputs=inputs, outputs=conv7)return modelimages = []labels = []files = os.listdir('./dataset/images/')random.shuffle(files)for f in files:img = cv2.imread('./dataset/images/' + f)parts = f.split('_')label_name = './dataset/labels/' + 'W0002_' + parts[1]label = cv2.imread(label_name,2)img = cv2.resize(img,(w,h))label = cv2.resize(label,(w,h))images.append(img)labels.append(label)images = np.array(images)labels = np.array(labels)labels = np.reshape(labels,(labels.shape[0],labels.shape[1],labels.shape[2],1))print(images.shape)print(labels.shape)images = images/255labels = labels/255model = tf.keras.models.load_model('my_model')#model = create_model() # uncomment this to create a new modelprint(model.summary())model.compile(optimizer='adam', loss='binary_crossentropy',metrics=['accuracy'])model.fit(images,labels,epochs=100,batch_size=10)model.evaluate(images,labels)model.save('my_model')
測(cè)試模型
import numpy as npimport cv2from google.colab.patches import cv2_imshowimport osimport randomimport?tensorflow?as?tfh,w = 512,512num_cases = 10images = []labels = []files = os.listdir('./dataset/images/')random.shuffle(files)model = tf.keras.models.load_model('my_model')lowSevere = 1midSevere = 2highSevere = 4for f in files[0:num_cases]:test_img = cv2.imread('./dataset/images/' + f)resized_img = cv2.resize(test_img,(w,h))resized_img = resized_img/255cropped_img = np.reshape(resized_img,(1,resized_img.shape[0],resized_img.shape[1],resized_img.shape[2]))test_out = model.predict(cropped_img)test_out = test_out[0,:,:,0]*1000test_out = np.clip(test_out,0,255)resized_test_out = cv2.resize(test_out,(test_img.shape[1],test_img.shape[0]))resized_test_out = resized_test_out.astype(np.uint16)test_img = test_img.astype(np.uint16)grey = cv2.cvtColor(test_img, cv2.COLOR_BGR2GRAY)for i in range(test_img.shape[0]):for j in range(test_img.shape[1]):if(grey[i,j]>150 & resized_test_out[i,j]>40):test_img[i,j,1]=test_img[i,j,1] + resized_test_out[i,j]resized_test_out[i,j] = lowSevereelif(grey[i,j]<100 & resized_test_out[i,j]>40):test_img[i,j,2]=test_img[i,j,2] + resized_test_out[i,j]resized_test_out[i,j] = highSevereelif(resized_test_out[i,j]>40):test_img[i,j,0]=test_img[i,j,0] + resized_test_out[i,j]resized_test_out[i,j] = midSevereelse:resized_test_out[i,j] = 0M = cv2.moments(resized_test_out)maxMomentArea = resized_test_out.shape[1]*resized_test_out.shape[0]*highSevereprint("0th Moment = " , (M["m00"]*100/maxMomentArea), "%")????test_img?=?np.clip(test_img,0,255)test_img = test_img.astype(np.uint8)????cv2_imshow(test_img)cv2.waitKey(0)
我們使用顏色來(lái)表示缺陷的嚴(yán)重程度：
綠色表示存在嚴(yán)重缺陷的區(qū)域。
藍(lán)色表示缺陷更嚴(yán)重的區(qū)域。
紅色區(qū)域顯示出最嚴(yán)重的缺陷。
以下是三個(gè)隨機(jī)樣本，它們顯示了原始輸入，地面真實(shí)情況以及由我們的模型生成的輸出。
范例1：
原始圖像
二進(jìn)制圖像（地面真相）
范例2：
原始圖像
二進(jìn)制圖像（地面真相）
范例3：
原始圖像
二進(jìn)制圖像（地面真相）
具有嚴(yán)重性的預(yù)測(cè)輸出
參考文獻(xiàn)：
https://www.cs.auckland.ac.nz/courses/compsci773s1c/lectures/ImageProcessing-html/topic3.htm#adaptive
https://medium.com/r/?url=https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FImage_moment
https://medium.com/r/?url=https%3A%2F%2Ftowardsdatascience.com%2Funderstanding-semantic-segmentation-with-unet-6be4f42d4b47
https://www.sciencedirect.com/topics/materials-science/welding-defect
代碼鏈接：https://github.com/malakar-soham/cnn-in-welding
下載1：何愷明頂會(huì)分享
在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析
下載2：leetcode?開(kāi)源書(shū)
在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：leetcode，即可下載。每題都 runtime beats 100% 的開(kāi)源好書(shū)，你值得擁有！
下載3 CVPR2020 在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR2020，即可下載1467篇CVPR?2020論文 個(gè)人微信（如果沒(méi)有備注不拉群！） 請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
覺(jué)得不錯(cuò)就點(diǎn)亮在看吧
