BT-Unet:醫(yī)學(xué)圖像分割的自監(jiān)督學(xué)習(xí)框架

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

BT-Unet

BT-Unet架構(gòu)圖：a、預(yù)訓(xùn)練U-Net編碼器網(wǎng)絡(luò)，b、用預(yù)訓(xùn)練的編碼器權(quán)值初始化的微調(diào)U-Net模型

BT-Unet框架分為兩個(gè)階段:1)預(yù)訓(xùn)練階段和2)微調(diào)階段。

預(yù)訓(xùn)練

預(yù)訓(xùn)練的目的是使用無注釋的數(shù)據(jù)樣本，學(xué)習(xí)復(fù)雜的特征表示。U-Net模型的編碼器使用Barlow Twins (BT)策略進(jìn)行預(yù)先訓(xùn)練，然后進(jìn)行微調(diào)以執(zhí)行實(shí)際的分割:

BT-Unet框架可應(yīng)用于各種先進(jìn)的U-Net模型:經(jīng)典U-Net、注意力U-Net (A-Unet)、inception U-Net (I-Unet)和residual cross-spatial attention guided inception  U-Net (RCA-IUnet)。

微調(diào)

U-Net 模型中編碼器網(wǎng)絡(luò)的權(quán)重使用預(yù)訓(xùn)練權(quán)重（來自第一階段）進(jìn)行初始化，而網(wǎng)絡(luò)的其余部分使用默認(rèn)權(quán)重進(jìn)行初始化。

使用有限的注釋樣本對 U-Net 模型進(jìn)行微調(diào)，用于生物醫(yī)學(xué)圖像分割。

U-Net 模型使用分段損失函數(shù)進(jìn)行微調(diào)，L 定義為二元交叉熵?fù)p失、LBC 和dice coefficient損失的平均值，LDC：

其中，y為像素的真值標(biāo)簽，p(y)為像素的預(yù)測標(biāo)簽，N為像素的總數(shù)量。

結(jié)果表現(xiàn)

論文使用下面的數(shù)據(jù)集進(jìn)行評測對比：

基于相同樣本數(shù)量的小訓(xùn)練集的性能分析

• KDSB18：BTU-Net 模型的性能優(yōu)于沒有使用 BT方法 的模型。

• BUSIS：U-Net 和 A-Unet 模型無法學(xué)習(xí)和提取有關(guān)腫瘤區(qū)域的特征圖（精度、DC 和 mIoU 為 0），但是通過預(yù)訓(xùn)練，這些模型取得了顯著的改進(jìn)。在 I-Unet 和 RCAIUnet 模型的情況下，通過預(yù)訓(xùn)練可以得到相當(dāng)大的改進(jìn)。

• ISIC18：I-Unet 和 RCAIUnet 模型是影響最大的網(wǎng)絡(luò)，精度分別提高了 5.1% 和 2.2%。然而，在使用 BT 預(yù)訓(xùn)練時(shí)，經(jīng)典的U-Net 和 A-Unet 的性能略有下降。

• BraTS18：I-Unet 和 RCA-IUnet 模型在使用 BT-Unet 框架時(shí)在分割性能上取得了顯著提升，而普通 U-Net 和 A-Unet 模型則沒有觀察到相同的行為。

在不同規(guī)模小型訓(xùn)練集的性能研究

對于所有訓(xùn)練數(shù)據(jù)比例小于50%的數(shù)據(jù)集，在模型之間觀察到類似的性能變化。

定性結(jié)果

帶有BT的RCA-IUNet具有很好的分割效果。

論文地址：

[2022 JML] [BT-Unet]  BT-Unet: A self-supervised learning framework for biomedical image segmentation using barlow twins with U-net models

https://link.springer.com/article/10.1007/s10994-022-06219-3

作者：Sik-Ho Tsang

     
     

      下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程
      
      

     
     
     
     

      在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。
     
     
     
     

      
      

     
     
     
     

      下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目52講
     
     
     
     

      在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺。
     
     
     
     

      
      

     
     
     
     

      下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講
     
     
     
     

      在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。
     
     
     
     

      
      

     
     
交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會(huì)逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會(huì)請出群，謝謝理解~