1. <strong id="7actg"></strong>
    2. <table id="7actg"></table>

    3. <address id="7actg"></address>
      <address id="7actg"></address>
      1. <object id="7actg"><tt id="7actg"></tt></object>

        總結(jié) | 基于深度學(xué)習(xí)的醫(yī)學(xué)圖像半監(jiān)督分割

        共 3376字,需瀏覽 7分鐘

         ·

        2022-07-22 10:31

        點(diǎn)擊上方小白學(xué)視覺(jué)”,選擇加"星標(biāo)"或“置頂

        重磅干貨,第一時(shí)間送達(dá)

        來(lái)自 | 知乎  作者 | luoxd

        鏈接 | https://zhuanlan.zhihu.com/p/257109614

        本文僅作學(xué)術(shù)分享,如有侵權(quán),請(qǐng)聯(lián)系后臺(tái)刪除


        準(zhǔn)確、魯棒地從醫(yī)學(xué)圖像中分割出器官或病變?cè)谠S多臨床應(yīng)用中起著至關(guān)重要的作用,如診斷和治療計(jì)劃。隨著標(biāo)注數(shù)據(jù)的大量增加,深度學(xué)習(xí)在圖像分割方面獲得了巨大地成功。然而,對(duì)于醫(yī)學(xué)圖像來(lái)說(shuō),標(biāo)注數(shù)據(jù)的獲取通常是昂貴的,因?yàn)樯蓽?zhǔn)確的注釋需要專業(yè)知識(shí)和時(shí)間,特別是在三維圖像中。為了降低標(biāo)記成本,近年來(lái)人們提出了許多方法來(lái)開(kāi)發(fā)一種高性能的醫(yī)學(xué)圖像分割模型,以減少標(biāo)記數(shù)據(jù)。例如,將用戶交互與深度神經(jīng)網(wǎng)絡(luò)相結(jié)合,交互式地進(jìn)行圖像分割,可以減少標(biāo)記的工作量。自監(jiān)督學(xué)習(xí)方法是利用無(wú)標(biāo)簽數(shù)據(jù),以監(jiān)督的方式訓(xùn)練模型,學(xué)習(xí)基礎(chǔ)知識(shí)然后進(jìn)行知識(shí)遷移。半監(jiān)督學(xué)習(xí)框架直接從有限地帶標(biāo)簽數(shù)據(jù)和大量的未帶標(biāo)簽數(shù)據(jù)中學(xué)習(xí),得到高質(zhì)量的分割結(jié)果。弱監(jiān)督學(xué)習(xí)方法從邊框、涂鴉或圖像級(jí)標(biāo)簽中學(xué)習(xí)圖像分割,而不是使用像素級(jí)標(biāo)注,這減少了標(biāo)注的負(fù)擔(dān)。但是,弱監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)在醫(yī)學(xué)圖像分割任務(wù)上性能依舊受限,尤其是在三維醫(yī)學(xué)圖像的分割上。除此之外,少量標(biāo)注數(shù)據(jù)和大量未標(biāo)注數(shù)據(jù)更加符合實(shí)際臨床場(chǎng)景。本文總結(jié)了近些年出現(xiàn)的用于醫(yī)學(xué)影像的半監(jiān)督學(xué)習(xí)方法,這些方法大致可以分為:

        (1)基于數(shù)據(jù)擾動(dòng)或模型擾動(dòng)或數(shù)據(jù)模型同時(shí)擾動(dòng)正則化;
        (2)基于多任務(wù)層面的一致性約束。
        為了方便更多的人研究和使用半監(jiān)督學(xué)習(xí)算法來(lái)充分利用未標(biāo)注數(shù)據(jù),我們開(kāi)始了一個(gè)半監(jiān)督分割學(xué)習(xí)的總結(jié)小項(xiàng)目,包含了最新論文總結(jié)、經(jīng)典算法實(shí)現(xiàn)、和搭建了開(kāi)箱即用的半監(jiān)督醫(yī)學(xué)圖像分割示例,具體內(nèi)容可參見(jiàn)
        https://github.com/HiLab-git/SSL4MIS

        1. TCSM-V1: Semi-supervised Skin Lesion Segmentation via Transformation Consistent Self-ensembling Model. (BMVC2018)
        總結(jié):這篇文章的方法類似于Temporal ensembling for semi-supervised learning(ICLR2017)通過(guò)給輸入數(shù)據(jù)加擾動(dòng)(transformation)來(lái)正則化模型 (一次迭代模型需要前向傳播兩次,輸入分別是未變化的圖像和變化后的圖像,然后變化后圖像得到的結(jié)果進(jìn)行反變換然后構(gòu)建這兩個(gè)預(yù)測(cè)結(jié)果的一致性損失),直接將未標(biāo)注數(shù)據(jù)利用起來(lái),想法很簡(jiǎn)潔但效果很不錯(cuò)。

        2. TCSM-V2: Transformation-Consistent Self-Ensembling Model for Semisupervised Medical Image Segmentation. (TNNLS2020)
        總結(jié):這篇在Mean Teacher (NIPS2017) 的基礎(chǔ)上引入了更多的數(shù)據(jù)擾動(dòng)(flip, rotate, rescale,noise等等)和模型擾動(dòng)(dropout)來(lái)構(gòu)建同一輸入在不同擾動(dòng)下的一致性。然后取得了很不錯(cuò)的效果。
        以上兩篇的文章代碼也已開(kāi)源: 
        https://github.com/xmengli999/TCSM

        3. Uncertainty-aware Self-ensembling Model for Semi-supervised 3D Left Atrium Segmentation (MICCAI2019)
        總結(jié):這篇文章整合了Mean Teacher (NIPS2017) 和不確定性估計(jì)來(lái)進(jìn)行半監(jiān)督學(xué)習(xí),通過(guò)不確定性圖來(lái)指導(dǎo)(加權(quán))Mean Teacher模型從未標(biāo)注的數(shù)據(jù)上逐步學(xué)習(xí)。不確定性圖的計(jì)算采用了經(jīng)典的蒙特卡洛 Dropout多次推理來(lái)獲得,這樣會(huì)帶來(lái)一些額外的計(jì)算開(kāi)銷,但帶來(lái)了性能的提升,可以得到不錯(cuò)的效果,而且現(xiàn)在利用不確定性估計(jì)來(lái)提高網(wǎng)絡(luò)性能也是一個(gè)熱門(mén)的研究方向。
        這篇文章代碼已開(kāi)源: 
        https://github.com/yulequan/UA-MT
        值得一提的是,Dr. Lequan的代碼寫(xiě)得非常簡(jiǎn)潔易學(xué),后續(xù)也有很多在此基礎(chǔ)上改進(jìn)的算法。

        4. 3D Semi-Supervised Learning with Uncertainty-Aware Multi-View Co-Training (WACV2020,MedIA2020)
        總結(jié):這篇文章結(jié)合了前面提到的幾篇的所有特點(diǎn)(沒(méi)有采用Mean Teacher Model),并將多視角的聯(lián)合訓(xùn)練引入到醫(yī)學(xué)圖像的半監(jiān)督和域適應(yīng)的問(wèn)題中,想法很新穎,實(shí)現(xiàn)也不難,而且效果很不錯(cuò),只是隨著視角的不斷增加計(jì)算開(kāi)銷會(huì)越來(lái)越大。

        5. Shape-aware Semi-supervised 3D Semantic Segmentation for Medical Images (MICCAI2020)
        總結(jié): 這篇文章采用了一個(gè)常用的多任務(wù)網(wǎng)絡(luò)結(jié)構(gòu),同時(shí)進(jìn)行圖像分割和帶符號(hào)的距離圖回歸(引入了形狀和位置先驗(yàn)),并用判別器來(lái)作為正則化項(xiàng),與以前常見(jiàn)用判別器做正則化項(xiàng)方法不同的是,本文的判別器輸入時(shí)帶符號(hào)的距離圖和原圖,而不是分割結(jié)果和原圖。這樣設(shè)計(jì)可以使整個(gè)未標(biāo)記數(shù)據(jù)集的預(yù)測(cè)分布平滑,并引入了很強(qiáng)的形狀和位置先驗(yàn)信息,保證分割結(jié)果的穩(wěn)定性和魯棒性。
        這篇論文的代碼也已經(jīng)開(kāi)源:
        https://github.com/kleinzcy/SASSnet

        6. Semi-supervised Medical Image Segmentation through Dual-task Consistency (Arxiv)
        總結(jié): 前面五篇文章主要還是基于數(shù)據(jù)層面和模型層面的擾動(dòng)來(lái)構(gòu)建一致性來(lái)進(jìn)行半監(jiān)督學(xué)習(xí)。本文(DTC)從任務(wù)層面來(lái)構(gòu)建了一致性進(jìn)行半監(jiān)督學(xué)習(xí),與SASSNet一樣本文采用了一個(gè)多任務(wù)網(wǎng)絡(luò)結(jié)構(gòu),同時(shí)進(jìn)行分割和水平集函數(shù)回歸,不同的是SASSNet用判別器來(lái)進(jìn)行正則化(data-level),而本文利用兩個(gè)任務(wù)之間的表示差異來(lái)構(gòu)建一致性(task-level)。與Mean Teacher等模型需要多次前向傳播相比,DTC模型簡(jiǎn)單,計(jì)算開(kāi)銷也不大,除此之外,還有可以構(gòu)建許多跨任務(wù)的一致性進(jìn)行全監(jiān)督,半監(jiān)督或者是跨域(DA)學(xué)習(xí)。
        這篇論文代碼也已經(jīng)開(kāi)源: 
        https://github.com/Luoxd1996/DTC
        以上論文更多細(xì)節(jié)和實(shí)驗(yàn)結(jié)果可以參考這些論文原文,此處只是個(gè)人的近期總結(jié),更多內(nèi)容也歡迎大家補(bǔ)充,也希望大家能設(shè)計(jì)出更好的半監(jiān)督學(xué)習(xí)算法來(lái)降低對(duì)標(biāo)注數(shù)據(jù)的依賴。


        好消息!

        小白學(xué)視覺(jué)知識(shí)星球

        開(kāi)始面向外開(kāi)放啦??????




        下載1:OpenCV-Contrib擴(kuò)展模塊中文版教程
        在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù):擴(kuò)展模塊中文教程,即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版,涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺(jué)、目標(biāo)跟蹤、生物視覺(jué)、超分辨率處理等二十多章內(nèi)容。

        下載2:Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目52講
        小白學(xué)視覺(jué)公眾號(hào)后臺(tái)回復(fù):Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目,即可下載包括圖像分割、口罩檢測(cè)、車道線檢測(cè)、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺(jué)實(shí)戰(zhàn)項(xiàng)目,助力快速學(xué)校計(jì)算機(jī)視覺(jué)。

        下載3:OpenCV實(shí)戰(zhàn)項(xiàng)目20講
        小白學(xué)視覺(jué)公眾號(hào)后臺(tái)回復(fù):OpenCV實(shí)戰(zhàn)項(xiàng)目20講,即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目,實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

        交流群


        歡迎加入公眾號(hào)讀者群一起和同行交流,目前有SLAM、三維視覺(jué)、傳感器自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群(以后會(huì)逐漸細(xì)分),請(qǐng)掃描下面微信號(hào)加群,備注:”昵稱+學(xué)校/公司+研究方向“,例如:”張三 + 上海交大 + 視覺(jué)SLAM“。請(qǐng)按照格式備注,否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告,否則會(huì)請(qǐng)出群,謝謝理解~


        瀏覽 88
        點(diǎn)贊
        評(píng)論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
        評(píng)論
        圖片
        表情
        推薦
        點(diǎn)贊
        評(píng)論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
        1. <strong id="7actg"></strong>
        2. <table id="7actg"></table>

        3. <address id="7actg"></address>
          <address id="7actg"></address>
          1. <object id="7actg"><tt id="7actg"></tt></object>
            逼特逼视频网站 | 中文字幕欧美在线 | 中文无码字幕 | 日本黄色免费视频 | 日韩欧美三级视频 | 日韩熟女性爱视频 | 国产丝袜91久久久久久久久久久 | 成人深夜小视频 | 电影《性呻吟》未删减版 | 中国黄色大片 |