Nvidia力作：醫(yī)學(xué)圖像分割網(wǎng)絡(luò)

引自Unetr: Transformers for 3d medical image segmentation

1.序言

本文將以Nvidia團隊最近提出的一種新的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)作為切入點，結(jié)合所用開源數(shù)據(jù)集，為各位同學(xué)提供一份從下載數(shù)據(jù)集到搭建網(wǎng)絡(luò)訓(xùn)練醫(yī)學(xué)任務(wù)的完整攻略，希望可以為各位醫(yī)工交叉領(lǐng)域的同學(xué)提供一條捷徑，力爭少走彎路。

2.開源數(shù)據(jù)集獲取與使用

本節(jié)將以論文作者使用的BTCV[1]這一CT數(shù)據(jù)集為例，展示使用方法和注意事項。

2.1 數(shù)據(jù)集介紹

BTCV數(shù)據(jù)集來自醫(yī)學(xué)全能分割比賽中，臟器分割的挑戰(zhàn)任務(wù)。其中，輸入圖像包含1個通道，即CT電子密度圖像，標(biāo)簽圖像包含14個通道（13種器官加上背景點的分割）。分割任務(wù)可由下圖表示，其中可以看出，原始圖像的對應(yīng)GT中 各個臟器已經(jīng)進行了人工標(biāo)記。

2.2 獲取方法

在獲取開源數(shù)據(jù)集之前，需要了解開源方式，常見的開源方式主要由是否需要署名、是否允許商業(yè)化、是否強制相同方式共享、是否允許演繹（修改）四個方面組成，諸如BTCV等比賽數(shù)據(jù)集一般采用署名非商業(yè)強制相同方式共享，大家可以放心下載，只要署名致謝即可。

獲取方式主要分為兩種，第一種便是直接去官網(wǎng)申請賬號后，點擊下載鏈接直接下載，有的網(wǎng)站會給出百度網(wǎng)盤鏈接，有的是直接http下載。

下面將簡單介紹這種方法：

• 首先，打開全能競賽官網(wǎng)，

https://www.synapse.org/#!Synapse:syn3193805/wiki/217752，可以看到如下畫面，點擊紅框選中區(qū)域，進入數(shù)據(jù)區(qū)。

• 

• 然后，如下圖所示，選擇下載文件進行下載，我們可以看到，數(shù)據(jù)分為訓(xùn)練（training）、標(biāo)簽（label）、測試（test）三種，這里介紹下，一般分割比賽是將訓(xùn)練數(shù)據(jù)集以一定比例劃分為訓(xùn)練集和開發(fā)集，訓(xùn)練集訓(xùn)練網(wǎng)絡(luò)，開發(fā)集簡單驗證泛化性能，而官方給出的測試集則是對每位選手賦分的依據(jù)，不提供GD，因此，這里我們選擇下載前兩者數(shù)據(jù)文件，點擊后會提示注冊，按照指引注冊即可。

另一種獲取數(shù)據(jù)的方式為，大賽開始前后比賽數(shù)據(jù)集在會集成一個API，里面會包含相關(guān)下載鏈接和相應(yīng)下載指令，只需要自己根據(jù)官方手冊編寫簡單腳本，即可獲取到指定數(shù)據(jù)，這里我寫了一個簡單下載腳本，有需要可以聯(lián)系我發(fā)過去。

3.網(wǎng)絡(luò)復(fù)現(xiàn)與實驗

在數(shù)據(jù)集到位以后，我們便可以下載作者給出的代碼對他的工作進行復(fù)現(xiàn)，通過這種方式既可以提高碼力，也可以加深對論文的理解。首先，我們從論文中找到github鏈接：

https://github.com/Project-MONAI/research-contributions/tree/main/UNETR

點擊進去后可以看到作者將自己的工作拆分為數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型微調(diào)、模型驗證四個部分。

• 第一步我們可以直接拿作者的相關(guān)代碼實現(xiàn)，即對nii格式圖像進行一些簡單的圖像增強和解析。

• 第二部分就有一些難度了，由于我們的工作站和作者工作站的環(huán)境有所差異，因此，需要先創(chuàng)建一個新的虛擬環(huán)境，再搭建requirements.txt里面提到的環(huán)境。其次，如下圖所示，根據(jù)作者在網(wǎng)頁中提到的一些parser參數(shù)進行賦值，最后調(diào)試一些小問題即可正常運行。

到了這里需要注意一個地方，那便是作者的日志部分可能會存在一些無法解釋的問題，如果因為日志阻擋程序運行，那我們可以通過自定義簡單日志替換相關(guān)代碼，只要保留作者主要思想，復(fù)現(xiàn)便是成功的。

下面的微調(diào)是基于作者給出的檢查點文件，類似于預(yù)訓(xùn)練模型進行小幅度訓(xùn)練，以期望達到更好的性能，按照作者相關(guān)代碼實現(xiàn)即可，測試部分也同樣不再贅述。

4.總結(jié)

本文主要以Unter這一篇文獻為例，介紹了基于公開數(shù)據(jù)集的醫(yī)學(xué)圖像分割復(fù)現(xiàn)流程，具體代碼的調(diào)試和介紹如果各位同學(xué)有興趣了解，可以多點贊通知我呀，如果有錯誤請及時指出，希望能與各位小伙伴一起進步成長！

引用

[1] B Landman, Z Xu, J Igelsias, M Styner, T Langerak, and A Klein. Miccai multi-atlas labeling beyond the cranial vault–workshop and challenge. In Proc. MICCAIMulti-Atlas Labeling Beyond Cranial Vault—Workshop Challenge, 2015.