重磅干貨，第一時間送達

醫(yī)學圖像配準是醫(yī)學圖像處理任務中的關鍵步驟，具有重要的臨床意義。醫(yī)學圖像配準即分別給定一張運動的和固定的 3D 醫(yī)學圖像，希望將運動圖像（moving image）配準到固定圖像（fixed image），如圖1所示。圖像可能來自相同或不同個體的三維腦 MRI 的二維切片。通過預測非線性變形場，我們可以將運動圖像變形為變形圖像（warped image）。在理想情況下，變形圖像應該與固定圖像非常相似，即便它源自運動圖像。

圖1：醫(yī)學圖像配準

近年來，深度學習技術在醫(yī)學圖像配準中已經(jīng)獲得了廣泛的應用。有監(jiān)督學習方法的主要問題是流場真值（ground truth）很難獲得，即便對于醫(yī)學專家來說，醫(yī)學圖像配準的成對相關像素點也難以標注；而無監(jiān)督學習方法能夠利用可導的 STN（spatial transformer），以在變形圖像和固定圖像之間測得的圖像相似性為優(yōu)化目標，能夠利用臨床中廣泛的原始數(shù)據(jù)且無需標注。然而現(xiàn)有算法只能學習將運動圖像一次性對齊到固定圖像，對于變形大、變化復雜的配準效果較差。

本文提出了一種深度遞歸級聯(lián)的神經(jīng)網(wǎng)絡結(jié)構(gòu)，可以顯著提高無監(jiān)督配準算法的準確率。圖2是用于肝臟配準的遞歸級聯(lián)網(wǎng)絡效果圖。運動圖像通過一次次微小的遞歸配準，最后與固定圖像對齊。每個子網(wǎng)絡的輸入都是變形后的圖像和固定圖像，預測一個流場Φ。通過深度的遞歸迭代，最終的流場可以被分解為簡單、輕微的漸進變化，大大降低了每個子網(wǎng)絡的學習難度。

圖2：用于肝臟配準的遞歸級聯(lián)網(wǎng)絡效果圖

遞歸級聯(lián)網(wǎng)絡可以構(gòu)建于任何已有的基礎網(wǎng)絡之上，通過無監(jiān)督、端到端的方式學習到深度遞歸的漸進配準。除此之外，我們還提出了一種 shared-weight 級聯(lián)技術，可以在測試中直接增加遞歸深度并提高準確率。

我們在肝臟 CT 圖像和腦 MRI 圖像上都做了算法評測，使用了多樣的評價指標（包括 Dice 和關鍵點）。我們的實驗證明遞歸級聯(lián)的結(jié)構(gòu)對于兩種基礎網(wǎng)絡（VTN 和 VoxelMorph）的作用都非常顯著，并且在所有數(shù)據(jù)集上都超過了包括 SyN 和 B-Spline 在內(nèi)的傳統(tǒng)算法。 

我們的核心思想是通過深度遞歸級聯(lián)結(jié)構(gòu)實現(xiàn)漸進式對齊的無監(jiān)督端到端學習。在圖2所示情況下，運動圖像與固定圖像有很大的不同，這表明流場真值應該非常復雜并且可能很難預測。但是，我們的遞歸級聯(lián)網(wǎng)絡可以將這一困難的學習過程分解為漸進的部分，使每對之間的流場變得簡單易學。

另一方面，從模型的流場合成效果圖（圖3）中可以看出，前面的子網(wǎng)絡主要學習到了全局的配準，而后面的子網(wǎng)絡起到了完善細節(jié)的作用。最終的流場確實可以分解為相當簡單的部分。

圖3：流場合成效果圖

深度遞歸級聯(lián)的網(wǎng)絡結(jié)構(gòu)如圖4所示。運動圖像通過每個子網(wǎng)絡的預測流場依次變形，最后與固定圖像對齊，此過程是遞歸的，每個子網(wǎng)絡都學習對當前的變形圖像的漸進式配準。

我們與其它算法的主要區(qū)別在于，遞歸級聯(lián)網(wǎng)絡的優(yōu)化目標只有最后兩張圖像的相似度，從而賦予了所有子網(wǎng)絡共同學習漸進式配準的能力。可導的變形操作使得整個端到端系統(tǒng)在無監(jiān)督的情況下共同訓練成為可能。在遞歸結(jié)構(gòu)的基礎上，我們提出一種附加的 shared-weight 級聯(lián)技術，可以在測試中直接增加遞歸深度并提高準確率。

圖4：遞歸級聯(lián)網(wǎng)絡

我們使用 Dice 和關鍵點距離（Landmark Dist.）兩種評估指標進行了廣泛的實驗，并在多個數(shù)據(jù)集上進行了算法評測，包括肝臟 CT 圖像和腦 MRI 圖像。

我們基于兩種基礎網(wǎng)絡 VTN 和 VoxelMorph 構(gòu)建了遞歸級聯(lián)網(wǎng)絡（遞歸級聯(lián)網(wǎng)絡可以構(gòu)建于任何基礎網(wǎng)絡之上，并不局限于 VTN 和 VoxelMorph）。表1總結(jié)了我們與傳統(tǒng)算法以及與基礎網(wǎng)絡相比的總體性能。可以看到，遞歸級聯(lián)網(wǎng)絡在所有數(shù)據(jù)集中的 Dice 和關鍵點距離均顯著優(yōu)于現(xiàn)有方法。

表1：實驗結(jié)果

圖5的三個子圖說明了關于不同數(shù)量級聯(lián)的實驗結(jié)果。隨著級聯(lián)數(shù)量的增加，模型的表現(xiàn)呈上升趨勢。

圖5：不同級聯(lián)數(shù)量下 Dice 和關鍵點距離的變化趨勢

那么，直接增加通道數(shù)或者卷積深度能否起到和網(wǎng)絡級聯(lián)一樣的效果呢？例如，VoxelMorph（VM）提出將卷積層中的通道數(shù)加倍（VM x2）可以獲得更好的性能。作為對比，我們通過將卷積層的深度加倍來構(gòu)造 VM-double，還構(gòu)造了一種同樣將深度加倍的編碼器-解碼器-編碼器-解碼器的網(wǎng)絡結(jié)構(gòu)（VM xx2），VM xx2 與 2-cascade VM 的結(jié)構(gòu)除了變形操作之外都是相似的。這些 VM 變種相比于 2-cascade VM 都具有相同或更多的參數(shù)數(shù)量。從表2中可以看出，VM 變種的表現(xiàn)都不如 2-cascade VM，甚至還不如直接 shared-weight 的 2x1-cascade VM。該實驗表明，我們的改進本質(zhì)上是基于所提出的遞歸級聯(lián)結(jié)構(gòu)，而不是簡單地引入更多參數(shù)。

表2：遞歸級聯(lián)網(wǎng)絡與其它 VoxelMorph 網(wǎng)絡變種的對比

圖6中顯示了使用不同方法預測的流場。可以看出，我們預測的流場與其它算法相比具有更精細的細節(jié)，從而產(chǎn)生了更準確的變形圖像。

圖6：預測流場可視化 

我們提出了一種深度遞歸級聯(lián)的網(wǎng)絡結(jié)構(gòu)，應用于無監(jiān)督端到端的醫(yī)學圖像配準。該網(wǎng)絡結(jié)構(gòu)簡單且易于訓練，功能強大且易于推廣。與其它方法相比，遞歸級聯(lián)網(wǎng)絡帶來了顯著的性能提升。憑借良好的性能優(yōu)勢、無監(jiān)督方法的普遍適用性、以及獨立于基礎網(wǎng)絡的一般性，我們期望遞歸級聯(lián)網(wǎng)絡可以在醫(yī)學圖像配準任務中得到更廣泛地應用。

好消息！
小白學視覺知識星球
開始面向外開放啦??????



下載1：OpenCV-Contrib擴展模塊中文版教程
在「小白學視覺」公眾號后臺回復：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目52講
在「小白學視覺」公眾號后臺回復：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學校計算機視覺。

下載3：OpenCV實戰(zhàn)項目20講
在「小白學視覺」公眾號后臺回復：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學習進階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~