Unet++(pytorch實(shí)現(xiàn))
向AI轉(zhuǎn)型的程序員都關(guān)注了這個(gè)號(hào)??????
Unet++網(wǎng)絡(luò)
Dense connection
Unet++繼承了Unet的結(jié)構(gòu)，同時(shí)又借鑒了DenseNet的稠密連接方式（圖1中各種分支）。
作者通過各層之間的稠密連接，互相連接起來，就像Denset那樣，前前后后每一個(gè)模塊互相作用，每一個(gè)模塊都能看到彼此，那對(duì)彼此互相熟悉，分割效果自然就會(huì)變好。
在實(shí)際分割中，一次次的下采樣自然會(huì)丟掉一些細(xì)節(jié)特征，在Unet中是使用skip connection來恢復(fù)這些細(xì)節(jié)，但能否做的更好呢？Unet++就給出了答案，這種稠密連接的方式，每一層都盡量多的保存這種細(xì)節(jié)信息和全局信息，一層層之間架起橋梁互相溝通，最后共享給最后一層，實(shí)現(xiàn)全局信息和局部信息的保留和重構(gòu)。
deep supervision
當(dāng)然，簡(jiǎn)單的將各個(gè)模塊連接起來是會(huì)實(shí)現(xiàn)很好的效果。而我們又能發(fā)現(xiàn)，一個(gè)Unet++其實(shí)是很多個(gè)不同深度的Unet++疊加。那么，每一個(gè)深度的Unet++是不是就都可以輸出一個(gè)loss？答案自然是可以的。
所以，作者提出了deep supervision，也就是監(jiān)督每一個(gè)深度的Unet++的輸出，通過一定的方式來疊加Loss（比如加權(quán)的方式），這樣就得到了一個(gè)經(jīng)由1、2、3、4層的Unet++的加權(quán)Loss（圖2 不同深度Unet++融合）。
那么，deep supervision又有什么用呢？-剪枝
既然Unet++由多個(gè)不同深度的Unet++疊加起來，那么隨意去掉一層，前向傳播的梯度不會(huì)受到任何變化，但你發(fā)現(xiàn)Unet++第三個(gè)輸出的效果和第四個(gè)輸出效果差不多時(shí)，那就可以毫不猶豫刪去4層深度的Unet++。比如，直接刪去圖3中棕色部分，就可以實(shí)現(xiàn)剪枝。這樣，就得到了更加輕量化的網(wǎng)絡(luò)。
模型復(fù)現(xiàn)
Unet++
為了更直觀一些，我把代碼中的所有符號(hào)都和網(wǎng)絡(luò)結(jié)構(gòu)中對(duì)應(yīng)上了。
數(shù)據(jù)集準(zhǔn)備
數(shù)據(jù)集使用Camvid數(shù)據(jù)集，可在CamVid數(shù)據(jù)集的創(chuàng)建和使用-pytorch中參考構(gòu)建方法。
https://blog.csdn.net/yumaomi/article/details/124786867
訓(xùn)練結(jié)果
原文地址
https://blog.csdn.net/yumaomi/article/details/124823392
機(jī)器學(xué)習(xí)算法AI大數(shù)據(jù)技術(shù)
搜索公眾號(hào)添加： datanlp
長(zhǎng)按圖片，識(shí)別二維碼
閱讀過本文的人還看了以下文章：
TensorFlow 2.0深度學(xué)習(xí)案例實(shí)戰(zhàn)
基于40萬表格數(shù)據(jù)集TableBank，用MaskRCNN做表格檢測(cè)
《基于深度學(xué)習(xí)的自然語言處理》中/英PDF
Deep Learning 中文版初版-周志華團(tuán)隊(duì)
【全套視頻課】最全的目標(biāo)檢測(cè)算法系列講解，通俗易懂！
《美團(tuán)機(jī)器學(xué)習(xí)實(shí)踐》_美團(tuán)算法團(tuán)隊(duì).pdf
《深度學(xué)習(xí)入門：基于Python的理論與實(shí)現(xiàn)》高清中文PDF+源碼
《深度學(xué)習(xí)：基于Keras的Python實(shí)踐》PDF和代碼
python就業(yè)班學(xué)習(xí)視頻，從入門到實(shí)戰(zhàn)項(xiàng)目
2019最新《PyTorch自然語言處理》英、中文版PDF+源碼
《21個(gè)項(xiàng)目玩轉(zhuǎn)深度學(xué)習(xí)：基于TensorFlow的實(shí)踐詳解》完整版PDF+附書代碼
《深度學(xué)習(xí)之pytorch》pdf+附書源碼
PyTorch深度學(xué)習(xí)快速實(shí)戰(zhàn)入門《pytorch-handbook》
【下載】豆瓣評(píng)分8.1,《機(jī)器學(xué)習(xí)實(shí)戰(zhàn):基于Scikit-Learn和TensorFlow》
《Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》PDF+完整源碼
汽車行業(yè)完整知識(shí)圖譜項(xiàng)目實(shí)戰(zhàn)視頻(全23課)
李沐大神開源《動(dòng)手學(xué)深度學(xué)習(xí)》，加州伯克利深度學(xué)習(xí)（2019春）教材
筆記、代碼清晰易懂！李航《統(tǒng)計(jì)學(xué)習(xí)方法》最新資源全套！
《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》最新2018版中英PDF+源碼
將機(jī)器學(xué)習(xí)模型部署為REST API
FashionAI服裝屬性標(biāo)簽圖像識(shí)別Top1-5方案分享
重要開源！CNN-RNN-CTC 實(shí)現(xiàn)手寫漢字識(shí)別
同樣是機(jī)器學(xué)習(xí)算法工程師，你的面試為什么過不了？
前海征信大數(shù)據(jù)算法：風(fēng)險(xiǎn)概率預(yù)測(cè)
【Keras】完整實(shí)現(xiàn)‘交通標(biāo)志’分類、‘票據(jù)’分類兩個(gè)項(xiàng)目，讓你掌握深度學(xué)習(xí)圖像分類
VGG16遷移學(xué)習(xí)，實(shí)現(xiàn)醫(yī)學(xué)圖像識(shí)別分類工程項(xiàng)目
特征工程(二) :文本數(shù)據(jù)的展開、過濾和分塊
如何利用全新的決策樹集成級(jí)聯(lián)結(jié)構(gòu)gcForest做特征工程并打分？
Machine Learning Yearning 中文翻譯稿
全球AI挑戰(zhàn)-場(chǎng)景分類的比賽源碼(多模型融合)
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
python+flask搭建CNN在線識(shí)別手寫中文網(wǎng)站
中科院Kaggle全球文本匹配競(jìng)賽華人第1名團(tuán)隊(duì)-深度學(xué)習(xí)與特征工程
不斷更新資源
深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、數(shù)據(jù)分析、python
搜索公眾號(hào)添加： datayx