在常見的卷積神經(jīng)網(wǎng)絡(luò)中，采樣幾乎無處不在，以前是max_pooling，現(xiàn)在是strided卷積。

輸入側(cè)在左面（下面是有padding的，上面是無padding的），可以看到網(wǎng)絡(luò)中用到了很多2x2的pooling

典型的fcn結(jié)構(gòu)，注意紅色區(qū)分的decovolution

GAP直接把每個通道對應(yīng)空間特征聚合成一個標(biāo)量

Input-->Conv-->DownSample_x_2-->Conv-->DownSample_x_2-->Conv-->DownSample_x_2-->GAP-->Conv1x1-->Softmax-->Output

而分割網(wǎng)絡(luò)的范式變?yōu)椋ㄗ罱囊恍┪恼乱苍诳紤]用upsample+conv_1x1代替deconv），

Input-->Conv-->DownSample_x_2-->Conv-->DownSample_x_2-->Conv-->DownSample_x_2-->Deconv_x_2-->Deconv_x_2-->Deconv_x_2-->Softmax-->Output

這里暫時不考慮任何shortcut。

可是，我們不得不去想，下采樣，上采樣真的是必須的嗎？可不可能去掉呢？

?

一個很自然的想法，下采樣只是為了減小計算量和增大感受野，如果沒有下采樣，要成倍增大感受野，只有兩個選擇，空洞卷積和大卷積核。所以，第一步，在cifar10的分類上，我嘗試去掉了下采樣，將卷積改為空洞卷積，并且膨脹率分別遞增，模型結(jié)構(gòu)如下所示，

這個網(wǎng)絡(luò)的卷積結(jié)構(gòu)，注意最后用一個空間范圍的全局平均直接拉平為特征向量，最后再跟一個10維的全連接層

四層VGG網(wǎng)絡(luò)，卷積的dilation_rate分別是1，2，4，8，可訓(xùn)練參數(shù)量25474

四層VGG網(wǎng)絡(luò)，卷積的kernel_size分別是3，5，7，9，可訓(xùn)練參數(shù)量為172930

四層VGG網(wǎng)絡(luò)，每層使用stride為2的卷積進(jìn)行下采樣，可訓(xùn)練參數(shù)量25474

四層VGG網(wǎng)絡(luò)的對比結(jié)果，除了卷積層參數(shù)不同，其他參數(shù)均相同

訓(xùn)練1000輪的效果，可以明顯看到不同方法之間的差距

resnet18上的準(zhǔn)確率曲線，網(wǎng)絡(luò)通過改變卷積層dilation_rate得到

?

兩個3x3卷積的感受野和一個5x5卷積相同，但是參數(shù)少一半

實驗結(jié)果，后面的數(shù)字表示每層對于的通道數(shù)

增加通道數(shù)的結(jié)果

通用wavenet

空洞wavenet

?

四種不同的稀疏卷積，因為卷積核權(quán)重四維的，最左邊稀疏性是最不規(guī)則的，越向右規(guī)則的維度則越多，越有利于硬件加速

最左側(cè)沒有稀疏化，中間有零值（也就是稀疏化），最右側(cè)有1x2的塊狀稀疏化

前面兩個卷積核只有一個方向性（對角線方向），最后一個有兩個方向性

典型的中值濾波，這里卷積核大小是20，注意到輸出尺寸沒有改變，max pooing和中值濾波類似，它們都可以用來壓制噪聲

無采樣網(wǎng)絡(luò)在m2nist上的訓(xùn)練結(jié)果（因為背景面積比較大，acc超過94%才有實際意義）

左邊是原圖，右邊是分割結(jié)果，一共需要把10 個數(shù)字完整分割出來

Input-->Conv(dilate_rate=1)-->Conv(dilate_rate=2)-->Conv(dilate_rate=4)-->Conv(dilate_rate=8)-->GAP-->Conv1x1-->Softmax-->Output

分割網(wǎng)絡(luò)的范式將如下所示，

Input-->Conv(dilate_rate=1)-->Conv(dilate_rate=2)-->Conv(dilate_rate=4)-->Conv(dilate_rate=8)-->Conv(dilate_rate=16)-->Conv(dilate_rate=32)-->Softmax-->Output

可以使用無采樣的網(wǎng)絡(luò)代替原本需要恢復(fù)分辨率的子網(wǎng)絡(luò)

圖片來自于論文，以串行方式設(shè)計atrous convolution 模塊，復(fù)制ResNet的最后一個block，如block4，并將復(fù)制后的blocks以串行方式級聯(lián)。

最后一個小節(jié)擴(kuò)展成的另外一篇文章https://zhuanlan.zhihu.com/p/99193115，這篇文章的另一個作用，對于數(shù)學(xué)家分析CNN更加方便，不用再建模下采樣，只用證明卷積核稀疏性可以建模圖像識別，并且因為沒有了采樣，卷積也就變成了連續(xù)空間上的卷積，（同時，激活函數(shù)也是可以軟化的），卷積核大小可以用函數(shù)支撐空間來描述（類似于高斯核的有效半徑）。下圖即高斯核函數(shù)??在不同的??下的圖像,

所以對于任意一個算子??,cnn的目的就是找到這樣一個??,

但是直接尋找并不容易,那么就用一系列卷積去逼近它,其中??在這里是非線性激活函數(shù),

高斯函數(shù)的前七階導(dǎo)數(shù)，包含原函數(shù)，這些函數(shù)的有效半徑驚人的一致

這樣求相當(dāng)與求解一系列線性系數(shù)??,請自行將??對應(yīng)到卷積核大小上

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~