2020年，在深度學(xué)習(xí)目標(biāo)檢測領(lǐng)域誕生了yolov4,yolov5和nanodet這些優(yōu)秀的檢測模型，有許多的微信公眾號報道這些算法模型。深度學(xué)習(xí)目標(biāo)檢測方法可劃分為 Anchor-base 和 Anchor-free 兩大類，nanodet是一個速度超快和輕量級的移動端 Anchor-free 目標(biāo)檢測模型,并且它的精度不亞于yolo系列的。

nanodet通過一些論文里的trick組合起來得到了一個兼顧精度、速度和體積的檢測模型。作者用到的一些trick，主要參考自：(1)參考FCOS 式的單階段 anchor-free 目標(biāo)檢測模型，F(xiàn)COS特點是讓模型學(xué)習(xí)feature map中每個位置到檢測框的四條邊的距離，如下圖所示。

(2)使用 ATSS 進(jìn)行目標(biāo)采樣，該方法提出了自適應(yīng)訓(xùn)練樣本選擇方法，該方法根據(jù)目標(biāo)的統(tǒng)計特征（方差和均值）自動劃分正訓(xùn)練樣本和負(fù)訓(xùn)練樣本，彌合了基于錨的探測器與無錨探測器之間的差距。(3)使用 Generalized Focal Loss 損失函數(shù)執(zhí)行分類和邊框回歸（box regression），該函數(shù)能夠去掉 FCOS 的 Centerness 分支，省去這一分支上的大量卷積，從而減少檢測頭的計算開銷。

為了達(dá)到輕量化的目的，作者在設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)時，使用 ShuffleNetV2 1.0x 作為骨干網(wǎng)絡(luò)，他去掉了該網(wǎng)絡(luò)的最后一層卷積，并且抽取 8、16、32 倍下采樣的特征輸入到 PAN 中做多尺度的特征融合。

在FPN模塊里，去掉所有卷積，只保留從骨干網(wǎng)絡(luò)特征提取后的 1x1 卷積來進(jìn)行特征通道維度的對齊，上采樣和下采樣均使用插值來完成。與 YOLO 使用的 concat操作不同，項目作者選擇將多尺度的 Feature Map 直接相加，使整個特征融合模塊的計算量變得非常小。

在檢測頭模塊里，使用了共享權(quán)重的檢測頭，即對 FPN 出來的多尺度 Feature Map 使用同一組卷積預(yù)測檢測框，然后每一層使用一個可學(xué)習(xí)的 Scale 值作為系數(shù)，對預(yù)測出來的框進(jìn)行縮放。與此同時，使用了 Group Normalization（GN）作為歸一化方式.FCOS 的檢測頭使用了 4 個 256 通道的卷積作為一個分支，也就是說在邊框回歸和分類兩個分支上一共有 8 個 c=256 的卷積，計算量非常大。為了將其輕量化，項目作者首先選擇用深度可分離卷積替換普通卷積，并且將卷積堆疊的數(shù)量從 4 個減少為 2 組。在通道數(shù)上，將 256 維壓縮至 96 維，之所以選擇 96，是因為需要將通道數(shù)保持為 8 或 16 的倍數(shù)，能夠享受到大部分推理框架的并行加速。

最后，項目作者借鑒了 YOLO 系列的做法，將邊框回歸和分類使用同一組卷積進(jìn)行計算，然后 split 成兩份。最后，項目作者借鑒了 YOLO 系列的做法，將邊框回歸和分類使用同一組卷積進(jìn)行計算，然后 split 成兩份，這樣就組成了nanodet網(wǎng)絡(luò)。

作者把nanodet發(fā)布在github上，項目地址：?https://github.com/RangiLyu/nanodet，下載代碼和模型文件到本地，按照README文檔運(yùn)行一個前向推理程序。接下來，我閱讀前向推理主程序demo.py文件，嘗試?yán)斫庠谶\(yùn)行這個主程序時需要調(diào)用哪些函數(shù)和.py文件。在前向推理主程序demo.py文件，對一幅圖片做目標(biāo)檢測是在Predictor類的成員函數(shù)inference里實現(xiàn)的，它里面包含了對輸入圖片做預(yù)處理preprocess，前向計算forward和后處理postprocess這三個步驟。Predictor類的定義如下圖所示

對輸入原圖做預(yù)處理，預(yù)處理模塊是使用Pipeline類實現(xiàn)，對應(yīng)的代碼是

看到這段代碼時，我有些懵逼了。第一次見到functools.partial這個模塊，我百度查了一下它的作用是包裝函數(shù)，接著看warp_resize函數(shù)，這個函數(shù)對應(yīng)的代碼很復(fù)雜，里面有多個if條件判斷，調(diào)用了多個自定義函數(shù)。限于篇幅，在這里展示部分截圖代碼，如下圖所示

從代碼不難猜測出warp_resize函數(shù)的作用是對原圖做resize，于是我把warp_resize函數(shù)返回的圖像做可視化并打印出圖像的尺寸是高寬：320x320，可視化結(jié)果如下圖所示。

從圖中可以看到，warp_resize函數(shù)是保持原圖高寬比的resize，短邊剩下的部分用黑色像素填充。這種功能在ultralytics的yolov3和yolov5代碼倉庫里有一個letterbox函數(shù)實現(xiàn)的，在letterbox函數(shù)使用opencv庫里的resize和copyMakeBorder就可以實現(xiàn)保持高寬比的resize，這種方法簡潔明了。接著我對warp_resize函數(shù)和letterbox函數(shù)對同一幅圖片做保持原圖高寬比的resize的結(jié)果比較?？梢暬Y(jié)果如下，從視覺上看不出它們有何差異。把這兩幅圖的像素矩陣做減法比較，發(fā)現(xiàn)它們并不等于0，也是是說它們的像素值還是有差異的。

接著看預(yù)處理模塊Pipeline類里的第二個函數(shù)color_aug_and_norm，代碼截圖如下。可以看出，這個函數(shù)的作用是對輸入圖片的RGB三通道分別做減均值除以標(biāo)準(zhǔn)差的操作，不過在最開始對img除以255,在最后對均值和標(biāo)準(zhǔn)差分別除以255，這三次除以255是完全沒必要的，因為在最后一步 (img - mean) / std，分子分母可以約掉1/255，這和img,mean,std不做除以255這一步計算，直接(img - mean) / std是等價的。

綜上所述，在預(yù)處理模塊Pipeline類包含了很多冗余的計算，圖像預(yù)處理本身是一個簡單問題，但是在官方代碼里卻把簡單問題搞復(fù)雜化了。

官方代碼倉庫(https://github.com/RangiLyu/nanodet)里提供了基于 ncnn 推理框架的實現(xiàn)，基于mnn，libtorch,openvino的實現(xiàn)，但是沒有基于Opencv的dnn模塊的實現(xiàn)。于是我就編寫一套基于Opencv的dnn模塊的實現(xiàn)，程序里包含Python和C++兩個版本的代碼。

地址是：?

https://github.com/hpc203/nanodet-opncv-dnn-cpp-python

在這套程序里，圖像預(yù)處理模塊沿用了ultralytics代碼倉庫里的letterbox函數(shù)使用opencv庫里的resize和copyMakeBorder就可以實現(xiàn)保持高寬比的resize。此外，在網(wǎng)上有很多介紹nanodet網(wǎng)絡(luò)結(jié)構(gòu)的文章，但是在文章里沒有對nanodet后處理模塊做詳細(xì)介紹的。因此，在編寫這套程序時，我最關(guān)注的是nanodet的后處理模塊，在nanodet網(wǎng)絡(luò)輸出之后，經(jīng)過怎樣的矩陣計算之后得到檢測框的左上和右下兩個頂點的坐標(biāo)(x,y)的值的。接下來，我結(jié)合代碼來理解后處理模塊的運(yùn)行原理。首先，原圖經(jīng)過預(yù)處理之后形成一個320x320的圖片作為nanodet網(wǎng)絡(luò)的輸入，經(jīng)過forward前向計算后會得到40x40，20x20，10x10這三種尺度的特征圖（換言之就是原圖縮小8倍，16倍，32倍），在程序代碼里設(shè)斷點調(diào)試，查看中間變量，截圖如下：

從上圖可以看到，經(jīng)過forward前向計算后，有6個輸出矩陣。第1個輸出的維度是(1600,80)，它對應(yīng)的是40x40的特征圖(拉平后是長度為1600的向量，也就是說一共有1600個像素點)里的每個像素點在coco數(shù)據(jù)集的80個類別里的每個類的置信度。第2個輸出的維度是(1600,32)，它對應(yīng)的是40x40的特征圖(拉平后是長度為1600的向量，也就是說一共有1600個像素點)里的每個像素點的檢測框的預(yù)測偏移量，可以看到這個預(yù)測偏移量是一個長度為32的向量，它可以分成4份，每份向量的長度為8，接下來的第3，4，5，6個輸出矩陣的意義以此類推。

前面講到過nanodet的特點是讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)feature map中每個位置到檢測框的四條邊的距離，接下來我們繼續(xù)在程序里設(shè)斷點調(diào)試，來理解這4份長度為8的預(yù)測偏移量是如何經(jīng)過一系列的矩陣計算后得到到檢測框的四條邊的距離。代碼截圖如下：

從上圖可以看到，把形狀為(1600,32)的矩陣reshape成(6400,8)的矩陣bbox_pred，其實就等同于把每一行切分成4份組成新的矩陣，然后做softmax變換，把數(shù)值歸一化到0至1的區(qū)間內(nèi)。繼續(xù)調(diào)試接下來的一步，代碼截圖如下：

可以看到project是一個長度8的向量,元素值是從0到7。形狀為(6400,8)的矩陣bbox_pred與向量project做乘法得到6400的列向量，然后reshape為(1600,4)的矩陣，接下來乘以縮放步長。這時候就得到的形狀為(1600,4)的矩陣bbox_pred，它的幾何意義就是40x40的特征圖里的每個像素點到檢測框的四條邊的距離。有了這個值之后，接下來的計算就簡單了，在此不做詳細(xì)講述，可以參閱我的代碼。簡單來說就是計算特征圖的每個像素點在coco數(shù)據(jù)集里的80類里的最大score值作為類別置信度，然后把特征圖的所有像素點的類別置信度從高到低排序，取前topk個像素點，然后根據(jù)上一步計算出的到檢測框四條邊的距離換算出檢測框的左上和右下兩個頂點的(x,y)值，最后做NMS去除重疊的檢測框。為了更好的理解從nanodet輸出特征圖到最終計算出目標(biāo)檢測框的左上和右下頂點坐標(biāo)(x,y)值的這個過程，我在草稿紙上畫圖演示，如下所示：

在編寫完調(diào)用opencv的做nanodet目標(biāo)檢測的程序后，為了驗證程序的有效性，從COCO數(shù)據(jù)集里選取幾張圖片測試并且與官方代碼做比較，官方代碼是用python編寫的調(diào)用pytorch框架做目標(biāo)檢測的。結(jié)果如下，左邊的圖是官方代碼的可視化結(jié)果，右邊的圖是opencv做nanodet目標(biāo)檢測的可視化結(jié)果。

把官方代碼和我編寫的代碼做了一個性能比較的實驗，實驗環(huán)境是ubuntu系統(tǒng)，8G顯存的gpu機(jī)器。在實驗中讀取一個視頻文件，對視頻里的每一幀做目標(biāo)檢測，分別運(yùn)行官方的調(diào)用pytorch框架做目標(biāo)檢測的python代碼和我編寫的調(diào)用opencv做目標(biāo)檢測的python代碼，在terminal終端輸入top查看這兩個程序運(yùn)行時占用的內(nèi)存,截圖如下。第一行是opencv做nanodet目標(biāo)檢測程序運(yùn)行時占用的內(nèi)存，第二行是官方代碼運(yùn)行時占用的內(nèi)存，可以看到使用opencv做nanodet目標(biāo)檢測對內(nèi)存的消耗明顯要低于官方代碼的pytorch框架做nanodet目標(biāo)檢測的。