目標檢測NAS-FPN
&Title:
NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection
&Summary
目前最先進的卷積結(jié)構(gòu)用于物體檢測是手工設(shè)計的。
在這里，我們的目標是一個更好的學(xué)習(xí)可擴展特征金字塔結(jié)構(gòu)，用于目標檢測。在一個覆蓋所有交叉尺度連接的可擴展搜索空間中，采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索，發(fā)現(xiàn)了一種新的特征金字塔結(jié)構(gòu)。架構(gòu)名為NAS-FPN，由自頂向下和自下而上的連接組合而成，可以跨范圍地融合特性。
為了發(fā)現(xiàn)一個更好的FPN架構(gòu)，作者充分利用了神經(jīng)網(wǎng)絡(luò)搜索技術(shù)[Neural architecture search with rein- forcement learning.],使用強化學(xué)習(xí)訓(xùn)練了一個控制器來在給定的搜索空間中選擇最好的模型結(jié)構(gòu)。控制器使用在搜索空間內(nèi)子模型的準確率來作為更新參數(shù)的反饋信號(reward signal)。因此，通過這樣的試錯，控制器會學(xué)到越來越好的結(jié)構(gòu)，搜索空間在架構(gòu)成功搜索的過程中起到了很重要的作用。對于FPN的可拓展性，在搜索的過程中，作者強制讓FPN重復(fù)N次然后concatenation到一起形成一個大的架構(gòu)。
一句話解釋：FPN就是用來特征融合的層，之前都是手工設(shè)計，現(xiàn)在嘗試神經(jīng)網(wǎng)絡(luò)搜索設(shè)計！其實就是優(yōu)化FPN。
結(jié)果：與最先進的目標檢測模型相比，NAS-FPN與retinanet框架中的各種主干模型相結(jié)合，實現(xiàn)了更好的準確性和延遲權(quán)衡。與mobilenetv2模型的最先進的ssdlite相比，nas-fpn提高了2 ap的移動檢測精度，達到48.3 ap，以更少的計算時間超越了mask r-cnn的檢測精度。
&Research Objective
目標是一個更好的學(xué)習(xí)可擴展特征金字塔結(jié)構(gòu)，用于目標檢測。在一個覆蓋所有交叉尺度連接的可擴展搜索空間中，采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索，發(fā)現(xiàn)了一種新的特征金字塔結(jié)構(gòu)。架構(gòu)名為NAS-FPN，由自頂向下和自下而上的連接組合而成，可以跨范圍地融合特性。
注：神經(jīng)網(wǎng)絡(luò)搜索（理論上可以對任何東西進行搜索，就像是強化學(xué)習(xí)和進化算法
遺傳算法等等，這些都是尋優(yōu)算法，只不過現(xiàn)在把這些算法應(yīng)用到了神經(jīng)網(wǎng)絡(luò)的領(lǐng)域）
&Problem Statement
當前目標檢測網(wǎng)絡(luò)中采用特征金字塔網(wǎng)絡(luò)（FPN）結(jié)構(gòu)解決多尺度的問題，但是這些 FPN 都是人工事先設(shè)計，并不一定是最優(yōu)的結(jié)構(gòu)。為了更靈活地獲得更優(yōu)的 FPN 結(jié)構(gòu)，該文章首創(chuàng)性地提出了采用神經(jīng)架構(gòu)搜索（NAS）的方式定制化地構(gòu)建 FPN，該結(jié)構(gòu)又稱 NAS-FPN。
特征金字塔網(wǎng)絡(luò)（FPN）是一種典型的模型體系結(jié)構(gòu)，用于生成目標檢測的金字塔特征表示。它采用了一個主干模型，通常是為圖像分類而設(shè)計的，通過將主干模型中的特征層次中的兩個相鄰層按順序組合，通過自頂向下和橫向連接來構(gòu)建特征金字塔。高級特征在語義上很強，但分辨率較低，它們被放大并與高分辨率特征相結(jié)合，以生成高分辨率和語義強的特征表示。雖然fpn簡單有效，但它可能不是最佳的體系結(jié)構(gòu)設(shè)計。最近，panet[25]顯示在fpn特性上添加額外的自下而上路徑可以改進低分辨率特性的特性表示。許多最近的論文[7、16、17、34、38、39、40、43、41]提出了各種交叉尺度連接或操作，以組合特征以生成金字塔特征表示。
&Method(s)
我們的方法基于RetinaNet框架，因為它簡單而有效。RetinaNet框架有兩個主要組件：骨干網(wǎng)絡(luò)（通常是最先進的圖像分類網(wǎng)絡(luò)）和特征金字塔網(wǎng)絡(luò)（FPN）。該算法的目標是為RetinaNet發(fā)現(xiàn)更好的FPN架構(gòu)。圖2顯示了RetinaNet架構(gòu)。
為了發(fā)現(xiàn)更好的FPN，我們利用提出的神經(jīng)架構(gòu)搜索框架。
神經(jīng)架構(gòu)搜索訓(xùn)練控制器使用強化學(xué)習(xí)在給定搜索空間中選擇最佳模型架構(gòu)?？刂破魇褂盟阉骺臻g中的子模型的準確性作為更新其參數(shù)的獎勵信號。因此，通過反復(fù)試驗，控制器可以學(xué)習(xí)如何隨著時間的推移生成更好的架構(gòu)。
搜索空間
FPN 的眾多跨連接構(gòu)成了很大的搜索空間。在搜索空間中，一個 FPN 由很多 merging cells 組成，然后合并一些來自不同層融合的特征表示。一個 merging cell 將兩個來自不同特征層的特征連接融合產(chǎn)生一個特征輸出，這樣的單元結(jié)構(gòu)就構(gòu)成了 FPN 的元結(jié)構(gòu)，同時所有的可能的特征層組合由 merging cells 組建化的表示，這也就構(gòu)成了我們的搜索空間（模塊化）。一個 merging cell 的結(jié)構(gòu)如下：
構(gòu)建 merging cell 是由控制器 RNN 來做決定，它不僅要決定選取哪兩個特征層，還要決定采用那種特征融合方式。
每個 merging cell 有 4 個預(yù)測步驟：
從候選中選擇一個特征層;
從候選中沒有替換地選出另一個特征層；
選擇輸出特征的分辨率；
選擇一個operation操作來融合step1和step2的特征，然后生成一個分辨率為step3選定的新的特征。
在step 4中的operations有兩種，sum和global pooling，因為他們簡單有效.輸入的特征層使用最近鄰采樣或者max pooling來調(diào)整到輸出分辨率，merged特征層總會跟著ReLu, 3x3卷積和一個BN層。
在架構(gòu)搜索期間，可以有多個候選功能共享相同的分辨率。為了減少已發(fā)現(xiàn)架構(gòu)中的計算，我們避免在步驟3中為中間合并單元選擇步長8特征。最后，最后5個合并單元被設(shè)計為輸出特征金字塔{P3，P4，P5，P6，P7}。輸出特征級別的順序由控制器預(yù)測。然后通過重復(fù)步驟1,2,4生成每個輸出特征層，直到完全生成輸出特征金字塔。
深入監(jiān)督隨時檢測目標
模塊化金字塔架構(gòu)的另一個好處是可以隨時檢測目標，雖然這種方法已出現(xiàn)，但手動設(shè)計這種架構(gòu)依舊相當困難。固定分類和回歸的網(wǎng)絡(luò)進行深度監(jiān)督訓(xùn)練。搜索的終止并不是非要全部搜索完，隨時都可以退出。因為分辨率不變，所以 FPN 可以隨意擴展。
利用堆疊金字塔網(wǎng)絡(luò)縮放NAS-FPN的一個優(yōu)點是可以在任何給定金字塔網(wǎng)絡(luò)的輸出處獲得特征金字塔表示。此屬性可以隨時檢測，可以在早期退出時生成檢測結(jié)果。
NAS 利用強化學(xué)習(xí)訓(xùn)練控制器在給定的搜索空間中選擇最優(yōu)的模型架構(gòu)。控制器利用子模型在搜索空間中的準確度作為獎勵信號來更新參數(shù)。因此，通過反復(fù)試驗，控制器逐漸學(xué)會了如何生成更好的架構(gòu)。由于不知道 FPN 的跨連接情況，NAS-FPN 采用 RNN 作為控制器，使用該控制器來產(chǎn)生一串信息，用于構(gòu)建不同的連接。其宏觀結(jié)構(gòu)如下圖所示：（圖源文章）
搜索得到的最優(yōu) FPN 結(jié)構(gòu)如下圖，其控制器收斂得到的最終 FPN 結(jié)構(gòu)如 (f) 所示，并且其精度最高。
每個點代表一個特征層。同一行的特征層具有相同的分辨率。分辨率在自底向上下降。箭頭表示內(nèi)部層之間的連接。圖中左側(cè)是輸入層。金字塔網(wǎng)絡(luò)的輸入用綠色圓圈標記，輸出用紅色圓圈標記。
最終收斂的 FPN 網(wǎng)絡(luò)結(jié)構(gòu)如下圖：
注：圖6：NAS-FPN中發(fā)現(xiàn)的7合并單元金字塔網(wǎng)絡(luò)的體系結(jié)構(gòu)，具有5個輸入層（黃色）和5個輸出要素層（藍色）。GP和R-C-B分別代表Global Pooling和ReLU-Conv-BatchNorm。
&Evaluation
Proxy task
為了加速RNN控制器的訓(xùn)練，我們需要一個代理任務(wù)，它具有較短的訓(xùn)練時間，并且與實際任務(wù)相關(guān)。
然后，可以在搜索期間使用代理任務(wù)來識別良好的FPN架構(gòu)。我們發(fā)現(xiàn)我們可以簡單地縮短目標任務(wù)的訓(xùn)練并將其用作代理任務(wù)。我們只訓(xùn)練10個時期的代理任務(wù)，而不是我們用來訓(xùn)練RetinaNet匯聚的50個時期。為了進一步加快培訓(xùn)代理任務(wù)，我們使用ResNet-10的小型骨干架構(gòu)，輸入512×512圖像大小。
通過這些減少，TPU上的代理任務(wù)的培訓(xùn)時間為1小時。我們在代理任務(wù)中重復(fù)金字塔網(wǎng)絡(luò)3次。
初始學(xué)習(xí)率0.08適用于前8個時期，并且在時期8處以0.1的系數(shù)衰減。我們保留從COCO
train2017中隨機選擇的7392個圖像作為驗證集，我們用它來獲得獎勵Controller
我們的控制器是遞歸神經(jīng)網(wǎng)絡(luò)（RNN），并使用近端策略優(yōu)化（PPO）[33]算法進行訓(xùn)練?？刂破鲗哂胁煌軜?gòu)的子網(wǎng)絡(luò)進行采樣。這些體系結(jié)構(gòu)使用工作池來訓(xùn)練代理任務(wù)。
我們實驗中的工作隊列由100個Tensor Processing
Units（TPU）組成。由此產(chǎn)生的保持定值組平均精度（AP）的檢測精度用作更新控制器的獎勵。注：架構(gòu)的詳細信息為上文收斂的 FPN 網(wǎng)絡(luò)結(jié)構(gòu)圖
圖5-Left顯示了不同迭代訓(xùn)練的采樣體系構(gòu)結(jié)的AP。可以看出，控制器隨著時間的推移產(chǎn)生了更好的架構(gòu)。
圖5-Right顯示了采樣架構(gòu)的總數(shù)以及RNN控制器生成的唯一架構(gòu)的總數(shù)。經(jīng)過約8000步后，獨特架構(gòu)的數(shù)量趨于一致。
Discovered feature pyramid architectures
什么使金字塔結(jié)構(gòu)成為一個好的功能？ 我們希望通過可視化發(fā)現(xiàn)的架構(gòu)來闡明這個問題。在圖7（b-f）中，我們繪制了NAS-FPN架構(gòu)，在RL訓(xùn)練期間獲得了更高的獎勵。我們發(fā)現(xiàn)RNN控制器可以在早期學(xué)習(xí)階段快速獲得一些重要的跨尺度連接。例如，它發(fā)現(xiàn)高分辨率輸入和輸出特征層之間的連接，這對于生成用于檢測小物體的高分辨率特征至關(guān)重要。
當控制器收斂時，控制器會發(fā)現(xiàn)具有自上而下和自下而上連接的架構(gòu)，這與圖7（a）中的vanilla FPN不同。隨著控制器的收斂，我們還發(fā)現(xiàn)了更好的特征重用?？刂破?span style="box-sizing: border-box;outline: 0px;font-weight: 700;overflow-wrap: break-word;">不是從候選池中隨機選擇任何兩個輸入層，而是學(xué)習(xí)在新生成的層上構(gòu)建連接以重用先前計算的特征表示。
Stacking pyramid networks
我們的金字塔網(wǎng)絡(luò)具有很好的特性，可以通過堆疊多個重復(fù)架構(gòu)將其擴展為更大的架構(gòu)。在上圖中，我們顯示堆疊vanilla FPN（vanilla ？？？？這個是什么，剛?cè)腴T不久，博主不是很清楚這個東西）架構(gòu)并不總能提高性能，而堆疊NAS-FPN顯著提高了準確性。這個結(jié)果突出了我們的搜索算法可以找到可擴展的架構(gòu)，這可能很難手動設(shè)計。有趣的是，雖然我們在架構(gòu)搜索階段只代理任務(wù)應(yīng)用了3個金字塔網(wǎng)絡(luò)，但應(yīng)用最多7個金字塔網(wǎng)絡(luò)時性能仍然有所提高。Adopting different backbone architectures
一種衡量對象檢測體系結(jié)構(gòu)準確性和速度的常用方法是改變主干架構(gòu)。盡管NAS-FPN中的金字塔網(wǎng)絡(luò)是通過使用輕量級ResNet-10骨干架構(gòu)發(fā)現(xiàn)的，但我們表明它可以在不同的骨干架構(gòu)中很好地傳輸。上圖中顯示了NAS-FPN在不同主干之上的性能，從較輕的體系結(jié)構(gòu)（如MobilenetV2）到非常高容量的體系結(jié)構(gòu)（如AmoebaNet-D [29]）。Adjusting feature dimension of feature pyramid networks
增加模型容量的另一種方法是增加NAS-FPN中特征圖層的特征尺寸。圖8c顯示了具有ResNet-50骨干架構(gòu)的NAS-FPN中128,256和384特征維度的結(jié)果。 毫不奇怪，增加特征尺寸可以提高檢測性能，但它可能不是提高性能的有效方法。注：點上方的數(shù)字表示網(wǎng)絡(luò)堆疊的次數(shù)。
Architectures for high detection accuracy
通過可擴展的NAS-FPN架構(gòu)，我們將討論如何在保持高效的同時構(gòu)建精確模型。在圖9a中，我們首先表明NAS-FPN R-50 5 @ 256模型具有與R-101 FPN基線相比較的FLOP，但具有2.5 AP增益。 這表明使用NAS-FPN比用更高容量的模型替換骨干更有效。為了獲得更高精度的模型，可以使用更重的骨架模型或更高的特征尺寸。圖9（a）顯示，與現(xiàn)有方法相比，NAS-FPN架構(gòu)位于推理時間數(shù)字的左上部分。NAS-FPN與最先進的Mask R-CNN模型一樣精確，計算時間更短。
Architectures for fast inference
設(shè)計具有低延遲和有限計算預(yù)算的對象檢測器是一個活躍的研究課題。在這里，我們介紹NAS-FPNLite用于移動對象檢測。
NAS-FPNLite和NAS-FPN的主要區(qū)別在于我們搜索具有P3到P6輸出的金字塔網(wǎng)絡(luò)。在圖9b中，我們將NAS-FPN的特征維度控制為48或64，以便它具有相似的FLOP Pixel1上的CPU和CPU運行時作為基線方法，并顯示NAS-FPNLite優(yōu)于SS-DLite [32]和FPNLite。
Further Improvements with DropBlock
由于NAS-FPN架構(gòu)中引入的新層數(shù)量增加，因此需要進行適當?shù)哪Ｐ驼齽t化以防止過度擬合。我們在NAS-FPN層中的批量標準化層之后應(yīng)用塊大小為3x3的DropBlock。
圖10顯示DropBlock提高了NAS-FPN的性能。特別是，對于具有更多新引入的過濾器的架構(gòu)，它進一步提高。
result
&Conclusion
本文提出利用神經(jīng)架構(gòu)搜索進一步優(yōu)化用于目標檢測的特征金字塔網(wǎng)絡(luò)的設(shè)計過程。在 COCO 數(shù)據(jù)集上的實驗表明，神經(jīng)結(jié)構(gòu)搜索發(fā)現(xiàn)的架構(gòu)，名為 NAS-FPN，具有良好的靈活性和高性能，可用于構(gòu)建精確的檢測模型。在廣泛的精度和速度權(quán)衡方面，NAS-FPN 在許多檢測任務(wù)的主干架構(gòu)上產(chǎn)生了顯著改進。
&Notes
主要貢獻
設(shè)計搜索空間，覆蓋所有可能的跨尺度連接，以生成多尺度特征表示。 在搜索過程中，我們的目標是發(fā)現(xiàn)一個具有相同輸入和輸出特性級別并且可以重復(fù)應(yīng)用的原子體系結(jié)構(gòu)(博主不是特別能理解這句話：具有相同輸入和輸出特性級別？？？)。模塊化的搜索空間使搜索金字塔結(jié)構(gòu)變得易于管理。模塊化金字塔結(jié)構(gòu)的另一個好處是能夠隨時隨地檢測目標（或“提前退出”）。盡管已經(jīng)嘗試了這種早期的退出方法[14]，但是在考慮到這種約束的情況下，手工設(shè)計這種體系結(jié)構(gòu)是相當困難的。
優(yōu)勢
NAS-FPN的優(yōu)勢之一是搜索空間的設(shè)計，覆蓋所有可能的跨尺度連接，用來生成多尺度特征表示。 在搜索過程中，研究者的目標是發(fā)現(xiàn)具有相同輸入和輸出特征級別并且可以被重復(fù)應(yīng)用的微粒架構(gòu)。模塊化搜索空間使得搜索金字塔架構(gòu)變得易于管理。
可視化NAS-FPN架構(gòu)的理解
看圖理解：
仔細看圖七，圖（b~f）共有8列，除去輸入層，也就是文章說的7個merging cell，注意每一列都有一個中間狀態(tài) 一共是7個代表的是7merging
cell的輸出。第二列和第三列上的點，分別有一個點是藍色的，其余都是普通的黑色。后面的五列中，藍色點上還有紅色圈圈，則為輸出。以下理解，參考來自文章
merging cell介紹了編碼的方式 |輸入|輸入|輸出|操作方式 |–|--|–|--|不太清楚他們是不是相互獨立的 本文中FPN一共有7個上述cell 因此用長度28的串就可以表示一個FPN 初始狀態(tài)有5個
由于采用了7個merging cells 因此又多了7個狀態(tài)因此是12個狀態(tài) 但是上面的12的狀態(tài)并不是最終的輸出 還有一步處理，文中說Similar to [44], we take all feature layers that have not been connected to any of output layer and sum them to the output layer
that has the corresponding resolution正是因為這一點，你會看到有些點的輸入是三個輸入（merging cell 的輸入是兩輸入） 這是二次處理的結(jié)果，但是論文中并不是上面的這種理解方式。首先得到28個編碼之后，然后檢查是否有沒有用到的5個狀態(tài)中的一個，然后與merging cell的輸出進行sum。得到的結(jié)果才是中間狀態(tài)。
編碼：
一共有5行 8列 這是因為有5個輸入狀態(tài) 7merging cell的結(jié)果 注意每一列都有一個中間狀態(tài) 一共是7個代表的是7merging cell的輸出 如果按照12345對于中間狀態(tài)的resolution進行編碼的的化 從下往上依次是 1 2 3 4 5對于
(b)圖就是4 5 1 4 2 3 5
(f)圖就是2 2 1 2 3 5 4
參考
CVPR 2019 | NAS-FPN：基于自動架構(gòu)搜索的特征金字塔網(wǎng)絡(luò)