是最重要的計算機視覺過程之一，它將圖像分割成更小的、多個片段，這樣的話，目標的表示和進一步的分析就變得簡單。這個過程有各種各樣的應用，從在醫(yī)學圖像定位腫瘤和發(fā)展機器視覺中的生物測量識別的目標檢測。圖像分割過程主要分為兩個部分：Semantic segmentation和Instance segmentation。

語義分割是指將圖像中的像素分類為有意義的目標類別，如天空、道路或公共汽車。

實例分割包括以像素級識別、分類和定位圖像中出現(xiàn)的各種實例(對象)，并要求保留圖像中出現(xiàn)的最精細的特征。它是目標檢測過程中最復雜的任務之一。過去，Mask R-CNN是最常用的實例分割技術。單階段目標測器技術YOLO3使用了特征金字塔。在YOLO的最近的一個版本YOLOv4中，使用了一種新的方法來分割實例，稱為Path Aggregation Network或PANet或簡稱為PAN。讓我們更詳細地了解一下這項技術。

PANet:

PANet位在于YOLOv4模型的neck，主要通過保留空間信息來增強實例分割過程。

PANet的性質

YOLOv4中選擇PANet進行實例分割的原因是它能夠準確地保存空間信息，有助于正確定位像素點，形成mask。

使PANet如此準確的特性有：

1. 從底到上的路徑增強

當圖像經(jīng)過神經(jīng)網(wǎng)絡的各個層時，特征的復雜度增加，同時圖像的空間分辨率降低。因此，像素級mask無法通過高層次的特征準確的識別。

YOLOv3中使用的FPN使用自頂向下的路徑來提取語義豐富的特征并將其與精確的定位信息結合起來。但對于為大目標生成mask，這種方法可能會導致路徑過于冗長，因為空間信息可能需要傳播到數(shù)百個層。

另一方面，PANet使用另一條自底向上的路徑，而FPN采用的自頂向下的路徑。通過使用從底層到頂層的橫向連接，這有助于縮短路徑。這就是所謂的**“shortcut”**連接，它只有大約10層。

2. 自適應特征池化

以前使用的技術，如Mask-RCNN使用單一階段的特征來做mask預測。如果感興趣區(qū)域較大，則使用ROI Align Pooling從較高層次提取特征。雖然相當準確，但這仍然可能導致不希望的結果，因為有時兩個proposals只有10像素的差異，但是分配到了兩個不同的層，而實際上它們是非常相似的proposals。

為了避免這種情況，PANet使用來自所有層的特征，并讓網(wǎng)絡決定哪些是有用的。對每個特征圖進行ROI對齊操作，提取目標的特征。接下來是元素級的最大融合操作，以使網(wǎng)絡適配新的特征。

3. 全連接融合

在Mask-RCNN中，使用FCN來代替全連接層，因為它保留了空間信息，減少了網(wǎng)絡中的參數(shù)數(shù)量。然而，由于所有空間位置的參數(shù)都是共享的，模型實際上并沒有學會如何使用像素位置來進行預測，默認情況下，它會在圖像的頂部顯示天空，在底部顯示道路。

另一方面，全連接層是位置敏感的，可以適應不同的空間位置。

PANet使用來自這兩層的信息來提供更準確的mask預測。

為YOLOv4做的修改

PANet通常使用自適應特征池化將相鄰的層相加到一起進行mask預測。但是，在YOLOv4中使用PANet時，這種方法做了點修改，例如，不是相加相鄰的層，而是對它們應用一個拼接操作，以提高預測的準確性。

性能分析

使用ResNet-50骨干，使用多尺度圖像進行訓練，PANet超過了Mask-RCNN和2016年冠軍，并且在2017年COCO實例分割挑戰(zhàn)中也獲得了冠軍，在不需要大batch訓練的目標檢測任務中排名第二。

在Cityscapes數(shù)據(jù)集上，它的表現(xiàn)也一直優(yōu)于Mask-RCNN。經(jīng)過COCO的預訓練，該模型能夠比Mask-RCNN高出4.4個百分點。

YOLOv4采用了PANet，由于其簡單的實現(xiàn)和高性能，提高了預測的準確性，速度是EfficientDet的兩倍。

從APs來看，YOLOv4取得AP值為43.5% (65.7% AP??)在MS COCO數(shù)據(jù)集上，并在Tesla V100上實現(xiàn)了~ 65幀/秒的實時的速度，使其成為最快和最準確的檢測器。由于包含了PANet而不是YOLOv3中使用的FPN，YOLOv4的性能提高了10-12% !

總結

PANet是快速、簡單和非常有效的。它包含可以通過管道聚合的信息的組件。它對所有l(wèi)evel的特征進行池化，縮短了最低層和頂層之間的距離。并且使用增強路徑來豐富每個級別的特征。

在YOLOv4中測試時，它顯示出了令人驚嘆的結果，并大大提升了特征提取過程，保證了它在YOLOv4模型的neck的位置。