↑ 點擊藍字?關注極市平臺

作者丨賽文

來源丨AI科技評論

編輯丨極市平臺

極市導讀

?

不久前，一組研究者結合實時任務中算法的準確率和延遲情況，提出了“流感知”評估函數，這一方向還存在很大的研究空間。

今天解讀的論文的是不久前獲得ECCV 2020 最佳論文提名獎的《Towards Streaming Perception》。

在這篇論文中，來自CMU和UIUC的研究者針對實時在線感知問題，分析了現有算法對延遲優(yōu)化的忽略，提出了一種流感知的概念，并將算法準確率和延遲結合在一起提出了一種新的評估標準，作者認為這才符合實時在線感知的實際應用場景。

論文鏈接：

https://arxiv.org/abs/2005.10420

代碼鏈接：

https://github.com/mtli/sAP

1 動機

自動駕駛以及虛擬現實等應用都需要低延遲的算法來支撐，為了保證安全和提供給用戶足夠的視覺沉浸感，算法的延遲標準應該和人類對場景改變的反應時間保持一致，通常是200毫秒。近來的計算機視覺算法也開始考慮延遲（Latency）對算法性能的影響，但也僅僅是在離線環(huán)境下考慮如何提高算法的準確率（Accuracy），并在二者之間尋找一個平衡點。

以這種評估方法優(yōu)化得到的算法還無法應用在實時在線的感知場景中，因為當算法完成對某一幀圖像的處理時，比如200ms后，周圍的環(huán)境就已經發(fā)生了變化。如下面的視頻所示，算法在得到第一幀中車輛的分割結果后，車輛就已經運動到另一個位置了，那此時所得到的分割結果的意義就很小了。

? ? ? ?? ? ? ?

本文提出了一種方法可以將延遲和準確率結合起來應用在實時的算法評估中，作者稱之為“流準確率”，并在此度量的基礎上，提出了流感知的元基準，可以將任何單幀任務轉換為流感知任務。

2?元基準

元基準可以系統(tǒng)地將任何圖像理解任務轉換為流式圖像理解任務。流感知評估的目標不再是單個函數，而是評估一段連續(xù)時間內的程序操作：首先將一段時間內的圖像幀集合輸入到模型中，模型會將每個輸入幀的估計值附上時間戳存儲到緩沖區(qū)，該緩沖區(qū)代表了當前世界的最新狀態(tài)（例如，場景中目標物體的bounding box列表）。

元基準需要遵循的一個約束是，流式感知需要隨時了解世界的狀態(tài)，當一個新的圖像幀到達時，流式算法必須報告世界的狀態(tài)，即便算法還沒有完成對上一幀的處理，該約束迫使算法在計算時必須考慮丟棄一些冗余的圖像幀。

1、預測值與Ground Truth

為了定義評估函數，我們首先要建立預測值和Ground Truth（GT）的數據對，其中GT直接使用離線評估中的GT標簽，相應的預測值為，標準離線任務的評估是針對(,?)進行計算，而進行流式評估時，評估的對象會變?yōu)?,)。

如上圖所示，給定時間，算法會對之前緩沖區(qū)中的預測值進行選擇，這些預測值都與一個時間戳進行配對，這也正是流感知評估與離線評估不同的地方，離線評估中的預測值是與輸入幀的順序（索引）配對。由于流式感知在計算過程中會對冗余幀進行刪除，作者選擇了與t時刻最接近的預測值與GT進行計算，其中為：

? ? ? ??? ? ?

在獲得了預測值和Ground Truth（GT）的數據對后，就可以定義評估函數：

? ? ? ??? ? ?

前面提到元基準可以將任何單幀圖像理解任務轉換為流式理解任務，所以這里可以是圖像分類任務中的Acc，目標檢測任務中的AP，或者是實例分割任務中的mIoU。

2、流式感知處理實時算法

本文提出的流感知處理實時算法與傳統(tǒng)方法有著較大的差異，傳統(tǒng)方法限制算法在下一幀到來之前就要完成對前一幀的處理，這就需要算法在傳感器（攝像頭）的采集幀率內運行，例如30FPS，作者認為這種方式有很大的局限性，不應該在任何情況下都認為30FPS等同于實時運行。反而可以將傳感器的采集幀率看作是一個可調整的參數，同時結合算力和應用場景對下游任務進行優(yōu)化。

流感知繞過了這個限制，在算法報告每一幀的狀態(tài)時，無需完成上一幀的運算。在對算法進行評估時，也要實現“即時”評估，即在時刻就要查詢的狀態(tài)，乍一看這樣并不合理，因為任何一個高效的算法都需要時間來執(zhí)行運算，它只能使用時間之前的數據。作者認為這才是實時算法應該考慮的實際評估環(huán)境。

對人類而言，想要即時的對世界做出反應，離不開大腦對世界狀態(tài)的預測，例如棒球運動員在面對飛向他的球時，也不是在球到他手中的那一刻才進行反應，而是需要大腦提前對棒球的位置進行預測，所以流式感知在處理實時任務時也要考慮加入預測的算法。

3 實驗

根據上面定義的流式感知元基準以及評估函數，作者重點選擇了目標檢測作為視頻理解任務進行了實驗，并在相同條件下與離線感知進行了對比。

1、數據集準備

作者選擇了Argoverse1.1[1]數據集，該數據集是自動駕駛領域中常用的數據集，包含了許多傳感器數據，作者重點選取了其中的RGB圖像數據，對其做了額外的密集標注構成了Argoverse-HD（High-frame-rate-Detection ），新數據集中每個場景的視頻的幀率為30FPS，同時標注密度與該幀率保持一致。

2、流式感知與離線感知對比

這里分別使用了幾個SOTA的目標檢測器進行了實驗，其中Hybrid Task Cascade(HTC)[2]作為baseline模型，RetinaNet[3]作為一個快速檢測器，并在Mask R-CNN[4]上進行了優(yōu)化。

下面視頻展示了HTC檢測器離線感知的效果，對應到上面表格中的第1行，AP值是38.0，檢測效果近乎完美，但是需要清楚的是，離線感知評估時，是將整個視頻輸入到檢測器中，檢測器對每一幀的預測都可以利用全局的信息，這種方式在實時的應用中是無法實現的。

? ? ? ?? ? ? ?

作者同樣使用HTC檢測器，以相同的幀率進行了流式感知測試，對應到上面表格中的第2行，效果如下：

? ? ? ?? ? ? ?

很明顯，不加任何額外處理的流式感知方式，檢測性能會直線下降，AP值只有6.2。作者認為現有的網絡僅僅針對吞吐量進行優(yōu)化，而很少考慮延遲，社區(qū)可能一味的追求較高的離線分數，而忽略了真正影響算法落地的延遲因素。例如，圖像預處理（縮放和歸一化等操作）通常是在CPU上完成的，然后調度到GPU中進行推理，這中間就會帶來很高的延遲。

為了提高流式感知的檢測性能，作者提出了幾種方法，第一種是通過繪制檢測器的延遲-準確率帕累托曲線，然后權衡二者來尋找到一個最優(yōu)點，如下圖所示，這也是目前最為直接的方法。

? ? ? ??? ? ?

這種方法的檢測效果如下，AP為12.0，對應到上面表格中的第6行

? ? ? ?? ? ? ?

可以看到效果已有不少的提升，但是仍然無法與離線感知相比，這也反映出目前急需對實時流式算法的研究。

作者還提出使用動態(tài)調度的方法，即幫助算法丟棄一些無用冗余的幀，來提高檢測精度。在算法處理完前一幀之后，需要對下一幀進行一個簡單的判斷，判斷該幀是否需要丟棄，判斷方法如下：

上一幀結束時間為，算法處理單幀的運行時間為，首先定義尾部函數來計算給定時刻的算法處理結束時間，表示下一幀的算法處理結束時間，表示上一幀的算法處理結束時間，然后使用艾弗森括號（Iverson bracket）判斷兩個尾部時間的關系進而決定當前幀是否需要丟棄。

在數學中，以Kenneth E. Iverson命名的“艾佛森括號”，是一種用方括號記號，如果方括號內的條件滿足則為1，不滿足則為0.?

如下圖所示，先使用艾弗森括號比較兩個尾部時間和，可以判斷出第2幀為冗余幀，算法直接空閑等待一會(Sit idle and wait!)，直接處理第3幀。這種動態(tài)調度的方式可以將流感知的檢測精度提升到13.0，與上面表格第7行對應。

? ? ? ??? ? ?

?

4 結論

本文引入了一個元基準，可以將現有的圖像或者視頻理解任務轉換為流式感知任務，以便應用到自動駕駛等實時性的任務中，同時結合準確率和延遲提出了一個整體的流感知評估函數，并對現有的一些SOTA檢測算法進行了實驗，發(fā)現了實時在線感知與離線感知的差距，雖然作者也提出了一些改進的方法，但仍存在很大的提升空間，作者希望通過該工作來啟發(fā)更多高效的流感知方法。

引用文獻

[1] Chang, Ming-Fang, et al. "Argoverse: 3d tracking and forecasting with rich maps."?Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.

[2] Chen, Kai, et al. "Hybrid task cascade for instance segmentation."?Proceedings of the IEEE conference on computer vision and pattern recognition. 2019.

[3] Lin, Tsung-Yi, et al. "Focal loss for dense object detection." Proceedings of the IEEE international conference on computer vision. 2017.

[4] He, Kaiming, et al. "Mask r-cnn."?Proceedings of the IEEE international conference on computer vision. 2017.

推薦閱讀

• 無痛漲點：目標檢測優(yōu)化的實用Trick
  

• 綜述：目標檢測二十年
  

• 總結目標檢測匹配策略與改進思路
  

添加極市小助手微信（ID : cvmart2），備注：姓名-學校/公司-研究方向-城市（如：小極-北大-目標檢測-深圳），即可申請加入極市目標檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強/OCR/視頻理解等技術交流群：每月大咖直播分享、真實項目需求對接、求職內推、算法競賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~

△長按添加極市小助手

△長按關注極市平臺，獲取最新CV干貨

覺得有用麻煩給個在看啦~??