ECCV2020 最佳論文提名 | 流感知技術(shù)

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時間送達(dá)

前一段時間,ECCV2020公布了最佳論文提名獎,卡耐基梅隆大學(xué)以《Towards Streaming Perception》榮獲該獎項(xiàng).他們開發(fā)了一種新的衡量自動駕駛汽車對不斷變化的交通狀況的反應(yīng)能力的標(biāo)準(zhǔn)，這使比較感知系統(tǒng)的準(zhǔn)確性和反應(yīng)時間首次成為可能.

自動駕駛以及虛擬現(xiàn)實(shí)等應(yīng)用都需要低延遲的算法來支撐，為了保證安全和提供給用戶足夠的視覺沉浸感，算法的延遲標(biāo)準(zhǔn)應(yīng)該和人類對場景改變的反應(yīng)時間保持一致，通常是200毫秒。近來的計算機(jī)視覺算法也開始考慮延遲（Latency）對算法性能的影響，但也僅僅是在離線環(huán)境下考慮如何提高算法的準(zhǔn)確率（Accuracy），并在二者之間尋找一個平衡點(diǎn)。

以這種評估方法優(yōu)化得到的算法還無法應(yīng)用在實(shí)時在線的感知場景中，因?yàn)楫?dāng)算法完成對某一幀圖像的處理時，比如200ms后，周圍的環(huán)境就已經(jīng)發(fā)生了變化。如下面的視頻所示，算法在得到第一幀中車輛的分割結(jié)果后，車輛就已經(jīng)運(yùn)動到另一個位置了，那此時所得到的分割結(jié)果的意義就很小了。

本文提出了一種方法可以將延遲和準(zhǔn)確率結(jié)合起來應(yīng)用在實(shí)時的算法評估中，作者稱之為“流準(zhǔn)確率”，并在此度量的基礎(chǔ)上，提出了流感知的元基準(zhǔn)，可以將任何單幀任務(wù)轉(zhuǎn)換為流感知任務(wù)。

Single GPU vs Infinite GPUs

Instance Segmentation

Forecasting

Detectors Only

作者選擇了Argoverse1.1數(shù)據(jù)集,作者重點(diǎn)選擇其中的RGB圖像數(shù)據(jù),對其做了額外的密集標(biāo)注構(gòu)成了Argoverse-HD(High-frame-rate-Detection),新數(shù)據(jù)集中每個場景的視頻的幀率為30FPS，同時標(biāo)注密度與該幀率保持一致.