1. <strong id="7actg"></strong>
    2. <table id="7actg"></table>

    3. <address id="7actg"></address>
      <address id="7actg"></address>
      1. <object id="7actg"><tt id="7actg"></tt></object>

        ACM第一名:基于軌跡感知多模態(tài)特征的視頻關系檢測

        共 1590字,需瀏覽 4分鐘

         ·

        2021-02-02 10:34

        點擊上方小白學視覺”,選擇加"星標"或“置頂

        重磅干貨,第一時間送達

        小白導讀

        論文是學術研究的精華和未來發(fā)展的明燈。小白決心每天為大家?guī)斫?jīng)典或者最新論文的解讀和分享,旨在幫助各位讀者快速了解論文內(nèi)容。個人能力有限,理解難免出現(xiàn)偏差,建議對文章內(nèi)容感興趣的讀者,一定要下載原文,了解具體內(nèi)容。


        摘要


        視頻關系檢測問題是指對視頻中不同對象之間的關系進行檢測,如空間關系、動作關系等。在本文中,作者提出了基于軌跡感知的多模態(tài)特征的視頻關系檢測來解決這一問題??紤]到視頻視覺關系檢測的復雜性,作者將該任務分解為三個子任務:目標檢測、軌跡建議和關系預測。作者采用最先進的目標檢測方法來保證目標軌跡檢測的準確性和多模態(tài)特征表示來幫助預測目標之間的關系。作者的方法以11.74%的mAP在ACM多媒體2020的視頻關系理解大挑戰(zhàn)的視頻關系檢測任務中獲得第一名,大大超過了其他方法。


        本文創(chuàng)新點


        本文提出了一種視頻關系檢測方法。作者按照[11]的方案,建立了一個目標軌跡檢測模塊和一個關系預測模塊的系統(tǒng)。對于目標軌跡檢測器,作者首先使用最先進的檢測器級聯(lián)RCNN[1],以ResNeSt101[17]為骨干,對每個視頻幀進行目標檢測。然后作者使用seq-NMS[3]改進的動態(tài)規(guī)劃算法來關聯(lián)所有幀的目標檢測結果,并為每個目標生成軌跡。對于關系預測器,作者結合運動特征、視覺特征、語言特征和位置掩模特征對每對軌跡進行預測。多模態(tài)特征的使用有助于提高關系預測的準確性。作者的方法框架如圖1所示,作者的方法在ACM Multimedia 2020的視頻關系理解大挑戰(zhàn)[12]視頻關系檢測任務中取得了第一名。


        框架結構


        作者的方法框架

        十字框架鏈接方式

        預測網(wǎng)絡的關系


        實驗結果


        作者在維多測試集上的詳細評估分數(shù)(%)

        與最新的VidOR驗證集方法的比較(%)


        結論


        在本文中,作者提出了軌跡感知的多模態(tài)特征用于視頻關系檢測。最后,作者獲得了11.74%的mAP,在ACM多媒體2020視頻關系理解大挑戰(zhàn)的視頻關系檢測任務中排名第一。


        論文鏈接:https://arxiv.org/pdf/2101.08165.pdf


        每日堅持論文分享不易,如果喜歡我們的內(nèi)容,希望可以推薦或者轉發(fā)給周圍的同學。


        - END?-

        下載1:OpenCV-Contrib擴展模塊中文版教程
        在「小白學視覺」公眾號后臺回復:擴展模塊中文教程,即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版,涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

        下載2:Python視覺實戰(zhàn)項目31講
        小白學視覺公眾號后臺回復:Python視覺實戰(zhàn)項目31講,即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目,助力快速學校計算機視覺。

        下載3:OpenCV實戰(zhàn)項目20講
        小白學視覺公眾號后臺回復:OpenCV實戰(zhàn)項目20講即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目,實現(xiàn)OpenCV學習進階。

        交流群


        歡迎加入公眾號讀者群一起和同行交流,目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群(以后會逐漸細分),請掃描下面微信號加群,備注:”昵稱+學校/公司+研究方向“,例如:”張三?+?上海交大?+?視覺SLAM“。請按照格式備注,否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關微信群。請勿在群內(nèi)發(fā)送廣告,否則會請出群,謝謝理解~


        瀏覽 28
        點贊
        評論
        收藏
        分享

        手機掃一掃分享

        分享
        舉報
        評論
        圖片
        表情
        推薦
        點贊
        評論
        收藏
        分享

        手機掃一掃分享

        分享
        舉報
        1. <strong id="7actg"></strong>
        2. <table id="7actg"></table>

        3. <address id="7actg"></address>
          <address id="7actg"></address>
          1. <object id="7actg"><tt id="7actg"></tt></object>
            少妇大战28厘米黑人 | 日韩精品中文字幕一区二区三区 | 乱伦手机 | 国产精品视频中文字幕 | 亚洲无码 家庭乱伦 | 狠狠人妻久久久久久综合 | japanesemon偷伦 | 清冷受被强制侵犯高hnp漫画 | 高潮91 | 日韩另类无码 |