1. <strong id="7actg"></strong>
    2. <table id="7actg"></table>

    3. <address id="7actg"></address>
      <address id="7actg"></address>
      1. <object id="7actg"><tt id="7actg"></tt></object>

        ?Complexer-YOLO:基于語義點(diǎn)云的實(shí)時(shí)三維目標(biāo)檢測與跟蹤

        共 2758字,需瀏覽 6分鐘

         ·

        2021-05-31 20:33

        全網(wǎng)搜集目標(biāo)檢測文章,人工篩選最優(yōu)價(jià)值內(nèi)容

        編者薦語
        基于語義點(diǎn)云的實(shí)時(shí)三維目標(biāo)檢測與跟蹤,是計(jì)算機(jī)視覺CV中的一個(gè)基本問題,同時(shí)在自動駕駛、AR/VR以及機(jī)器人等領(lǐng)域中都起到巨大的作用。
        轉(zhuǎn)載自 | 泡泡機(jī)器人SLAM

        摘要

               基于自動駕駛領(lǐng)域最為先進(jìn)的3D目標(biāo)檢測與視覺語義分割技術(shù),我們提出了一種新的融合神經(jīng)網(wǎng)絡(luò)。此外,我們還引入了尺度旋轉(zhuǎn)平移分子(SRTs),這是一種快速且高度參數(shù)化的對比目標(biāo)檢測效果的評估指標(biāo),它將我們的推理時(shí)間提高了20%同時(shí)促使訓(xùn)練時(shí)間減半。在此基礎(chǔ)上,我們將最先進(jìn)的在線多目標(biāo)特征跟蹤技術(shù)應(yīng)用于目標(biāo)測量中,進(jìn)一步提高了利用時(shí)間信息的準(zhǔn)確性和魯棒性。我們在KITTI上的實(shí)驗(yàn)表明,我們在所有相關(guān)類別中都取得了與最新技術(shù)相同的結(jié)果,同時(shí)保持了性能和準(zhǔn)確性的折衷,并且仍然實(shí)時(shí)運(yùn)行。此外,我們的模型是第一個(gè)融合視覺語義和三維目標(biāo)檢測的模型。

        主要貢獻(xiàn)

        1. 視覺類特征:結(jié)合了基于相機(jī)的快速語義分割生成的可視逐點(diǎn)類特征
        2. 體素化輸入:擴(kuò)展Complex-YOLO處理具有可變尺寸深度而不是固定RGB貼圖的體素化輸入特征
        3. 真正的3D預(yù)測:擴(kuò)展回歸網(wǎng)絡(luò)以預(yù)測3D框的高度和z偏移,以在三個(gè)維度上處理目標(biāo)。
        4.刻度-旋轉(zhuǎn)-平移分?jǐn)?shù)(SRT):考慮到檢測到的對象的3DoF姿勢(包括偏航角,例如寬度,高度和長度),我們引入了SRT,這是一種用于3D盒子的新驗(yàn)證指標(biāo),明顯比IoU更快。
        5.多目標(biāo)跟蹤:在線特征跟蹤器的應(yīng)用與檢測網(wǎng)絡(luò)分離,可以基于實(shí)際的物理假設(shè)進(jìn)行結(jié)合時(shí)間的跟蹤和目標(biāo)實(shí)例化。
        6.實(shí)時(shí)功能:盡管語義分割,3D對象檢測(例如多目標(biāo)跟蹤)方面有最新的成果,但我們提供了新的具有出色的全面實(shí)時(shí)功能的跟蹤管道。可以將管道直接引入感知城市風(fēng)光的每輛自動駕駛汽車中。

        算法結(jié)構(gòu)

        下圖為Complexer-YOLO處理管道:
        A.點(diǎn)云預(yù)處理
        每個(gè)體素,在其3D空間中至少存在一個(gè)點(diǎn),并且對前置相機(jī)可見,每個(gè)體素都填充有從范圍[1、2]中的語義映射中提取的歸一化類值。
        B.深度和顏色渲染
        通過步長2的卷積來替換最大池化層,并添加殘差聯(lián)接層??偣灿?9個(gè)卷積層。此外,我們加入目標(biāo)高度h和地面偏移z作為目標(biāo)回歸參數(shù),并將二者合并到多單元損失函數(shù)中。
        在訓(xùn)練過程中,通常使用IoU來對比檢測值和地面真值。但是,在比較旋轉(zhuǎn)邊框時(shí),以上參考值存在缺點(diǎn)。如果兩個(gè)邊框的大小和位置相同,角度相差π 這兩個(gè)邊框之間的IoU是1,這意味著它們完全匹配。顯然不是這樣,因?yàn)閮蓚€(gè)邊框之間的角度存在最大的差異。因此,在訓(xùn)練一個(gè)網(wǎng)絡(luò)時(shí),它不會因?yàn)轭A(yù)測這樣的邊框而受到懲罰甚至鼓勵(lì)。這將導(dǎo)致對目標(biāo)方向的錯(cuò)誤預(yù)測,同時(shí)計(jì)算三維空間中旋轉(zhuǎn)邊框的精確IoU也是一項(xiàng)耗時(shí)的任務(wù)。
        為了克服這兩個(gè)問題,我們引入了一個(gè)新的高度參數(shù)化的簡單評價(jià)指標(biāo)稱為縮放旋轉(zhuǎn)平移分?jǐn)?shù)(SRTs)。
        所有之前的分?jǐn)?shù)都在區(qū)間[0,1]內(nèi),可以使用簡單的加權(quán)平均值和懲罰點(diǎn)組合成最終分?jǐn)?shù)(Ssrt)。
        SRT與網(wǎng)絡(luò)必須完成的三個(gè)子任務(wù)(旋轉(zhuǎn)、位置、大?。┩昝赖亟Y(jié)合在一起,以便預(yù)測具有偏航角的3D邊框。
        C.LMB RFS中的擴(kuò)展目標(biāo)模型
        在LMB更新步驟中,每個(gè)預(yù)測目標(biāo)與時(shí)間步的每個(gè)測量相關(guān)聯(lián),并且根據(jù)所定義的測量模型執(zhí)行更新。

        主要結(jié)果

        Abstract
             Complexer-YOLO: Real-Time 3D Object Detection and Tracking on Semantic Point Clouds Accurate detection of 3D objects is a fundamental problem in computer vision and has an enormous impact on autonomous cars, augmented/virtual reality and many applications in robotics. In this work we present a novel fusion of neural network based state-of-the-art 3D detector and visual semantic segmentation in the context of autonomous driving. Additionally, we introduce Scale-Rotation-Translation score (SRTs), a fast and highly parameterizable evaluation metric for comparison of object detections, which speeds up our inference time up to 20% and halves training time. On top, we apply state-of-the-art online multi target feature tracking on the object measurements to further increase accuracy and robustness utilizing temporal information. Our experiments on KITTI show that we achieve same results as state-of-the-art in all related categories, while maintaining the performance and accuracy trade-off and still run in real-time. Furthermore, our model is the first one that fuses visual semantic with 3D object detection.

        ?------------------------------------------------

        雙一流大學(xué)研究生團(tuán)隊(duì)創(chuàng)建,一個(gè)專注于目標(biāo)檢測與深度學(xué)習(xí)的組織,希望可以將分享變成一種習(xí)慣。

         

        整理不易,點(diǎn)贊三連!

        瀏覽 121
        點(diǎn)贊
        評論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
        評論
        圖片
        表情
        推薦
        點(diǎn)贊
        評論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
        1. <strong id="7actg"></strong>
        2. <table id="7actg"></table>

        3. <address id="7actg"></address>
          <address id="7actg"></address>
          1. <object id="7actg"><tt id="7actg"></tt></object>
            亚洲一区二区三区五月天婷婷 | 深夜福利二区 | 国产精品美女www | 十八禁又大又黄 | 免费一级特黄特色毛片久久看 | 女人扒开腿让男人桶爽 | 成人午夜在线观看 | 亚洲黄av | 龙的两根好大拔不出去h | www激情com |