程增木:激光雷達(dá)與攝像頭信息融合之路芯片之家關(guān)注共 4178字,需瀏覽 9分鐘 ·2021-06-09 14:31 在【首屆焉知汽車年會(huì)】上,芯片之家聯(lián)合創(chuàng)始人程增木以“現(xiàn)代汽車集團(tuán)的多傳感器融合之路”為主題,介紹了激光雷達(dá)與攝像頭信息融合的技術(shù),以及目標(biāo)跟蹤解決方案和卡爾曼濾波方法。他表示,目前比較火的兩個(gè)主要方向一個(gè)是域控制器,另一個(gè)是以太網(wǎng),在L4以上以太網(wǎng)是一個(gè)必備的技術(shù)。解讀多傳感器融合技術(shù)程增木首先結(jié)合某款車型介紹了多傳感器融合技術(shù)。其搭載ADAS輔助駕駛系統(tǒng),主要包括自適應(yīng)巡航、還有自動(dòng)識(shí)別行人、自行車、車輛及交叉路口的前方防碰撞輔助系統(tǒng),以滿足2021年最新的法規(guī)標(biāo)準(zhǔn)。此外還包括車道檢測(cè)警告、感應(yīng)死角的全景影像、駐車輔助,以及后方全景影像攝像頭、雷達(dá)和超聲波傳感器。該車型使用的是5R1V12U的ADAS解決方案,安全方面車輛可自主判斷駕駛環(huán)境,預(yù)測(cè)事故并積極介入。安全配置包括前防碰撞輔助、安全下車、后方交叉防碰撞。便利方面主要是自適應(yīng)巡航、車輛跟隨和高速公路駕駛輔助功能。他表示,多傳感技術(shù)融合是利用計(jì)算機(jī)技術(shù),將來自多個(gè)傳感器的多元信息及數(shù)據(jù)以一定規(guī)則進(jìn)行自動(dòng)分析及綜合,為后續(xù)決策及估計(jì)而進(jìn)行的信息處理過程。其處理方式像人腦處理信息一樣,將多個(gè)傳感器進(jìn)行多層次、多空間信息互補(bǔ)及信息優(yōu)化組合,最后產(chǎn)生對(duì)感知環(huán)境一致性的解釋。在融合過程中對(duì)信息需要進(jìn)行多識(shí)別、多方面組合,以產(chǎn)生一些更有效的信息。它不僅需要多個(gè)傳感器相互協(xié)同,而且需要提高數(shù)據(jù)源質(zhì)量。基本原理包括五部分,一是需要采集有源、無源數(shù)據(jù);二是輸出數(shù)據(jù),包括離散以及連續(xù)函數(shù)變量,以矢量直接對(duì)它打上標(biāo)簽,進(jìn)行特征提取,進(jìn)行一系列變化;三是需要對(duì)特殊矢量進(jìn)行模式識(shí)別和處理,包括算法,完成傳感器對(duì)各個(gè)目標(biāo)標(biāo)簽的說明;四是進(jìn)行分組關(guān)聯(lián);最后利用融合算法進(jìn)行合成,達(dá)到目標(biāo)的一致性。傳感器融合是一個(gè)信息處理的綜合過程,和單一傳感器相比,主要優(yōu)勢(shì)包括:提高數(shù)據(jù)質(zhì)量;增加數(shù)據(jù)可得性;通過多個(gè)傳感器融合感測(cè)未測(cè)的狀態(tài);擴(kuò)大覆蓋的范圍。傳感器融合主要采用三種處理結(jié)構(gòu):一是集中式,二是分布式,三是混合式,各自有其優(yōu)勢(shì)。分布式是把每個(gè)獨(dú)立傳感器獲得的原始信息進(jìn)行局部處理,然后將它送進(jìn)融合中心進(jìn)行優(yōu)化后得到最終結(jié)果。集中式是把各傳感器獲得的原始數(shù)據(jù)直接送到中央傳感器做融合,不做處理,可以實(shí)現(xiàn)實(shí)時(shí)融合。這種方式數(shù)據(jù)量非常大,比較難實(shí)現(xiàn)?;旌鲜骄哂休^強(qiáng)的適應(yīng)能力,兼顧了兩者的優(yōu)勢(shì)。 激光雷達(dá)與攝像頭信息融合程增木接著介紹了激光雷達(dá)和攝像頭信息融合的聯(lián)合標(biāo)的問題。做完信息融合之后,需要給它做一個(gè)標(biāo)的,包括兩部分內(nèi)容:第一部分是時(shí)間同步,由于各個(gè)傳感器采集數(shù)據(jù)發(fā)送頻率不一樣,需要把不同時(shí)間采集的數(shù)據(jù)進(jìn)行時(shí)間坐標(biāo)的同步;第二是在多傳感器融合數(shù)據(jù)時(shí)需要進(jìn)行空間對(duì)齊。目前,時(shí)間同步數(shù)是用ROS,在ROS中分別訂閱不同的需要融合的傳感器主題,通過時(shí)間同步模塊實(shí)現(xiàn)統(tǒng)一接收多個(gè)傳感器數(shù)據(jù),然后產(chǎn)生同步結(jié)果的回量函數(shù),再把這個(gè)回量函數(shù)里的變量采出來,之后完成時(shí)延同步。空間標(biāo)定主要是三維點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為二維數(shù)據(jù),然后把它轉(zhuǎn)換成Birdseye,即空間視角圖,再轉(zhuǎn)換成二維視角,選擇一個(gè)感興趣區(qū)域(ROI),進(jìn)行過濾后運(yùn)輸?shù)较袼匚恢茫畛渫瓿珊髣?chuàng)建圖像陣列,然后進(jìn)行對(duì)齊。目前,做的比較好的是百度Apollo開源標(biāo)的方法,還有Autowire等。激光雷達(dá)與攝像頭融合之后,會(huì)得到一個(gè)關(guān)于RGB-D圖像,可以利用二維檢測(cè)結(jié)果,并以具體信息實(shí)現(xiàn)環(huán)境檢測(cè)。它包括分三個(gè)部分:第一是Frustum Proposal,主要功能是IPN,檢測(cè)二級(jí)邊框,以識(shí)別出物體邊框,并且確定障礙物的類型,識(shí)別出人還是車輛,基于CV技術(shù)實(shí)現(xiàn)。第二是結(jié)合2D邊框以及RDB-D信息獲得激光雷達(dá)點(diǎn)云信息。第三是3D Instance Segmentation,就是Frustum Proposal模塊,它輸出邊框,一般可以看到它檢測(cè)的比人多出一塊,怎么辦呢?需要利用點(diǎn)云背景網(wǎng)絡(luò)架構(gòu)繼續(xù)對(duì)點(diǎn)云進(jìn)行提取,也可能別人會(huì)用別的點(diǎn)運(yùn)架構(gòu)來獲得物體信息。最后通過T-Net來估計(jì)物體三維尺寸,就可以精準(zhǔn)地對(duì)目標(biāo)進(jìn)行特征提取。采用的是某品牌激光雷達(dá)與攝像頭聯(lián)合檢測(cè),圖像用的是深度學(xué)習(xí),用的最多的是開源YoloV3或Foster-RCNN進(jìn)行訓(xùn)練。點(diǎn)云內(nèi)聚主要是對(duì)行人的檢測(cè),對(duì)于車輛來說,中央處理器可以對(duì)識(shí)別出來的物體進(jìn)行分類,它的標(biāo)簽就是人。相對(duì)單純使用激光雷達(dá)進(jìn)行檢測(cè),融合具有以下優(yōu)勢(shì):第一,物體的分類會(huì)更加準(zhǔn)確、豐富;第二,因?yàn)橛幸恍┘す饫走_(dá)點(diǎn)云在某些環(huán)境下比較稀疏,在20到30米的人行通道,通常只有2到3個(gè)點(diǎn)云數(shù)據(jù),所以難以對(duì)它進(jìn)行物體分類,如果利用圖像來提取可能會(huì)形成更好的互補(bǔ)效果。特斯拉就是這種方案,非常自信地只使用攝像頭對(duì)物體進(jìn)行檢測(cè)和分類。其檢測(cè)會(huì)更加的精準(zhǔn),可以為后續(xù)的多目標(biāo)跟蹤及模塊提供更優(yōu)質(zhì)的輸入。 多目標(biāo)跟蹤技術(shù)程增木介紹說,多目標(biāo)跟蹤技術(shù)主要包括目標(biāo)起始、終結(jié)、跟蹤維持等內(nèi)容,其中測(cè)量數(shù)據(jù)的處理與形成是多傳感器信息融合結(jié)果,數(shù)據(jù)關(guān)聯(lián)與跟蹤維持是多目標(biāo)跟蹤中最重要的兩個(gè)問題。數(shù)據(jù)關(guān)聯(lián)一般分為幾個(gè)步驟:建立關(guān)聯(lián)門、確定關(guān)聯(lián)門限、門限過濾、確定目標(biāo)相似度,以及建立關(guān)聯(lián)矩陣,并確立判斷選擇,最后形成關(guān)聯(lián)。數(shù)據(jù)關(guān)聯(lián)概念比較難理解,舉個(gè)非常簡(jiǎn)單的例子,比如空間中有兩個(gè)實(shí)體A1和A2,三個(gè)測(cè)量Z1、Z2和Z3,要進(jìn)行關(guān)聯(lián),第一步是建立關(guān)聯(lián)門,確定關(guān)聯(lián)門限,關(guān)聯(lián)門是兩個(gè)橢圓。第二步對(duì)它進(jìn)行過濾,可以看到Z1不是關(guān)聯(lián)范圍內(nèi)的變量,首先把它給去掉。第三步需要確定相似度度量方法,可以利用幾何向上的測(cè)量方法,主要是通過歐式距離計(jì)算公式。第四是建立關(guān)聯(lián)矩陣,建立之后利用一個(gè)關(guān)聯(lián)判斷準(zhǔn)則來形成關(guān)聯(lián)對(duì)。可以看到,在關(guān)聯(lián)中Z2和A1是在一個(gè)團(tuán)隊(duì)里,也就是說它們兩個(gè)是密切關(guān)聯(lián)的,而Z3和A2是在一個(gè)團(tuán)隊(duì)里,所以它們兩個(gè)是最關(guān)鍵的變量。通常,用數(shù)據(jù)關(guān)聯(lián)來確定相似度量方法和確定關(guān)聯(lián)判定準(zhǔn)則決定了整體關(guān)聯(lián)效果。相似度度量可以通過距離來體現(xiàn),比如歐式距離或者馬氏距離,向量相似形是通過概率概念體現(xiàn)。有幾種具體判斷方法,各有優(yōu)缺點(diǎn)和適用范圍。對(duì)于汽車來講,一般采用全局最近鄰的方法去替代最近鄰的方法,不管工業(yè)界還是學(xué)術(shù)派,目前最好的辦法是匈牙利算法數(shù)據(jù)關(guān)聯(lián)。在跟蹤維持方面,數(shù)據(jù)關(guān)聯(lián)模塊的當(dāng)前感知信息與上一幀跟蹤目標(biāo)信息數(shù)據(jù)匹配后,將匹配結(jié)果劃分到跟蹤、維持模塊,即汽車感知層級(jí)。跟蹤維持模塊的主要目的是對(duì)目標(biāo)進(jìn)行連續(xù)跟蹤,并需要對(duì)目標(biāo)可能出現(xiàn)的軌跡進(jìn)行預(yù)判,以保證跟蹤目標(biāo)不發(fā)生誤跟或失跟現(xiàn)象。 跟蹤算法主要分兩類:一類是單模型算法,另一類是多模型算法。前者一次使用一個(gè)模型,后者需要設(shè)計(jì)多個(gè)模型,判斷其以后可能會(huì)出現(xiàn)的一些運(yùn)動(dòng)方式。每個(gè)模型都有各自的過濾器,整體估值是對(duì)每個(gè)濾波器的加權(quán)進(jìn)行處理。用的最多的一種方法是卡爾曼濾波器。在在無人駕駛中,目前效果比較好的是無損卡爾曼濾波(UKF)辦法。它可以解決傳統(tǒng)卡爾曼濾波算法中一些限制化因素,并擴(kuò)展卡爾曼濾波。擴(kuò)展卡爾曼濾波主要是解決一些非線性化場(chǎng)景,但它有一個(gè)致命的問題,即時(shí)延。對(duì)于智能網(wǎng)聯(lián)汽車、無人駕駛這種需要非常強(qiáng)時(shí)效性的應(yīng)用來說,需要解決時(shí)延問題,而擴(kuò)展卡爾曼濾波恰好完美解決了兩個(gè)問題。在建模過程中,一般采用二次運(yùn)動(dòng)模型,主要是以下兩種,其中一個(gè)是CTRA作為進(jìn)行跟蹤模型建模。不同的是,擴(kuò)展卡爾曼濾波是直線加速度,而我們作為預(yù)判的是角加速度,是系統(tǒng)的處理噪聲。在UKF中噪聲可以用一個(gè)狀態(tài)轉(zhuǎn)移矩陣表示。用這個(gè)過程可以達(dá)到比較好的跟蹤效果。 L4級(jí)的Nexo程增木還展示了現(xiàn)代集團(tuán)的輕燃料L4級(jí)車型Nexo。他介紹說,該車從首爾開到釜山,搭載了各種傳感器。車設(shè)計(jì)中有一個(gè)按鍵,可以直接啟動(dòng)自動(dòng)駕駛。它用攝像頭識(shí)別物體,在隧道中,GPS不好用,這時(shí)用航向補(bǔ)償,可以測(cè)前方車速。目前,立交橋和交叉路口是比較難做的,因?yàn)榻徊媛房谏舷露询B的關(guān)系比較難處理。在非常高曲率過彎的極限狀況下,行人識(shí)別、三岔口交通識(shí)別,目前都能做到,還有一些交通標(biāo)志的識(shí)別,這也是L4級(jí)比較基礎(chǔ)的功能,也包括轉(zhuǎn)盤工況。技術(shù)展望:域控制器程增木最后展望了未來的技術(shù)發(fā)展。兩個(gè)主方向一是域控制器,二是以太網(wǎng),L4交互必須有以太網(wǎng)。他結(jié)合豐田的域控制器架構(gòu)介紹說,域控制器最初的邏輯并不是為了減少車輛ECU數(shù)量,而是為了整合數(shù)據(jù),增強(qiáng)計(jì)算能力。 目前,OEM還是按照傳統(tǒng)的域來進(jìn)行劃分,例如發(fā)動(dòng)機(jī)域控制器,還有新能源OEM的“三電”,可以合成一個(gè)域控制器;另外底盤及L4級(jí)別線控轉(zhuǎn)向,都需要利用一個(gè)域控制器器去處理;還有電子電器、智能網(wǎng)聯(lián)域等。如果按照中心域(CZ)劃分,新型域的開發(fā)更像是按照層任務(wù)來進(jìn)行:應(yīng)用層、感知層、網(wǎng)絡(luò)驅(qū)動(dòng)層、硬件層、整車層等。OEM的層級(jí)不便于開發(fā)。現(xiàn)在大部分域控制器制器內(nèi)部架構(gòu)是依據(jù)AUTOSAR或OSEK,OSEK用的人越來越少。開發(fā)一個(gè)靜態(tài)驅(qū)動(dòng)系統(tǒng),在軟件系統(tǒng)運(yùn)行過程中更多是一些函數(shù)的調(diào)用,將事先安排好的排序文件依次調(diào)動(dòng),逐個(gè)進(jìn)行,以滿足對(duì)行車安全苛刻的運(yùn)行需求。例如安全氣囊,是否打開安全函數(shù),是否每毫秒循環(huán)檢測(cè)一次,在緊急情況下使氣囊能夠打開。然后利用多核處理器,對(duì)運(yùn)行時(shí)間沒有特別高要求的功能函數(shù),動(dòng)態(tài)驅(qū)動(dòng)系統(tǒng)有更多的優(yōu)勢(shì),比如以服務(wù)為導(dǎo)向,可以進(jìn)行軟件升級(jí),針對(duì)這個(gè)系統(tǒng)AUTOSAR也提出了一套可變AUTOSAR的解決方案,既可以囊括動(dòng)態(tài)驅(qū)動(dòng)系統(tǒng)的優(yōu)點(diǎn),也為傳統(tǒng)AUTOSAR提供了接口。這樣,整車廠和不同供應(yīng)商的眾多軟件包分別構(gòu)成了診斷服務(wù)、安全措施、通信服務(wù)等功能塊,并集成在Adaptive-AUTOSAR工作組中。所有的軟件通過Service-Broker互通信息,并為傳統(tǒng)的AUTOSAR軟件提供接口。好書推薦關(guān)于智能網(wǎng)聯(lián)汽車的更多知識(shí),歡迎購買程增木出版的專業(yè)科普書籍《智能網(wǎng)聯(lián)汽車技術(shù)入門一本通》進(jìn)行學(xué)習(xí)。出版社/小程序/京東 長(zhǎng)按對(duì)應(yīng)圖片二維碼購買 瀏覽 67點(diǎn)贊 評(píng)論 收藏 分享 手機(jī)掃一掃分享分享 舉報(bào) 評(píng)論圖片表情視頻評(píng)價(jià)全部評(píng)論推薦 自動(dòng)駕駛傳感器融合:激光雷達(dá)+攝像頭新機(jī)器視覺0視覺激光雷達(dá)信息融合與聯(lián)合標(biāo)定小白學(xué)視覺0(附代碼)視覺激光雷達(dá)信息融合與聯(lián)合標(biāo)定新機(jī)器視覺0自動(dòng)駕駛爭(zhēng)奪戰(zhàn):激光雷達(dá)VS視覺攝像頭新機(jī)器視覺0程增魁程增魁0激光雷達(dá)和相機(jī)感知融合簡(jiǎn)介新機(jī)器視覺0借鑒與融合借鑒與融合0借鑒與融合本書以歷史唯物主義的基本原理為指導(dǎo),通過探討留美學(xué)生在抗日戰(zhàn)爭(zhēng)前的教育活動(dòng),力求客觀、全面地分析、評(píng)程一木程一木先生,1962年7月出生,大學(xué)本科學(xué)歷。歷任電子工業(yè)部雷達(dá)工業(yè)管理局團(tuán)委書記,電子工業(yè)部直屬機(jī)關(guān)黨委科長(zhǎng),機(jī)械電子工業(yè)部政策法規(guī)司科長(zhǎng),深圳賽格信息有限公司經(jīng)營(yíng)部部長(zhǎng),深圳賽格集團(tuán)公司人事教育部程濤木程濤木在重慶九格慧科技有限公司擔(dān)任法人,該公司注冊(cè)時(shí)間為2018-08-16;程濤木在成都知了云匯科技合伙企業(yè)(有限合伙)擔(dān)任股東;程濤木在重慶九格慧科技有限公司、博瑞得科技有限公司擔(dān)任高管;程濤木的點(diǎn)贊 評(píng)論 收藏 分享 手機(jī)掃一掃分享分享 舉報(bào)