自動(dòng)駕駛的視覺(jué)感知包括哪些內(nèi)容？

• 傳感器組件
• 相機(jī)標(biāo)定
  
• 數(shù)據(jù)標(biāo)注
  
• 功能劃分
  
• 共性問(wèn)題
  
• 模塊架構(gòu)

• 動(dòng)態(tài)目標(biāo)檢測(cè)（車(chē)輛、行人和非機(jī)動(dòng)車(chē)）
• 靜態(tài)物體識(shí)別（交通標(biāo)志和紅綠燈）
• 可行駛區(qū)域的分割（道路區(qū)域和車(chē)道線）

自然道路場(chǎng)景存在各種各樣的突發(fā)狀況，所以需要采集大量的實(shí)車(chē)數(shù)據(jù)用來(lái)訓(xùn)練。高質(zhì)量的數(shù)據(jù)標(biāo)注成了一件至關(guān)重要的工作，其中感知系統(tǒng)需要檢測(cè)的全部信息均需要進(jìn)行標(biāo)注。標(biāo)注形式包括目標(biāo)級(jí)標(biāo)注和像素級(jí)標(biāo)注：

視覺(jué)感知可以分為多個(gè)功能模塊，如目標(biāo)檢測(cè)跟蹤、目標(biāo)測(cè)量、可通行區(qū)域、車(chē)道線檢測(cè)、靜態(tài)物體檢測(cè)等。

• 遮擋情況較多，朝向角準(zhǔn)確性問(wèn)題
• 行人車(chē)輛類(lèi)型種類(lèi)較多，容易誤檢；
• 多目標(biāo)追蹤，ID切換的問(wèn)題；

• 有什么樣的需求
  
• 有什么樣的先驗(yàn)
• 有什么樣的地圖
• 需要做到什么樣的精度
• 能夠提供什么樣的精力

• 復(fù)雜環(huán)境場(chǎng)景時(shí)，邊界形狀復(fù)雜多樣，導(dǎo)致泛化難度較大。不同于其它的檢測(cè)有明確的檢測(cè)類(lèi)型（如車(chē)輛、行人、交通燈），通行空間需要把本車(chē)的行駛安全區(qū)域劃分出來(lái)，需要對(duì)凡是影響本車(chē)前行的障礙物邊界全部劃分出來(lái)，如平常不常見(jiàn)的水馬、錐桶、坑洼路面、非水泥路面、綠化帶、花磚型路面邊界、十字路口、T字路口等進(jìn)行劃分。
• 標(biāo)定參數(shù)校正；在車(chē)輛加減速、路面顛簸、上下坡道時(shí)，會(huì)導(dǎo)致相機(jī)俯仰角發(fā)生變化，原有的相機(jī)標(biāo)定參數(shù)不再準(zhǔn)確，投影到世界坐標(biāo)系后會(huì)出現(xiàn)較大的測(cè)距誤差，通行空間邊界會(huì)出現(xiàn)收縮或開(kāi)放的問(wèn)題。
• 邊界點(diǎn)的取點(diǎn)策略和后處理；通行空間考慮更多的是邊緣處，所以邊緣處的毛刺，抖動(dòng)需要進(jìn)行濾波處理，使邊緣處更平滑。障礙物側(cè)面邊界點(diǎn)易被錯(cuò)誤投影到世界坐標(biāo)系，導(dǎo)致前車(chē)隔壁可通行的車(chē)道被認(rèn)定為不可通行區(qū)域，如下圖：

• 線型種類(lèi)多，不規(guī)則路面檢測(cè)車(chē)道線難度大；如遇地面積水、無(wú)效標(biāo)識(shí)、修補(bǔ)路面、陰影情況下的車(chē)道線容易誤檢、漏檢。
• 上下坡、顛簸路面，車(chē)輛啟停時(shí)，容易擬合出梯形、倒梯形的車(chē)道線。
• 彎曲的車(chē)道線、遠(yuǎn)端的車(chē)道線、環(huán)島的車(chē)道線，車(chē)道線的擬合難度較大，檢測(cè)結(jié)果易閃爍；

• 紅綠燈、交通標(biāo)識(shí)屬于小物體檢測(cè)，在圖像中所占的像素比極少，尤其遠(yuǎn)距離的路口，識(shí)別難度更大。在強(qiáng)光照的情況下，人眼都難以辨別，而停在路口的斑馬線前的汽車(chē)，需要對(duì)紅綠燈進(jìn)行正確的識(shí)別才能做下一步的判斷。
• 交通標(biāo)識(shí)種類(lèi)眾多，采集到的數(shù)據(jù)易出現(xiàn)數(shù)量不均勻的情況。
• 交通燈易受光照的影響，在不同光照條件下顏色難以區(qū)分（紅燈與黃燈），且到夜晚時(shí)，紅燈與路燈、商店的燈顏色相近，易造成誤檢；

目前開(kāi)源的感知框架Apollo和Autoware，不少研究人員或者中小公司的感知系統(tǒng)開(kāi)發(fā)會(huì)借鑒其中的思想，所以在這里介紹一下Apollo感知系統(tǒng)的模塊組成。