雙目視覺系統(tǒng)的原理和設(shè)計(jì)

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

雙目立體視覺是機(jī)器視覺的一種重要形式，它是基于視差原理并由多幅圖像獲取物體三維幾何信息的方法。雙目立體視覺系統(tǒng)一般由雙攝像機(jī)從不同角度同時(shí)獲得被測物的兩幅數(shù)字圖像，或由單攝像機(jī)在不同時(shí)刻從不同角度獲得被測物的兩幅數(shù)字圖像，并基于視差原理恢復(fù)出物體的三維幾何信息，重建物體三維輪廓及位置。

?

?

雙目立體視覺三維測量是基于視差原理，下圖所示為簡單的平視雙目立體成像原理圖，兩攝像機(jī)的投影中心的連線的距離，即基線距為b。攝像機(jī)坐標(biāo)系的原點(diǎn)在攝像機(jī)鏡頭的光心處，坐標(biāo)系如圖所示。

?

事實(shí)上左右成像平面繪制在鏡頭的光心前f處，這個(gè)虛擬的圖像平面坐標(biāo)系O1uv的u軸和v軸與和攝像機(jī)坐標(biāo)系的x軸和y軸方向一致。左右圖像坐標(biāo)系的原點(diǎn)在攝像機(jī)光軸與平面的交點(diǎn)O1和O2。空間中某點(diǎn)P在左圖像和右圖像中相應(yīng)的坐標(biāo)分別為P1(u1,v1)和P2(u2,v2)。

?

假定兩攝像機(jī)的圖像在同一個(gè)平面上，則點(diǎn)P圖像坐標(biāo)的Y坐標(biāo)相同，即v1=v2。由三角幾何關(guān)系得到：

?

??由此可計(jì)算出空間中某點(diǎn)P在左攝像機(jī)坐標(biāo)系中的坐標(biāo)為：?? ?

?

因此，只要能夠找到空間中某點(diǎn)在左右兩個(gè)攝像機(jī)像面上的相應(yīng)點(diǎn)，并且通過攝像機(jī)標(biāo)定獲得攝像機(jī)的內(nèi)外參數(shù)，就可以確定這個(gè)點(diǎn)的三維坐標(biāo)。??

?

?

立體視覺系統(tǒng)的一般結(jié)構(gòu)采用交叉擺放的兩個(gè)攝像機(jī)從不同角度觀測同一被測物體。也可以由一個(gè)攝像機(jī)實(shí)現(xiàn)，如一個(gè)攝像機(jī)通過給定方式的運(yùn)動(dòng)，在不同位置觀測同一個(gè)靜止的物體，或者通過光學(xué)成像方式將兩幅圖像投影到一個(gè)攝像機(jī)，都可以滿足精度要求。??

?

各種雙目視覺系統(tǒng)結(jié)構(gòu)各有優(yōu)缺點(diǎn)，這些結(jié)構(gòu)適用于不同的應(yīng)用場合。對要求大測量范圍和較高測量精度的場合，采用基于雙攝像機(jī)的雙目立體視覺系統(tǒng)比較合適；對測量范圍要求比較小，對視覺系統(tǒng)體積和質(zhì)量要求嚴(yán)格，需要高速度實(shí)時(shí)測量對象，基于光學(xué)成像的單攝像機(jī)雙目立體視覺系統(tǒng)便成為最佳選擇。???

?

為了得到更高的精度，應(yīng)該使攝像機(jī)的焦距以及基線長度增大，同時(shí)應(yīng)該使被測物體盡可能的靠近立體視覺系統(tǒng)。另外這個(gè)精度和視差的精度有直接的關(guān)系，無論在任何情況下，要確保立體圖像對之間的交迭區(qū)域足夠大并且兩個(gè)攝像機(jī)應(yīng)該大約對齊，也就是說每個(gè)攝像機(jī)繞光軸旋轉(zhuǎn)的角度不能太大。?

?

在進(jìn)行雙目視覺系統(tǒng)標(biāo)定以及應(yīng)用該系統(tǒng)進(jìn)行測量時(shí)，要確保攝像機(jī)的內(nèi)參和兩個(gè)攝像機(jī)相對位置關(guān)系不能夠發(fā)生變化，如果任何一項(xiàng)發(fā)生變化，則需要重新對雙目立體視覺系統(tǒng)進(jìn)行標(biāo)定。否則，將影響測量結(jié)果的精度。

?

?

??

攝像機(jī)內(nèi)參數(shù)的標(biāo)定和單目視覺系統(tǒng)標(biāo)定一致，雙目立體視覺系統(tǒng)的標(biāo)定主要是指攝像機(jī)的內(nèi)部參數(shù)標(biāo)定后確定視覺系統(tǒng)的結(jié)構(gòu)參數(shù)R和T（即兩個(gè)攝像機(jī)之間的位置關(guān)系，R和T分別為旋轉(zhuǎn)矩陣和平移向量）。

?

?

??

1、將標(biāo)定板放置在適當(dāng)?shù)奈恢?，使它能夠在兩個(gè)攝像機(jī)中均可以完全成像。通過標(biāo)定確定兩個(gè)攝像機(jī)的內(nèi)部參數(shù)以及他們的外部參數(shù)（R1、T1與R2、T2），則R1、T1表示左攝像機(jī)與世界坐標(biāo)系的相對位置，R2、T2表示右攝像機(jī)與世界坐標(biāo)系的相對位置。

?

2、假定空間中任意一點(diǎn)在世界坐標(biāo)系、左攝像機(jī)坐標(biāo)系和右攝像機(jī)坐標(biāo)系下的非齊次坐標(biāo)分別為xw、x1、x2，則：

?

?

?

由雙目立體視覺系統(tǒng)原理可以看出雙目立體視覺是建立在對應(yīng)點(diǎn)的視差基礎(chǔ)之上，因此左右圖像中各點(diǎn)的匹配關(guān)系成為雙目立體視覺技術(shù)的一個(gè)極其重要的問題。然而，對于實(shí)際的立體圖像對，求解對應(yīng)問題極富挑戰(zhàn)性，可以說是雙目立體視覺中最困難的一步。

?

為了能夠增加匹配結(jié)果的準(zhǔn)確性以及匹配算法的速度，在匹配過程中通常會(huì)加入下列幾種約束：?

1、極線約束。在此約束下，匹配點(diǎn)已經(jīng)位于兩副圖像中相應(yīng)的極線上。??

2、唯一性約束。兩副圖像中的對應(yīng)的匹配點(diǎn)應(yīng)該有且僅有一個(gè)。??

3、視差連續(xù)性約束。除了遮擋區(qū)域和視差不連續(xù)區(qū)域外，視差的變化都是平滑的。

4、順序一致性約束。位于一副圖像極線上的系列點(diǎn)，在另一幅圖像中極線上有相同的順序。??

?

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程
在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目52講
在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計(jì)數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個(gè)視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺。

下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講
在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會(huì)逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會(huì)請出群，謝謝理解~