三角測量原理與雙目視覺景深恢復(fù)
點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
1.引言
眼睛是靈敏的光學(xué)感覺器官，是一切動物與外界聯(lián)系的信息接受器。眾所周知人類依靠雙眼可以感知現(xiàn)實(shí)世界：物體的顏色、距離、大小等。隨著生物解剖學(xué)的發(fā)展，人們對人眼的生物結(jié)構(gòu)及機(jī)能有了科學(xué)的認(rèn)識。人眼是一個天然的高級光學(xué)系統(tǒng)。結(jié)構(gòu)非常復(fù)雜。形象的說，人眼像一架自動攝像機(jī)，水晶體如同攝像機(jī)的物鏡，能夠在人的神經(jīng)器官的控制下自動調(diào)焦，瞳孔如同光圈，視網(wǎng)膜如同相機(jī)底片，接受物體的 影像信息。人眼感知景深的機(jī)制給了人們啟發(fā)。?經(jīng)過研究發(fā)現(xiàn)由相機(jī)在兩個不同的視角下拍攝的兩幅圖片，如果知道現(xiàn)實(shí)物點(diǎn) P 在兩幅圖片中的對應(yīng)關(guān)系， 就可以精確計(jì)算出 P 點(diǎn)的三維坐標(biāo)信息?？梢杂冕樋啄Ｐ蛠斫泼枋鱿鄼C(jī)的成像機(jī)制，如圖所示。M 為現(xiàn)實(shí)場景中的一物點(diǎn)， O為相機(jī)的光心， O' 為光心在像平面上的投影， OO'為相機(jī)光軸，M '為物點(diǎn) M 在像平面 P 上的像點(diǎn)。
針孔模型
?
為簡單起見，考慮間隔適當(dāng)距離、光軸平行的兩相機(jī)（相機(jī)參數(shù)一致）【這是最理想化的雙眼模型】，同一物點(diǎn) M （為了討論方便，假設(shè)物點(diǎn) M 位于左相機(jī)的左邊），在兩個相機(jī)的成像如圖所示。M1 為物點(diǎn) M 在右側(cè)相機(jī)像平面的像點(diǎn)， M2 為物點(diǎn) M 在左側(cè)相機(jī)像平面的像點(diǎn)， O1為右側(cè)相機(jī)的光心， O2為左側(cè)相機(jī)的光心。
雙目攝像機(jī)對點(diǎn)目標(biāo)成像原理圖
單獨(dú)拿出上圖的左右像平面來看，如下圖所示。I1、 I2為左右像平面的中心（也即分別為左右相機(jī)的光心在像平面上的投影），分別以 I1、 I2為坐標(biāo)中心建立坐標(biāo)系。由幾何知識可知O1O2 平行于 I1I2，記為O1O2 || I1I2， O1O2 || ?M1M2，所以M1M2 || I1I2 。
單點(diǎn)目標(biāo)在雙目攝像機(jī)左右視平面的成像
單獨(dú)來看平面 MM1M2（上圖中的陰影部分），易知 ?MO1O2相似于?MM1M2，所以，根據(jù)三角形相似原理：MO1/MM1 = O1O2/M1M2.
設(shè) M1 、 M 2 在對應(yīng)的像平面的橫坐標(biāo)分量別為 x1、 x2，則有：
M1M2 = I2I1 + x2-x1
如果定義兩相機(jī)的光心之間的距離為基線距離，記為b=I1I2 ，(x2-x1)為同一物點(diǎn)在兩個像平面上的視差，記為 d。則上式式可簡化為：
M1M2 = b+d
則進(jìn)一步進(jìn)行公式推導(dǎo)：
MO1/MM1 = MO1/(MO1+O1M1) = b / (b+d)
可以簡化為：
MO1/O1M1 = b/d
現(xiàn)在單獨(dú)來看物點(diǎn) M 與其在右側(cè)相機(jī)的像平面的像點(diǎn) M1 的對應(yīng)關(guān)系。以右相機(jī)光心O1為坐標(biāo)原點(diǎn)，如圖示建立世界坐標(biāo)系:
照相機(jī)成像坐標(biāo)系與光心所在世界坐標(biāo)系間的坐標(biāo)變換關(guān)系
通過這張圖像，我們很容易就可以得到，景深信息Z：
Z / O1I1 = MO1 / O1M1 = b / d (要知道O1I1是我們右側(cè)攝像機(jī)的焦距啊親！)
Z = (b*f)/d (f:攝像機(jī)的焦距)
由此，我們便可以恢復(fù)出目標(biāo)的景深信息。
?
3.1 X坐標(biāo)維度信息
X坐標(biāo)三維恢復(fù)示意圖
X/x1 = Z/f ? ? ?X = (x1*Z)/f
3.2 Y坐標(biāo)維度信息
Y坐標(biāo)三維恢復(fù)示意圖
Y/y1 = Z/f ? ? ?Y = (y1*Z)/f
?
給定相機(jī)參數(shù)和在一定位置所拍攝的兩幅雙目圖片，如何能夠找出所有像點(diǎn)的兩兩對應(yīng)關(guān)系？并求出相應(yīng)視差？
只有得到圖像上所有目標(biāo)點(diǎn)的視差才能得到相片中每一個像點(diǎn)對應(yīng)物點(diǎn)的三維坐標(biāo)，這又是一項(xiàng)艱難的工作！
小白團(tuán)隊(duì)出品：零基礎(chǔ)精通語義分割↓↓↓
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計(jì)算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~