3D-camera結(jié)構(gòu)光原理

點(diǎn)擊下方卡片，關(guān)注“新機(jī)器視覺(jué)”公眾號(hào)
重磅干貨，第一時(shí)間送達(dá)
目前主流的深度探測(cè)技術(shù)是結(jié)構(gòu)光，TOF，和雙目。具體的百度就有很詳細(xì)的信息。
而結(jié)構(gòu)光也有雙目結(jié)構(gòu)光和散斑結(jié)構(gòu)光等，沒(méi)錯(cuò)，Iphone X 的3D深度相機(jī)就用 散斑結(jié)構(gòu)光。
我用結(jié)構(gòu)光模塊做過(guò)實(shí)驗(yàn)，主要考慮有效工作距離，精度和視場(chǎng)角是否滿足需求。
本文對(duì)結(jié)構(gòu)光（Structured Light）技術(shù)做一個(gè)比較全面的簡(jiǎn)介。
結(jié)構(gòu)光三維成像的硬件主要由相機(jī)和投射器組成，結(jié)構(gòu)光就是通過(guò)投射器投射到被測(cè)物體表面的主動(dòng)結(jié)構(gòu)信息，如激光條紋、格雷碼、正弦條紋等；然后，通過(guò)單個(gè)或多個(gè)相機(jī)拍攝被測(cè)表面即得結(jié)構(gòu)光圖像；最后，基于三角測(cè)量原理經(jīng)過(guò)圖像三維解析計(jì)算從而實(shí)現(xiàn)三維重建。
利用紅外相機(jī)像素點(diǎn)信息求解被測(cè)物體深度信息需要經(jīng)過(guò)：機(jī)構(gòu)光解碼、像素、空間坐標(biāo)轉(zhuǎn)換；為了滿足獲取深度信息的實(shí)時(shí)性，結(jié)構(gòu)光模塊內(nèi)部一般會(huì)有一枚專用的處理芯片，用于計(jì)算并輸出實(shí)時(shí)信息。
 3D結(jié)構(gòu)光目前的使用場(chǎng)景為：
第一，物體信息分割與識(shí)別，3D人臉識(shí)別，用于安全驗(yàn)證、金融支付等場(chǎng)景；    
第二，體感手勢(shì)識(shí)別，為智能終端提供新的交互方式；
第三，三維場(chǎng)景重建，利用深度相機(jī)生成的深度信息（點(diǎn)云數(shù)據(jù)），結(jié)合RGB彩色圖像信息，可完成對(duì)三維場(chǎng)景的還原，可用于測(cè)距，虛擬裝修等場(chǎng)景。
基于結(jié)構(gòu)光的三維成像，實(shí)際上是三維參數(shù)的測(cè)量與重現(xiàn)，主要是區(qū)別于純粹的像雙目立體視覺(jué)之類的被動(dòng)三維測(cè)量技術(shù)，因而被稱為主動(dòng)三維測(cè)量。因?yàn)樗枰鲃?dòng)去投射結(jié)構(gòu)光到被測(cè)物體上，通過(guò)結(jié)構(gòu)光的變形（或者飛行時(shí)間等）來(lái)確定被測(cè)物的尺寸參數(shù)，因此才叫做主動(dòng)三維測(cè)量，嗯，相當(dāng)主動(dòng)。
首先，結(jié)構(gòu)光的類型就分為很多種，既然是結(jié)構(gòu)光，當(dāng)然是將光結(jié)構(gòu)化，簡(jiǎn)單的結(jié)構(gòu)化包括點(diǎn)結(jié)構(gòu)光，線結(jié)構(gòu)光以及簡(jiǎn)單的面結(jié)構(gòu)光等。復(fù)雜一點(diǎn)的結(jié)構(gòu)化就上升到光學(xué)圖案的編碼了。結(jié)構(gòu)光投射到待測(cè)物表面后被待測(cè)物的高度調(diào)制，被調(diào)制的結(jié)構(gòu)光經(jīng)攝像系統(tǒng)采集，傳送至計(jì)算機(jī)內(nèi)分析計(jì)算后可得出被測(cè)物的三維面形數(shù)據(jù)。其中調(diào)制方式可分為時(shí)間調(diào)制與空間調(diào)制兩大類。時(shí)間調(diào)制方法中最常用的是飛行時(shí)間法,該方法記錄了光脈沖在空間的飛行時(shí)間,通過(guò)飛行時(shí)間解算待測(cè)物的面形信息；空間調(diào)制方法為結(jié)構(gòu)光場(chǎng)的相位、光強(qiáng)等性質(zhì)被待測(cè)物的高度調(diào)制后都會(huì)產(chǎn)生變化,根據(jù)讀取這些性質(zhì)的變化就可得出待測(cè)物的面形信息。
下面以一種應(yīng)用廣泛的光柵投影技術(shù)（條紋投影技術(shù)）為例來(lái)闡述其具體原理。條紋投影技術(shù)實(shí)際上屬于廣義上的面結(jié)構(gòu)光。其主要原理如下圖所示, 即通過(guò)計(jì)算機(jī)編程產(chǎn)生正弦條紋，將該正弦條紋通過(guò)投影設(shè)備投影至被測(cè)物，利用CCD相機(jī)拍攝條紋受物體調(diào)制的彎曲程度，解調(diào)該彎曲條紋得到相位，再將相位轉(zhuǎn)化為全場(chǎng)的高度。當(dāng)然其中至關(guān)重要的一點(diǎn)就是系統(tǒng)的標(biāo)定，包括系統(tǒng)幾何參數(shù)的標(biāo)定和CCD相機(jī)以及投影設(shè)備的內(nèi)部參數(shù)標(biāo)定，否則很可能產(chǎn)生誤差或者誤差耦合。因?yàn)橄到y(tǒng)外部參數(shù)不標(biāo)定則不可能由相位計(jì)算出正確的高度信息。
 
 
總體而言，結(jié)構(gòu)光主要可以分為兩類
1.     線掃描結(jié)構(gòu)光；
2.     面陣結(jié)構(gòu)光。
一般說(shuō)結(jié)構(gòu)光的時(shí)候都指代第二類，這里也主要關(guān)注面陣結(jié)構(gòu)光。
1. 線掃描結(jié)構(gòu)光
線掃描結(jié)構(gòu)光較之面陣結(jié)構(gòu)光較為簡(jiǎn)單，精度也比較高，在工業(yè)中廣泛用于物體體積測(cè)量、三維成像等領(lǐng)域。
1.1 數(shù)學(xué)基礎(chǔ)
先來(lái)看一個(gè)簡(jiǎn)單的二維下的情況：
 
 
通過(guò)上圖可以看到線掃描結(jié)構(gòu)光裝置的一個(gè)基本結(jié)構(gòu)。主動(dòng)光源L緩慢掃過(guò)待測(cè)物體，在此過(guò)程中，相機(jī)記錄對(duì)應(yīng)的掃描過(guò)程，最后，依據(jù)相機(jī)和光源在該過(guò)程中的相對(duì)位姿和相機(jī)內(nèi)參等參數(shù)，就可以重建出待測(cè)物體的三維結(jié)構(gòu)。
由上圖可知：
 
 
可得
 
 
其中， α 為投影裝置的朝向。 β 則需要通過(guò)對(duì)應(yīng)像素的像素坐標(biāo)  μ和焦距f來(lái)確定。最終可知P點(diǎn)的三維坐標(biāo)為：
將之推廣至三維空間中
：
 
 
 
 
由小孔成像模型有
 
 
由三角測(cè)量原理又有
 
 
兩式聯(lián)立則有
 
 
最后可得
 
 
可以看到，三維空間中的情形和之前的二維空間類似，作為俯仰角的  γ并沒(méi)有出現(xiàn)在公式中。
1.2 應(yīng)用
 
 
如上圖，相機(jī)與投影器等相對(duì)位姿都經(jīng)過(guò)了精確的校正，并且選取了測(cè)量臺(tái)上的一角作為原點(diǎn)建立物方坐標(biāo)系。因此，激光投影器所投射的線激光在物方坐標(biāo)系中可以通過(guò)一個(gè)平面方程來(lái)描述：
 
 
而相機(jī)光心的位姿通過(guò)幾何校正也已知，可以通過(guò)找到線激光在圖像中的對(duì)應(yīng)像素重建出光心與像素的射線，射線和激光平面的交點(diǎn)即為待求的三維空間點(diǎn)。由小孔成像模型有
 
 
代入平面方程中，可得
 
 
 

 
 
2. 面陣結(jié)構(gòu)光
面陣結(jié)構(gòu)光大致可以分為兩類：隨機(jī)結(jié)構(gòu)光和編碼結(jié)構(gòu)光。隨機(jī)結(jié)構(gòu)光較為簡(jiǎn)單，也更加常用。通過(guò)投影器向被測(cè)空間中投射亮度不均和隨機(jī)分布的點(diǎn)狀結(jié)構(gòu)光，通過(guò)雙目相機(jī)成像，所得的雙目影像經(jīng)過(guò)極線校正后再進(jìn)行雙目稠密匹配，即可重建出對(duì)應(yīng)的深度圖。如下圖為某種面陣的紅外結(jié)構(gòu)光。
 
 
隨機(jī)結(jié)構(gòu)光這里就不再說(shuō)了，因?yàn)楹推胀p目算法是很相似的。一些額外的考慮就是是否給相機(jī)加裝濾光片、光斑的密度要到什么程度等硬件和光學(xué)的問(wèn)題了。這里主要討論編碼結(jié)構(gòu)光。編碼結(jié)構(gòu)光可以分為兩類：
1.     時(shí)序編碼；
2.     空間編碼。
2.1 時(shí)序編碼
 
 
如上圖，時(shí)序編碼結(jié)構(gòu)光即為在一定時(shí)間范圍內(nèi)，通過(guò)投影器向被測(cè)空間投射一系列明暗不同的結(jié)構(gòu)光，每次投影都通過(guò)相機(jī)進(jìn)行成像。假設(shè)共有n張影像，并設(shè)被陰影覆蓋的部分編碼值為1，未被覆蓋的部分編碼值為0。此時(shí)，每個(gè)像素都對(duì)應(yīng)唯一一個(gè)長(zhǎng)度為n的二進(jìn)制編碼，雙目影像搜索匹配像素的問(wèn)題就變成了查找具有相同編碼值的像素。如果雙目圖像已經(jīng)進(jìn)行了極線校正，那么所投影的結(jié)構(gòu)光只需要在x方向上不具有重復(fù)性即可。
 
 
如上圖中，紅框內(nèi)的像素的編碼為0110，轉(zhuǎn)化為十進(jìn)制則為5。此時(shí)，只需要在右圖相同行上檢索編碼值為5的像素即可。上圖編碼方式稱為二進(jìn)制碼（binary code），每段區(qū)域不斷的進(jìn)行二分下去直至投影的編碼寬度等于相機(jī)的像素寬度即可。對(duì)于寬度為1024的圖像，最少需要10張影像來(lái)進(jìn)行編碼。
 
 
Binary Code 的一種改進(jìn)為Gray Code. Gray Code比Binary Code具有更好的魯棒性，它使得相鄰兩個(gè)像素相差1bit。Gray Code的詳細(xì)介紹和其與Binary Code之間的轉(zhuǎn)換可以參考wikipedia。
 
 
注意觀察即可看到gray code和binary code在前幾行像素上的不同
轉(zhuǎn)換算法：
 
 
自然，除了使用二進(jìn)制的0-1編碼之外，還可以使用更多顏色層級(jí)的編碼。假設(shè)使用了M種不同的灰度層級(jí)進(jìn)行編碼，則拍攝N張影像可以得到包含 
 
 
個(gè)條帶的影響。如下圖中M = 3, N = 3時(shí)圖中有27條條帶。
 
 
由以上的介紹也可以得出時(shí)序編碼結(jié)構(gòu)光的優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：
·      高精度；
缺點(diǎn)：
·      只適用于靜態(tài)場(chǎng)景；
·      需要拍攝大量影像。
2.2 空間編碼
為滿足動(dòng)態(tài)場(chǎng)景的需要，可以采用空間編碼結(jié)構(gòu)光。前面談到了隨機(jī)結(jié)構(gòu)光，就是不帶編碼信息，投影隨機(jī)紋理，而這里討論的空間編碼結(jié)構(gòu)光特指向被測(cè)空間中投影經(jīng)過(guò)數(shù)學(xué)編碼的、一定范圍內(nèi)的光斑不具備重復(fù)性的結(jié)構(gòu)光。由此，某個(gè)點(diǎn)的編碼值可以通過(guò)其臨域獲得。其中，包含一個(gè)完整的空間編碼的像素?cái)?shù)量（窗口大?。┚蜎Q定了重建的精度。
2.2.1 德布魯因序列 (De Bruijn) 序列
德布魯因序列（維基百科）B(k, n) 表示用k個(gè)符號(hào)（如二進(jìn)制，k = 2）來(lái)表示長(zhǎng)度為 
 
 
的循環(huán)編碼，n為一個(gè)編碼值的長(zhǎng)度。舉例：最簡(jiǎn)單的，k = 2時(shí)，采用二進(jìn)制符號(hào)(0, 1)，編碼值的長(zhǎng)度n = 2，可以得到一個(gè)長(zhǎng)度為 
 
 
的循環(huán)序列：[0, 0, 1, 1]。此時(shí)，我們得到4個(gè)長(zhǎng)度為2的不同的編碼：[0, 0], [0, 1], [1, 1], [1, 0].因此，某種結(jié)構(gòu)光就可以按照該德布魯因序列進(jìn)行編碼。而獲得的結(jié)構(gòu)光影像中，以上4個(gè)像素的編碼為[0, 0, 1, 1]，通過(guò)一個(gè)大小為2的滑動(dòng)窗口（假定一個(gè)結(jié)構(gòu)光光斑或光束的寬度是一個(gè)像素）即可獲取每個(gè)像素的編碼值。同樣地，如果是經(jīng)過(guò)極線校正的雙目圖像，只需要搜索對(duì)應(yīng)的行即可，此時(shí)只要求編碼在x軸上不具備重復(fù)性。此時(shí)的結(jié)構(gòu)光就是豎直條帶狀的。當(dāng)然，為了提高編碼效率，也可以使用灰度圖、彩色圖像等比0-1編碼具有更多可能編碼值的投影方式。例如，對(duì)于RGB影像，采用二進(jìn)制編碼（即某種顏色只有 有、無(wú) 兩種狀態(tài)），則共有 
 
 
k = 5, n = 3）的結(jié)構(gòu)光序列：
 
 
2.2.2 二維空間編碼
德布魯因序列是一種一維編碼，可以將之?dāng)U展到二維空間中，使得對(duì)于一個(gè)x * y大小的二維空間，其中一個(gè)w * h大小的子窗口所包含的編碼值在這整個(gè)二維編碼序列中只出現(xiàn)一次。
 
 
如上面中的4 * 6的M-arrays序列中，每個(gè)2 * 2大小的窗口所包含的編碼值都是唯一的。同樣也可以利用RGB信息來(lái)進(jìn)行二維編碼，有相關(guān)算法來(lái)產(chǎn)生一些偽隨機(jī)二維編碼。如在下圖中，左邊展示了一個(gè)6 * 6大小的二維矩陣，子窗口的大小為3 * 3。算法首先在左上角的3 * 3子窗口中隨機(jī)填入各種顏色；然后一個(gè)3 * 1大小的滑動(dòng)窗口移動(dòng)到右端第一個(gè)空白處，并隨機(jī)填入3中顏色；在填入生成的隨機(jī)顏色前，算法會(huì)先驗(yàn)證子窗口的編碼的唯一性能不能得到保證，若不能，則會(huì)重新生成3中隨機(jī)顏色；如此循環(huán)，只是在豎直方向上滑動(dòng)窗口的大小變?yōu)? * 3，直至將整個(gè)6 * 6矩陣填滿。右圖則是該算法產(chǎn)生的某種偽隨機(jī)二維編碼的示例。
 
 
 
通過(guò)以上對(duì)空間編碼的討論，也可以看出空間編碼結(jié)構(gòu)光的一些優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：
·      無(wú)需多張照片，只需要一對(duì)影像即可進(jìn)行三維重建?？梢詽M足實(shí)時(shí)處理，用在動(dòng)態(tài)環(huán)境中。
缺點(diǎn)
·      易受噪聲干擾：由于反光、照明等原因可能導(dǎo)致成像時(shí)部分區(qū)域等編碼信息缺失；
·      對(duì)于空間中的遮擋比較敏感；
·      相較于時(shí)序編碼結(jié)構(gòu)光精度較低。
以上是對(duì)各種常用的結(jié)構(gòu)光技術(shù)的一些介紹。其實(shí)，三維重建中最常用的還是隨機(jī)面陣結(jié)構(gòu)光。通過(guò)向空間中投影這樣的隨機(jī)結(jié)構(gòu)光，再結(jié)合雙目稠密重建，可以獲得比單純使用RGB影像進(jìn)行三維重建更加可靠和精確的結(jié)果。最后，向?qū)Y(jié)構(gòu)光和三維重建感興趣的同學(xué)推薦一個(gè)項(xiàng)目：build your own 3D scanner。和名字一樣，網(wǎng)站上提供了自己使用觸手可及和低成本的設(shè)備來(lái)DIY一個(gè)3D掃描儀所需的一切，包括教程、ppt、代碼、數(shù)據(jù)和其他人的作品展示，感興趣的同學(xué)歡迎動(dòng)手嘗試。
來(lái)源：芯視tof ,3Dtof