2D線掃描相機(jī)與3D結(jié)構(gòu)光視覺(jué)測(cè)量系統(tǒng)的融合
點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
本文提出了一種獲取高分辨率的三維視覺(jué)信息的方法，主要通過(guò)融合結(jié)構(gòu)光視覺(jué)測(cè)量系統(tǒng)獲得的三維信息和二維線掃描相機(jī)拍攝的高分辨率圖像。
簡(jiǎn)介
由于目標(biāo)物體表面三維信息的測(cè)量在機(jī)器視覺(jué)中越來(lái)越重要，研究人員已經(jīng)提出了許多獲取三維形貌的技術(shù)，例如：飛行時(shí)間法，立體視覺(jué)方法和結(jié)構(gòu)光三維視覺(jué)技術(shù)等。在這些方法中，由面陣相機(jī)和結(jié)構(gòu)光組成的結(jié)構(gòu)光三維視覺(jué)測(cè)量系統(tǒng)具有結(jié)構(gòu)簡(jiǎn)單以及圖像處理信息量少、精度高等優(yōu)點(diǎn)。結(jié)構(gòu)光三維視覺(jué)技術(shù)主要是基于三角測(cè)量原理，在獲得物體表面的三維全貌時(shí)，需要移動(dòng)被測(cè)物體或移動(dòng)測(cè)量系統(tǒng)從而能夠沿著運(yùn)動(dòng)方向獲得一系列的物體表面輪廓。雖然可以在測(cè)量結(jié)果中獲取較高的精度，但是不能獲得物體表面的灰度信息，紋理信息。與此同時(shí)，二維相機(jī)只能獲取高分辨率的灰度圖像而不能獲得三維信息。我們提出了一種通過(guò)融合結(jié)構(gòu)光視覺(jué)系統(tǒng)獲得的三維信息和線掃描相機(jī)獲取的二維圖像來(lái)獲取具有灰度、紋理信息的高分辨率三維重建結(jié)果。
實(shí)驗(yàn)證明，我們提出的方法既可以提供高分辨率的二維圖像也能得到對(duì)應(yīng)的三維空間信息，保留了二維相機(jī)獲取圖像分辨率高和結(jié)構(gòu)光視覺(jué)測(cè)量系統(tǒng)獲得三維信息精度高的優(yōu)點(diǎn)。
原理
首先我們?cè)O(shè)計(jì)了一種2D/3D復(fù)眼系統(tǒng)，如圖1所示，兩相機(jī)具有固定的空間關(guān)系和相近的視野范圍。通過(guò)機(jī)械結(jié)構(gòu)使二維線掃描相機(jī)的視平面與結(jié)構(gòu)光光平面共面。如圖2所示，我們建立了三個(gè)坐標(biāo)系：結(jié)構(gòu)光三維視覺(jué)系統(tǒng)坐標(biāo)系（簡(jiǎn)稱CS1），此坐標(biāo)系的x軸和z軸建立在光平面上，y軸為運(yùn)動(dòng)方向且垂直于光平面；類似的，世界坐標(biāo)系的x軸和z軸也建立在光平面內(nèi)；二維線掃描相機(jī)的圖像坐標(biāo)為一維坐標(biāo)系。
圖1. 復(fù)眼成像系統(tǒng)
圖2. 坐標(biāo)系轉(zhuǎn)換示意圖
圖3描述了本文方法的總體流程圖，包括四個(gè)主要模塊。在模塊1中，我們首先利用標(biāo)準(zhǔn)的徑向多項(xiàng)式畸變模型來(lái)消除面陣相機(jī)的畸變，該模型已經(jīng)被證明能夠較好的校正鏡頭畸變。完成畸變矯正后，下一步我們推導(dǎo)出激光平面和圖像平面之間存在單應(yīng)性關(guān)系，如公式1所述。其中（X，Z）是空間中某點(diǎn)在CS1坐標(biāo)系中的坐標(biāo)，s為比例因子，（u’，v’）為該點(diǎn)在圖像中經(jīng)過(guò)畸變校正后的圖像像素坐標(biāo)。最后我們可以基于單應(yīng)性矩陣由結(jié)構(gòu)光光條中心的圖像像素坐標(biāo)計(jì)算得到目標(biāo)表面在結(jié)構(gòu)光視覺(jué)系統(tǒng)坐標(biāo)系中的三維坐標(biāo)。
公式1
在模塊2中，由于線掃描相機(jī)在y方向上沒(méi)有失真，我們使用公式2中的三階多項(xiàng)式模型來(lái)矯正失真。其中xu是校正后的坐標(biāo)，xd是原始坐標(biāo)，k0,k1,k2,k3是畸變系數(shù)。
公式2
在模塊3中，我們需要進(jìn)行聯(lián)合標(biāo)定來(lái)建立結(jié)構(gòu)光視覺(jué)系統(tǒng)坐標(biāo)系中的三維坐標(biāo)和線掃描相機(jī)的圖像坐標(biāo)之間的關(guān)系。本模塊的第一部分，我們需要從CS1坐標(biāo)系轉(zhuǎn)換到到世界坐標(biāo)，由于這兩個(gè)坐標(biāo)系之間的變換是剛體變換，他們具有等式3中的關(guān)系。然后我們需要獲得從世界坐標(biāo)系到圖像平面坐標(biāo)的透視投影關(guān)系。我們可以根據(jù)二維線掃描相機(jī)的成像幾何模型推導(dǎo)出等式4中的計(jì)算公式。Ui是線掃描相機(jī)的圖像坐標(biāo)。
公式3
公式4
綜上所述，我們可以通過(guò)公式5將CS1中的坐標(biāo)映射到相應(yīng)的圖像坐標(biāo)中。換而言之，我們可以配準(zhǔn)三維信息和二維圖像，并找到二維相機(jī)和結(jié)構(gòu)光視覺(jué)系統(tǒng)拍攝得到的公共視圖區(qū)域。
公式5
圖像配準(zhǔn)后，由于三維信息的分辨率小于二維灰度圖像，因此我們可以對(duì)三維信息與二維圖像利用三角剖分的方法進(jìn)行融合，使之具有與二維圖像相同的分辨率，最后使用OpenGL構(gòu)建目標(biāo)表面的三維形貌。
Fig. 3 general flow-chart
Fig. 4 reprojection error of? the lens correction
實(shí)驗(yàn)過(guò)程
和結(jié)果
為了驗(yàn)證我們的方法，我們按照如圖1所示搭建了實(shí)驗(yàn)系統(tǒng)。在模塊1中，我們使用張正友的方法[9]，利用MATLAB標(biāo)定工具箱來(lái)矯正透鏡畸變并計(jì)算了重投影誤差，結(jié)果如圖4所示。然后又設(shè)計(jì)了一個(gè)鋸齒標(biāo)定靶標(biāo)來(lái)標(biāo)定結(jié)構(gòu)光視覺(jué)系統(tǒng)。標(biāo)定得到的單應(yīng)性矩陣如下。? ? ? ??
? ? ? ? ? ? ? ? ? ? ? ? ? ?
在模塊2中，我們?cè)O(shè)計(jì)了一個(gè)黑白條紋靶標(biāo)來(lái)矯正二維相機(jī)的鏡頭畸變。校正結(jié)果如圖5、6所示?？梢钥闯鲈诔C正之后條紋具有相等的間隔，矯正效果良好。
Fig.5 distorted image of the zebra strips
Fig. 6 corrected image of the zebra strips
之后我們使用相同的鋸齒靶標(biāo)進(jìn)行聯(lián)合標(biāo)定。將鋸齒放置在合適的位置后，同步獲取三維信息和二維圖像。結(jié)果如下，7個(gè)特征點(diǎn)的重投影誤差如圖7所示?？梢钥吹狡ヅ湔`差小于一個(gè)像素。
圖7
圖8
匹配之后，使用我們的設(shè)備對(duì)車輛底部進(jìn)行掃描，并且在圖8中顯示三維重建的結(jié)果。
結(jié)論
在本文中，我們提出了一種通過(guò)融合結(jié)構(gòu)光視覺(jué)測(cè)量系統(tǒng)的三維信息和二維線掃描相機(jī)捕獲的高分辨率圖像來(lái)獲取高質(zhì)量三維視覺(jué)信息的方法。本方法具有較低的計(jì)算成本，匹配精度僅取決于結(jié)構(gòu)光測(cè)量系統(tǒng)和線掃描相機(jī)的聯(lián)合標(biāo)定精度。實(shí)驗(yàn)結(jié)果表明我們的方法具有可行性和較好的準(zhǔn)確性。
凌云光技術(shù)集團(tuán)自?1996年6月9日?成立伊始，扎根于光纖光學(xué)，視覺(jué)與圖像兩大光電子技術(shù)方向，逐步發(fā)展形成光纖器件與儀器（FOCI），光通信接入網(wǎng)（FOAN），視覺(jué)器件（VIC）和工業(yè)視覺(jué)（IVS）?四大事業(yè)部，分別在四個(gè)業(yè)務(wù)單元開(kāi)拓事業(yè)。?
集團(tuán)以推動(dòng)行業(yè)用戶發(fā)展為使命，為國(guó)際上五十多家知名光電子公司在中國(guó)內(nèi)地與香港地區(qū)做市場(chǎng)拓展、產(chǎn)品推廣和應(yīng)用技術(shù)服務(wù)。自2000年起，開(kāi)始在高端視覺(jué)圖像和光通信領(lǐng)域進(jìn)行專業(yè)研發(fā)和生產(chǎn)。至今，已經(jīng)發(fā)展成為員工過(guò)1200人，?產(chǎn)值逾12億?，自主品牌研發(fā)生產(chǎn)和國(guó)外品牌代理服務(wù)相結(jié)合的現(xiàn)代高科技企業(yè)。
好消息！?
小白學(xué)視覺(jué)知識(shí)星球
開(kāi)始面向外開(kāi)放啦??????
下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程 在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺(jué)、目標(biāo)跟蹤、生物視覺(jué)、超分辨率處理等二十多章內(nèi)容。 下載2：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目52講 在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測(cè)、車道線檢測(cè)、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺(jué)實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺(jué)。 下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講 在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。 交流群
歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~