3D機器視覺及手眼標定
點擊上方“小白學(xué)視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
1、視覺硬件系統(tǒng)
基本硬件包括如下：
? 1 工控機
? 2 網(wǎng)線
? 3 路由器
? 4 標定板
? 5 標定板固定法蘭
? 6 相機與線纜
2、接線圖
分別將三根網(wǎng)線的一端連接到路由器的LAN 口（注意不要接到WAN 口），另一端分別連接至機器人網(wǎng)口、工控機網(wǎng)口、相機（相機線纜包括電源線和網(wǎng)線）網(wǎng)口，路由器端連接如下圖所示：
機器人網(wǎng)口為控制柜上的網(wǎng)口，如下圖所示（以UR 機器人為例）：
3、軟件環(huán)境搭建
在確認電源、網(wǎng)線等連接正常后，開始設(shè)置IP，通過路由器將工控機、相機、機器人三者構(gòu)建在同一網(wǎng)段。
在瀏覽器中輸入網(wǎng)址tplogin.cn 進入路由管理界面（在路由器背部可以查看登錄管理界面地址），如果是設(shè)置好的路由器直接輸入設(shè)置好的網(wǎng)段，即可進入路由管理界面，例如192.168.3.1（設(shè)置為3 網(wǎng)段）。
進入路由管理界面時會要求輸入用戶名以及用戶密碼，如下圖所示：
管理界面如下圖所示，其中紅色框中的綠色網(wǎng)口代表連接正常的網(wǎng)口。
如果路由器已經(jīng)設(shè)置好了，當忘記了設(shè)置的網(wǎng)段，無法進入路由管理界面，又不想把路由器恢復(fù)為出廠設(shè)置重新設(shè)置，可以通過如下圖所示的網(wǎng)絡(luò)連接詳細信息查看默認網(wǎng)關(guān)。
此時打開機器人示教器，查看機器人的IP，如下圖所示（以UR 機器人為例）：
可以看到機器人的IP 在3 網(wǎng)段，那就通過路由器將相機、工控機、機器人統(tǒng)一設(shè)置在3 網(wǎng)段下（如果機器人的IP 可以修改，也可以把機器人的IP 改為其它網(wǎng)段下，靈活操作即可）
在路由器管理界面，打開左側(cè)工具欄的基本設(shè)置里面的LAN 設(shè)置，在手動模式下設(shè)置IP 地址，例如設(shè)置3 網(wǎng)段，輸入為192.168.3.1，子網(wǎng)掩碼默認為255.255.255.0，點擊設(shè)置，即可設(shè)置成功。如下圖所示：
同樣要設(shè)置工控機的IP 地址在3 網(wǎng)段下，依次點擊如下圖所示，即可將工控機設(shè)置在3 網(wǎng)段下（其中192.168.3.110 中的110 為任意值，從0-255 之間取值，只要不是和機器人IP 重復(fù)的即可）。
4、機器人的手眼標定
要實現(xiàn)由圖像目標點到實際物體上抓取點之間的坐標轉(zhuǎn)換，就必須擁有準確的相機內(nèi)外參信息。其中內(nèi)參是相機內(nèi)部的基本參數(shù)，包括鏡頭焦距、畸變等。一般相機出廠時內(nèi)參已標定完成，保存在相機內(nèi)部。
相機外參表示的是機器人與相機之間的位姿轉(zhuǎn)換關(guān)系（即手眼關(guān)系，因此相機外參的標定稱之為機器人手眼標定）。機器人與相機在不同的使用場景下其相對位姿不固定，需要在工作現(xiàn)場進行標定才能獲得相機與機器人之間的手眼關(guān)系。
由于機器人手眼標定會使用相機的內(nèi)參，所以具有準確的內(nèi)參是標定外參的前提。
機器人手眼標定的分類方式各不相同，根據(jù)相機相對于機器人的安裝方式，將手眼標定分為兩種:機器人手眼標定MATLAB及C++實現(xiàn)（二十九）
1. 相機獨立于機器人固定在支架上，稱為ETH(Eye to hand) 方式。
2. 相機固定于機器人末端法蘭上，稱為EIH(Eye in hand) 方式。
同時，可使用多個隨機標定板位姿或TCP 尖點觸碰的方法添加標定點。兩者的主要區(qū)別在于：
1. 多個隨機標定板位姿：使用軟件自動生成的軌跡點或手動添加的多個位姿，在每個位姿拍照并識別標定板角點，建立標定板、相機及機器人三者間的關(guān)系，其過程簡單，標定精度高。
2. TCP 尖點觸碰：利用三點法確定標定板位姿后，建立標定板、相機及機器人三者間的關(guān)系。適用于機器人活動空間局促、無法使用上位機來控制和標定板無法安裝等情況。
分類方式如下圖所示。
4.1 ETH 標定基本原理
機器人末端通過法蘭連接已知尺寸的標定板，可以得到標定板（calibration grid）上的每個標志點相對于機器人基坐標Base 的坐標A；通過相機拍照獲得標定板上每個圓點的圖像，可以得到相機光心相對于標定板上每個標志點的坐標B；相機光心和機器人基坐標（Base）之間的位姿關(guān)系X 為待求量。A、B 和X構(gòu)成閉環(huán)，形成等式，可以在等式中求解未知數(shù)X。通過移動機器人，變換標定板相對于相機的位姿，可以得到多組等式，對這些等式的值進行擬合優(yōu)化計算，最終得到最優(yōu)的X 的值。位姿關(guān)系如下圖所示。
當使用TCP 觸碰法標定時，標定板放置在工作平面，機器人末端加裝已知TCP 的尖點，觸碰標定板圓點，其原理如下圖所示，其中A、B 已知，求解X 的值。
實際操作中，坐標A的獲取有以下三種方式：
1. 標定板到法蘭末端位置關(guān)系已知（三點法或是已知連接件尺寸計算得到），則A 可以直接計算得到；
2. 標定板到法蘭末端位置關(guān)系未知，則通過標定板在標定過程中的一系列相對移動，通過數(shù)值方法計算得到標定板到法蘭末端的位置關(guān)系，進而計算得到A；
3. 標定板與機器人末端不固定，則可以通過已知tcp 坐標的尖點對標定板標志點進行觸碰的方式計算得到A的數(shù)值。以上三種方式對應(yīng)三種不同獲取標定數(shù)據(jù)的方式。
ETH 方式標定的是相機光心和機器人基坐標之間的位姿關(guān)系。如果機器人基坐標或者相機發(fā)生移動，對應(yīng)的外參就會相應(yīng)發(fā)生變化，此時需要重新標定手眼關(guān)系。
4.2 EIH 標定基本原理
機器人末端通過固定架將相機固定，此時機器人末端法蘭中心與相機光心之間的位姿相對固定，即下圖中的未知變量X；機器人末端法蘭中心相對于機器人基坐標系（Base）的位姿為已知量B；相機通過對標定板（calibration grid）進行拍照，獲得相機光心和標定板上每個圓點之間的位姿關(guān)系，可得已知量C；標定板平放在相機視野可達區(qū)域，其相對于機器人基坐標之間的位姿關(guān)系為一固定值A(chǔ)；這樣變量A、B、C、X 構(gòu)成閉環(huán)關(guān)系。下列等式中，由于A 為固定值，將前兩個等式合并，得到的新等式中只有X 為未知待求量。變換機器人末端位姿進行不同角度拍照，得到多組A、B、C 的值，利用這些數(shù)值進行擬合計算，得到最優(yōu)的X 的值。
當使用TCP 觸碰法標定時，標定板放置在工作平面，機器人末端加裝已知尺寸的TCP 尖點，觸碰標定板圓點，其原理如下圖所示，其中A、B、C 已知，則X 的值也可求得。
EIH 標定的是相機光心和機器人末端法蘭中心之間的位姿關(guān)系。如果相機相對于機器人末端法蘭中心坐標發(fā)生移動，對應(yīng)的外參就會相應(yīng)發(fā)生變化，此時需要重新標定外參。
選取一個正常標定板（標定板上圓點清晰，沒有明顯刮花痕跡，標定板沒有明顯彎曲變形視為正常標定板）。
ETH 方式下將標定法蘭安裝到機器人六軸（如果是四軸機器人即安裝在四軸）上，再將標定板安裝在法蘭上，標定法蘭在機器人末端的安裝方向任意。確保標定板安裝穩(wěn)固，標定板與機器人末端的XY 平面平行。
EIH 方式將標定板平放在工作平面的中心位置。其安裝和放置如下圖所示（左圖為ETH 方式，右圖為EIH 方式）：
標定板安裝完畢后將機器人移動到起始標定位置。對于ETH 方式，機器人起始標定位置為視野最下方中間位置（機器人帶動標定板由下往上層層標定）；EIH 方式起始位置為相機工作位置（機器人帶動相機由下往上層層標定）。如下圖所示，左側(cè)為ETH 方式，右側(cè)為EIH 方式。
使用TCP 觸碰法時ETH 和EIH 均將標定板放置在相機工作平面內(nèi)。
來源：馬少爺
聲明：部分內(nèi)容來源于網(wǎng)絡(luò)，僅供讀者學(xué)習(xí)、交流之目的。文章版權(quán)歸原作者所有。如有不妥，請聯(lián)系刪除。
下載1：OpenCV-Contrib擴展模塊中文版教程
在「小白學(xué)視覺」公眾號后臺回復(fù)：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。
下載2：Python視覺實戰(zhàn)項目52講
在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學(xué)校計算機視覺。
下載3：OpenCV實戰(zhàn)項目20講
在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學(xué)習(xí)進階。
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~