機(jī)器視覺(jué)系統(tǒng)的基礎(chǔ)：相機(jī)、鏡頭、光源

?

機(jī)器視覺(jué)的終極目標(biāo)是什么？將“人眼”作為機(jī)器視覺(jué)的目標(biāo)追求，是機(jī)器視覺(jué)行業(yè)的第一性原理嗎？那么細(xì)分下去，人眼的特點(diǎn)又是什么？機(jī)器視覺(jué)該如何向人眼學(xué)習(xí)？機(jī)器視覺(jué)未來(lái)發(fā)展的方向和實(shí)施步驟是什么？

機(jī)器視覺(jué)就是用機(jī)器代替人眼來(lái)做測(cè)量和判斷。機(jī)器視覺(jué)系統(tǒng)是指通過(guò)機(jī)器視覺(jué)產(chǎn)品（即圖像攝取裝置，分 CMOS 和CCD 兩種）將被攝取目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給專(zhuān)用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào)；圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。?

一套完整的視覺(jué)檢測(cè)系統(tǒng)主要包含圖像采集部分和圖像分析部分，而圖像采集部分主要由工業(yè)相機(jī)、工業(yè)鏡頭以及機(jī)器視覺(jué)光源承擔(dān)。

?視覺(jué)系統(tǒng)主要由以下部分組成?

1.照明光源?

2.鏡頭?

3.工業(yè)攝像機(jī)?

4.圖像采集/處理卡?

5.圖像處理系統(tǒng)?

6.其它外部設(shè)備?

機(jī)器視覺(jué)的功能包括:物體定位、特征檢測(cè)、缺陷判斷、目標(biāo)識(shí)別、計(jì)數(shù)和運(yùn)動(dòng)跟蹤。正是由于機(jī)器視覺(jué)系統(tǒng)可以快速獲取大量信息,而且易于自動(dòng)處理,也易于同設(shè)計(jì)信息以及加工控制信息集成,因此,在現(xiàn)代自動(dòng)化生產(chǎn)過(guò)程中,人們將機(jī)器視覺(jué)系統(tǒng)廣泛地用于工況監(jiān)測(cè)、成品檢驗(yàn)和質(zhì)量控制等領(lǐng)域。

機(jī)器視覺(jué)表面檢測(cè)比較復(fù)雜，視覺(jué)感知在人工智能技術(shù)中扮演舉足輕重的角色。機(jī)器視覺(jué)系統(tǒng)的目標(biāo)是提高生產(chǎn)的柔性和自動(dòng)化程度。

?工業(yè)相機(jī)又俗稱(chēng)攝像機(jī)，相比于傳統(tǒng)的民用相機(jī)（攝像機(jī)）而言，它具有高的圖像穩(wěn)定性、高傳輸能力和高抗干擾能力等，目前市面上的工業(yè)相機(jī)大多是基于CCD（Charge?

Coupled Device）或CMOS（Complementary Metal Oxide Semiconductor）芯片的相機(jī)。

CCD是目前機(jī)器視覺(jué)最為常用的圖像傳感器。它集光電轉(zhuǎn)換及電荷存貯、電荷轉(zhuǎn)移、信號(hào)讀取于一體，是典型的固體成像器件。CCD的突出特點(diǎn)是以電荷作為信號(hào)，而不同于其它器件是以電流或者電壓為信號(hào)。這類(lèi)成像器件通過(guò)光電轉(zhuǎn)換形成電荷包，而后在驅(qū)動(dòng)脈沖的作用下轉(zhuǎn)移、放大輸出圖像信號(hào)。典型的CCD相機(jī)由光學(xué)鏡頭、時(shí)序及同步信號(hào)發(fā)生器、垂直驅(qū)動(dòng)器、模擬/數(shù)字信號(hào)處理電路組成。CCD作為一種功能器件，與真空管相比，具有無(wú)灼傷、無(wú)滯后、低電壓工作、低功耗等優(yōu)點(diǎn)。

CMOS圖像傳感器的開(kāi)發(fā)最早出現(xiàn)在20世紀(jì)70 年代初，90 年代初期，隨著超大規(guī)模集成電路 (VLSI) 制造工藝技術(shù)的發(fā)展，CMOS圖像傳感器得到迅速發(fā)展。CMOS圖像傳感器將光敏元陣列、圖像信號(hào)放大器、信號(hào)讀取電路、模數(shù)轉(zhuǎn)換電路、圖像信號(hào)處理器及控制器集成在一塊芯片上，還具有局部像素的編程隨機(jī)訪問(wèn)的優(yōu)點(diǎn)。目前，CMOS圖像傳感器以其良好的集成性、低功耗、高速傳輸和寬動(dòng)態(tài)范圍等特點(diǎn)在高分辨率和高速場(chǎng)合得到了廣泛的應(yīng)用。

任何東西分類(lèi)一定有它自己的分類(lèi)標(biāo)準(zhǔn)，工業(yè)相機(jī)也不例外，按照芯片類(lèi)型可以分為CCD相機(jī)、CMOS相機(jī)；按照傳感器的結(jié)構(gòu)特性可以分為線陣相機(jī)、面陣相機(jī)；按照掃描方式可以分為隔行掃描相機(jī)、逐行掃描相機(jī)；按照分辨率大小可以分為普通分辨率相機(jī)、高分辨率相機(jī)；按照輸出信號(hào)方式可以分為模擬相機(jī)、數(shù)字相機(jī)；按照輸出色彩可以分為單色（黑白）相機(jī)、彩色相機(jī)；按照輸出信號(hào)速度可以分為普通速度相機(jī)、高速相機(jī)；按照響應(yīng)頻率范圍可以分為可見(jiàn)光（普通）相機(jī)、紅外相機(jī)、紫外相機(jī)等。

1、根據(jù)應(yīng)用的不同分別選用CCD或CMOS相機(jī)

CCD工業(yè)相機(jī)主要應(yīng)用在運(yùn)動(dòng)物體的圖像提取，如貼片機(jī)機(jī)器視覺(jué)，當(dāng)然隨著CMOS技術(shù)的發(fā)展，許多貼片機(jī)也在選用CMOS工業(yè)相機(jī)。用在視覺(jué)自動(dòng)檢查的方案或行業(yè)中一般用CCD工業(yè)相機(jī)比較多。CMOS工業(yè)相機(jī)由成本低，功耗低也應(yīng)用越來(lái)越廣泛。

2、分辨率的選擇

首先考慮待觀察或待測(cè)量物體的精度，根據(jù)精度選擇分辨率。相機(jī)像素精度=單方向視野范圍大小/相機(jī)單方向分辨率。則相機(jī)單方向分辨率=單方向視野范圍大小/理論精度。

若單視野為5mm長(zhǎng)，理論精度為0.02mm，則單方向分辨率=5/0.02=250。然而為增加系統(tǒng)穩(wěn)定性，不會(huì)只用一個(gè)像素單位對(duì)應(yīng)一個(gè)測(cè)量/觀察精度值，一般可以選擇倍數(shù)4或更高。這樣該相機(jī)需求單方向分辨率為1000，選用130萬(wàn)像素已經(jīng)足夠。

其次看工業(yè)相機(jī)的輸出，若是體式觀察或機(jī)器軟件分析識(shí)別 ，分辨率高是有幫助的；若是VGA輸出或USB輸出，在顯示器上觀察，則還依賴于顯示器的分辨率，工業(yè)相機(jī)的分辨率再高，顯示器分辨率不夠，也是沒(méi)有意義的；利用存儲(chǔ)卡或拍照功能，工業(yè)相機(jī)的分辨率高也是有幫助的。

3、工業(yè)相機(jī)與鏡頭的匹配

傳感器芯片尺寸需要小于或等于鏡頭尺寸，C或CS安裝座也要匹配（或者增加轉(zhuǎn)接口）；

4、工業(yè)相機(jī)幀數(shù)選擇

當(dāng)被測(cè)物體有運(yùn)動(dòng)要求時(shí)，要選擇幀數(shù)高的工業(yè)相機(jī)。但一般來(lái)說(shuō)分辨率越高，幀數(shù)越低。

5、線陣工業(yè)相機(jī)的選型

第一步：計(jì)算分辯率。被檢物體寬度（與運(yùn)動(dòng)方向垂直）除以最小檢測(cè)精度得出每行所需要的像素值。

第二步：計(jì)算實(shí)際精度。根據(jù)上面像素值選擇相機(jī)。然后用被檢物體寬度除以像素?cái)?shù)得出實(shí)際檢測(cè)精度。

第三步：計(jì)算每秒掃描行數(shù)，也就是線掃描速率。每秒運(yùn)動(dòng)速度長(zhǎng)度除以精度得出每秒的掃描行數(shù)。

根據(jù)以上數(shù)值就可以選定相機(jī)。

例如被檢物體寬度為160mm、精度0.1mm、運(yùn)動(dòng)速度2200mm/s相機(jī)分辨率：160/0.1＝1600像素應(yīng)為2000像素左右，先選定為2K 相機(jī)

實(shí)際精度為：160mm/2048像素＝0.08mm

線掃描速率：2200mm/0.08mm＝27.5KHz

所以應(yīng)選定相機(jī)為線掃描速率大約為28kHz 的2K 相機(jī)。

機(jī)器視覺(jué)系統(tǒng)非常復(fù)雜。即使在簡(jiǎn)單的系統(tǒng)中,硬件和軟件也可以協(xié)同工作以產(chǎn)生結(jié)果。盡管有許多重要組成部分,但其中一個(gè)突出:鏡頭。該鏡頭至關(guān)重要,因?yàn)樗梢圆东@最終將由軟件重新創(chuàng)建的數(shù)據(jù)。它可以定位圖像特征,保持焦點(diǎn)并最大化對(duì)比度。但是,它在各種規(guī)格下運(yùn)行,要實(shí)現(xiàn)機(jī)器視覺(jué)系統(tǒng)的優(yōu)化呈現(xiàn),必須使用能產(chǎn)生佳性能的鏡頭。鏡頭的基本功能就是實(shí)現(xiàn)光束變換（調(diào)制），在機(jī)器視覺(jué)系統(tǒng)中，鏡頭的主要作用是將成像目標(biāo)在圖像傳感器的光敏面上。鏡頭的質(zhì)量直影響到機(jī)器視覺(jué)系統(tǒng)的整體性能，合理地選擇和安裝鏡頭，是機(jī)器視覺(jué)系統(tǒng)設(shè)計(jì)的重要環(huán)節(jié)。

C接口鏡頭可以與C接口攝像機(jī)、CS接口攝像機(jī)互用；?

CS接口鏡頭不可以應(yīng)用在C接口攝像機(jī)，只可以應(yīng)用在CS接口攝像機(jī)。?

將折射率不同的各種硝材通過(guò)研磨，加工成高精度的曲面、把這些鏡頭進(jìn)行組合，就是設(shè)計(jì)鏡頭。從伽利略時(shí)代開(kāi)始使用的普遍技術(shù)是其基本原理。為得到更清晰的圖像，一直在研究開(kāi)發(fā)試制新的硝材和非球面鏡片。

機(jī)器視覺(jué)是用機(jī)器代替人眼來(lái)做測(cè)量和判斷；機(jī)器視覺(jué)系統(tǒng)主要包含相機(jī)、鏡頭、光源、圖像處理系統(tǒng)和執(zhí)行機(jī)構(gòu)。而光源作為其中重要組成部分，直接關(guān)系到系統(tǒng)的成敗。在視覺(jué)系統(tǒng)中圖像是核心，選擇合適的光源能夠呈現(xiàn)一幅好的圖像，能夠簡(jiǎn)化算法 提高系統(tǒng)穩(wěn)定性，一幅圖像如果曝光過(guò)度則會(huì)隱藏很多重要的信息；出現(xiàn)陰影則會(huì)引起邊緣誤判；圖像不均勻則會(huì)導(dǎo)致閾值選擇困難。因此要保證有較好的圖像效果，就必須要選擇一個(gè)合適的光源。

目前理想的視覺(jué)光源有高頻熒光燈、光纖鹵素?zé)?、氙氣燈?LED光源。應(yīng)用最多是 LED光源，主要有如下幾個(gè)特點(diǎn)：

·可制成各種形狀、尺寸及各種照射角度；

·可根據(jù)需要制成各種顏色，并可以隨時(shí)調(diào)節(jié)亮度；

·通過(guò)散熱裝置，散熱效果更好，光亮度更穩(wěn)定；

·使用壽命長(zhǎng)；

·反應(yīng)快捷，可在10微秒或更短的時(shí)間內(nèi)達(dá)到最大亮度；

·電源帶有外觸發(fā)，可以通過(guò)計(jì)算機(jī)控制，起動(dòng)速度快，可以用作頻閃燈；

·運(yùn)行成本低、壽命長(zhǎng)的LED，會(huì)在綜合成本和性能方面體現(xiàn)出更大的優(yōu)勢(shì)；

·可根據(jù)客戶的需要，進(jìn)行特殊設(shè)計(jì)。

這里就詳細(xì)介紹幾種常見(jiàn)的 LED光源。

高密度LED陣列，高亮度；多種緊湊設(shè)計(jì)，節(jié)省安裝空間；LED燈珠排布成環(huán)形與圓心軸成一定夾角， 提供不同照射角度、不同顏色組合，更能突出物體的三維信息；解決多方向照明陰影問(wèn)題；圖像出現(xiàn)燈影情況可選配漫射板，讓光線均勻擴(kuò)散。

應(yīng)用領(lǐng)域:螺絲尺寸缺陷檢測(cè)，IC定位字符檢測(cè)，電路板焊錫檢查，PCB基板檢測(cè)，IC元件檢測(cè)，顯微鏡照明，液晶校正，塑膠容器檢測(cè)等。

用高密度LED陣列面提供高強(qiáng)度背光照明，LED燈珠排布成一個(gè)面（底面發(fā)光）或者從光源四周排布一圈（側(cè)面發(fā)光），常用于突出物體的外形輪廓特征，適用于大面積照射，背光一般放置于物體底部需要考慮機(jī)構(gòu)是否適合安裝，在較高的檢測(cè)精度下可以加強(qiáng)出光平行性來(lái)提升檢測(cè)精度。尤其適合作為顯微鏡的載物臺(tái)。紅白兩用背光源、紅藍(lán)多用背光源，能調(diào)配出不同顏色，滿足不同被測(cè)物多色要求。

應(yīng)用領(lǐng)域:機(jī)械零件尺寸及邊緣缺陷的測(cè)量，飲料液位及雜質(zhì)檢測(cè)、手機(jī)屏漏光檢測(cè)，印刷海報(bào)缺陷檢測(cè)，塑料膜邊緣接縫檢測(cè)，機(jī)械零件尺寸的測(cè)量，電子元件、IC的外型檢測(cè)，膠片污點(diǎn)檢測(cè)，透明物體劃痕檢測(cè)等。

LED燈珠排布成長(zhǎng)條形。多用于單邊或多邊以一定角度照射物體。突出物體的邊緣特征，可根據(jù)實(shí)際情況多條自由組合，照射角度與安裝距離隨有較好自由度。條形光源是較大方形結(jié)構(gòu)被測(cè)物的首選光源；顏色可根據(jù)需求搭配，自由組合；照射角度與安裝隨意可調(diào)。

應(yīng)用領(lǐng)域:電子元件縫隙檢測(cè)，圓柱體表面缺陷檢測(cè)，包裝盒印刷檢測(cè)，藥水袋輪廓檢測(cè)等。金屬表面檢查，圖像掃描，表面裂縫檢測(cè)，LCD面板檢測(cè)等。

經(jīng)面光源采用分光鏡設(shè)計(jì)。適用于粗糙程度不同、反光強(qiáng)或不平整的表面區(qū)域，檢測(cè)雕刻圖案、裂縫、劃傷、低反光與高反光區(qū)域分離、消除陰影等。需要注意的是同軸光源經(jīng)過(guò)分光設(shè)計(jì)有一定的光損失需要考慮亮度，并且不適用于大面積照射。應(yīng)用：玻璃和塑料膜輪廓和定位檢測(cè)， IC字符及定位檢測(cè)，晶片表面雜質(zhì)和劃痕檢測(cè)等。

同軸光源可以消除物體表面不平整引起的陰影，從而減少干擾；部分采用分光鏡設(shè)計(jì)，減少光損失，提高成像清晰度，均勻照射物體表面。

應(yīng)用領(lǐng)域：系列光源最適宜用于反射度極高的物體，如金屬、玻璃、膠片、晶片等表面的劃傷檢測(cè)，芯片和硅晶片的破損檢測(cè)，Mark點(diǎn)定位，包裝條碼識(shí)別。

不同角度的三色光照明，照射凸顯焊錫三維信息；外加漫射板導(dǎo)光，減少反光；不同角度組合；

應(yīng)用領(lǐng)域:用于電路板焊錫檢測(cè)。

具有積分效果的半球面內(nèi)壁，均勻反射從底部360度發(fā)射出的光線，使整個(gè)圖像的照度十分均勻。

應(yīng)用領(lǐng)域:合于曲面，表面凹凸，弧形表面檢測(cè)，或金屬、玻璃表面反光較強(qiáng)的物體表面檢測(cè)。

大功率LED，體積小，發(fā)光強(qiáng)度高；光纖鹵素?zé)舻奶娲罚?span style="letter-spacing: 0.544px; widows: 1; background-color: rgb(242, 242, 242);">一種非直接同軸光源，檢測(cè)視野較小，尤其適合作為鏡頭的同軸光源等；高效散熱裝置，大大提高光源的使用壽命。

應(yīng)用領(lǐng)域:適合遠(yuǎn)心鏡頭使用，用于芯片檢測(cè)，Mark點(diǎn)定位，晶片及液晶玻璃底基校正。

四邊配置條形光，每邊照明獨(dú)立可控；可根據(jù)被測(cè)物要求調(diào)整所需照明角度，適用性廣。

應(yīng)用案例:CB基板檢測(cè)，IC元件檢測(cè)，焊錫檢查，Mark點(diǎn)定位，顯微鏡照明，包裝條碼照明，球形物體照明等。

對(duì)位速度快；視場(chǎng)大；精度高；體積小，便于檢測(cè)集成；亮度高，可選配輔助環(huán)形光源。

應(yīng)用領(lǐng)域:VA系列光源是全自動(dòng)電路板印刷機(jī)對(duì)位的專(zhuān)用光源。

1、檢測(cè)內(nèi)容

外觀檢查、OCR、尺寸測(cè)定、定位

2、對(duì)象物

①想看什么？（異物、傷痕、缺損、標(biāo)識(shí)、形狀等）

②表面狀態(tài)（鏡面、糙面、曲面、平面）

③立體？平面？

④材質(zhì)、表面顏色

⑤視野范圍？

⑥動(dòng)態(tài)還是靜態(tài)（相機(jī)快門(mén)速度）

3、限制條件

①工作距離（鏡頭下端到被測(cè)物表面距離）

②設(shè)置條件（照明的大小、照明下端到被測(cè)物表面的距離、反射型or透射型）

③周?chē)h(huán)境（溫度、外亂光）

④相機(jī)的種類(lèi)，面陣or線陣

1．因材質(zhì)和厚度不同、對(duì)光的透過(guò)特性（透明度）各異。

2．光根拠其波長(zhǎng)之長(zhǎng)短、對(duì)物質(zhì)的穿透能力（穿透率）各異。

3．光的波長(zhǎng)越長(zhǎng)、對(duì)物質(zhì)的透過(guò)力越強(qiáng)，光的波長(zhǎng)越短、在物質(zhì)表面的拡散率越大。

4．透射照明、即是使光線透射對(duì)象物、并観察其透過(guò)光之照明手法。

1．穏定均勻的光源極其重要

2．目的：將被測(cè)物與背景盡量明顕區(qū)分

3．摂取圖像時(shí)、最重要之處是如何鮮明地獲得：被測(cè)物與背景的濃淡差

4．目前、在圖像處理領(lǐng)域中最廣范的技術(shù)手法是：二值化（白黒）處理

為了能夠突出特征點(diǎn)，將特征圖像突出出來(lái)，在打光手法上，常用的包括有明視野與暗視野。

明視野：用直射光來(lái)観察對(duì)象物整體(散亂光呈黒色)

暗視野：用散亂光來(lái)観察對(duì)象物整體(直射光呈白色)

具體的光源選取方法還在于試驗(yàn)的實(shí)踐經(jīng)驗(yàn)。

根據(jù)檢測(cè)產(chǎn)品特征選擇，一般選擇光源的大小要比產(chǎn)品大，這樣照射的光線才能覆蓋到整個(gè)產(chǎn)品；選擇的光源的形狀接近產(chǎn)品形狀，可以讓整個(gè)產(chǎn)品區(qū)域光照強(qiáng)度一致；光源顏色選擇是要能夠讓檢測(cè)目標(biāo)與背景有一定對(duì)比度， 在黑白相機(jī)下使用與產(chǎn)品目標(biāo)區(qū)域顏色接近的光源能夠該區(qū)域呈現(xiàn)更高的灰度，反之則呈現(xiàn)較低灰度；如果產(chǎn)品表面反光較強(qiáng)可以選用均勻性更好的無(wú)影光源， 目標(biāo)特征不明顯則選用指向性或平行性更好的光源。

根據(jù)機(jī)構(gòu)要求，光源能夠滿足設(shè)備的安裝空間，產(chǎn)線的速度快就需要選擇亮度更高的光源；在特殊環(huán)境（潮濕、高溫）就需要考慮光源性能（防水、散熱）。

實(shí)際測(cè)試，光源照射能夠呈現(xiàn)有效對(duì)比度，也要保證各個(gè)區(qū)域的均勻性。一般在檢測(cè)區(qū)域目標(biāo)和背景一個(gè)接近 255 灰度的峰值，這個(gè)時(shí)候?qū)Ρ榷纫话阕罡呒訌?qiáng)或減弱光源亮度都會(huì)影響對(duì)比度差值。當(dāng)出現(xiàn)較好對(duì)比圖像時(shí)一定要把檢測(cè)物體放在視野內(nèi)的各個(gè)位置看看圖像是否一致，這樣才能保證在實(shí)際環(huán)境中的穩(wěn)定性。

光源選型基本要素：

對(duì)比度：對(duì)比度對(duì)機(jī)器視覺(jué)來(lái)說(shuō)非常重要。機(jī)器視覺(jué)應(yīng)用的照明的最重要的任務(wù)就是使需要被觀察的特征與需要被忽略的圖像特征之間產(chǎn)生最大的對(duì)比度，從而易于特征的區(qū)分。對(duì)比度定義為在特征與其周?chē)膮^(qū)域之間有足夠的灰度量區(qū)別。好的照明應(yīng)該能夠保證需要檢測(cè)的特征突出于其他背景。