?計(jì)算機(jī)視覺方向必備opencv基礎(chǔ)知識總覽
點(diǎn)擊下方卡片，關(guān)注“新機(jī)器視覺”公眾號
重磅干貨，第一時(shí)間送達(dá)
曾經(jīng)看過一個(gè)視頻，樹莓派自平衡機(jī)器人自動(dòng)追著小球跑。不經(jīng)讓我腦子蹦出一個(gè)有趣的想法，可以做一個(gè)識別貓的機(jī)器人，讓機(jī)器人跟著貓跑，有這樣一個(gè)小東西陪伴喵星人一定很有意思。
不過，首先你要有一只貓，其次，這個(gè)機(jī)器人不僅要有一雙會視覺處理的眼睛，還一定要有一個(gè)堅(jiān)強(qiáng)的外殼，不然會被喵星人給拆了。
那機(jī)器人是如何完成處理圖像和視頻的各項(xiàng)任務(wù)呢？開源的計(jì)算機(jī)視覺包——OpenCV 會是你的最佳選擇，今天給小白們做一個(gè)最簡單的入門介紹。
今天很開心與大家分享一篇關(guān)于OpenCV的文章，重點(diǎn)闡述以下幾個(gè)問題：
1.如何部署OpenCV。
2.OpenCV有哪些模塊，可以做什么。
3.OpenCV的基本數(shù)據(jù)結(jié)構(gòu)的熟悉與使用。
希望看過文章后，你也可以開始玩轉(zhuǎn)OpenCV之路。
01 什么OpenCV
它是一款由Intel公司俄羅斯團(tuán)隊(duì)發(fā)起并參與和維護(hù)的一個(gè)計(jì)算機(jī)視覺處理開源軟件庫。
作為一款優(yōu)秀的計(jì)算機(jī)視覺庫，在諸多方面都有著卓越的表現(xiàn)：
1.編程語言
多數(shù)模塊基于C++實(shí)現(xiàn)，少部分基于C語言實(shí)現(xiàn)，同時(shí)提供了Python、Ruby、MATLAB等語言的接口。
2.跨平臺
可自由地運(yùn)行在Linux、Windows和Mac OS等桌面平臺，Android、 IOS、BlackBerray等移動(dòng)平臺。
3.活躍的開發(fā)團(tuán)隊(duì)
目前已更新至OpenCV4.0
4.豐富的API
完善的傳統(tǒng)計(jì)算機(jī)視覺算法，涵蓋主流傳統(tǒng)機(jī)器學(xué)習(xí)算法，同時(shí)添加了對深度學(xué)習(xí)的支持。
OpenCV可以完成幾乎所有的圖像處理任務(wù)，下面是一個(gè)簡要list。
視頻分析(Video analysis)
3D重建(3D reconstruction)
特征提取(Feature extraction)
目標(biāo)檢測(Object detection)
機(jī)器學(xué)習(xí)(Machine learning)
計(jì)算攝影(Computational photography)
形狀分析(Shape analysis)
光流算法(Optical flow algorithms)
人臉和目標(biāo)識別(Face and object recognition)
表面匹配(Surface matching)
文本檢測和識別(Text detection and recognition)
02 如何部署OpenCV？
一般來說我們會使用OpenCV的C++和Python版本，所以下面分別對其安裝進(jìn)行介紹，以ubuntu系統(tǒng)為例。
2.1 Ubuntu安裝C++ OpenCV
安裝OpenCV所需的庫
sudo apt-get install build-essential
sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev
libswscale-dev3 sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev
下載最新opencv源碼
unzip opencv-3.2.0.zip
cd ~/opencv-3.2.0
編譯OpenCV
cd ~/opencv-3.2.0
mkdir release
cd release
cmake -D CMAKE_BUILD_TYPE=RELEASE -D
CMAKE_INSTALL_PREFIX=/usr/local ..
make
sudo make install
一般來說，編譯安裝絕對不可能一次順利完成，以下是幾個(gè)常見的問題。
1，編譯過程中ippcv下載失敗， 解決問題的辦法就是手動(dòng)下載。
2，LAPACK包include報(bào)錯(cuò)， 解決問題的辦法就是在cmake之后馬上修改對應(yīng)include文件的路徑 如果make失敗后再修改則無效。
3，某些模塊找不到， 通常是因?yàn)樯倭司幾g安裝contrib模塊。
2.2 Ubuntu安裝Python-OpenCV
安裝opencv
pip3 install opencv-python
進(jìn)入python，導(dǎo)入cv2
import cv2
03 OpenCV模塊簡介
OpenCV提供了許多內(nèi)置的用于圖像處理和計(jì)算機(jī)視覺相關(guān)操作的基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)，它們都包含在core模塊中，并且這些數(shù)據(jù)結(jié)構(gòu)都已經(jīng)針對速度和內(nèi)存做了優(yōu)化，下面以4.0版本為例進(jìn)行介紹，參考https://docs.opencv.org/master/d9/df8/tutorial_root.html。
Opencv目錄下”modules目錄”列出了OpenCV包含的各個(gè)模塊，其中core、highgui、imgproc是最基礎(chǔ)的模塊。
core模塊實(shí)現(xiàn)了最核心的數(shù)據(jù)結(jié)構(gòu)及其基本運(yùn)算，如繪圖函數(shù)、數(shù)組操作相關(guān)函數(shù)，與OpenGL的互操作等。
highgui模塊實(shí)現(xiàn)了視頻與圖像的讀取、顯示、存儲等接口。
imgproc模塊實(shí)現(xiàn)了圖像處理的基礎(chǔ)方法，包括圖像濾波、圖像的幾何變換、平滑、閾值分割、形態(tài)學(xué)處理、邊緣檢測、目標(biāo)檢測、運(yùn)動(dòng)分析和對象跟蹤等。
對于圖像處理其他更高層次的方向及應(yīng)用，OpenCV也有相關(guān)的模塊實(shí)現(xiàn)
features2d模塊用于提取圖像特征以及特征匹配，nonfree模塊實(shí)現(xiàn)了一些專利算法，如sift特征。
objdetect模塊實(shí)現(xiàn)了一些目標(biāo)檢測的功能，經(jīng)典的基于Haar、LBP特征的人臉檢測，基于HOG的行人、汽車等目標(biāo)檢測，分類器使用Cascade Classification（級聯(lián)分類）和Latent SVM等。
stitching模塊實(shí)現(xiàn)了圖像拼接功能。
FLANN模塊（Fast Library for Approximate Nearest Neighbors），包含快速近似最近鄰搜索FLANN
和聚類Clustering算法。ml模塊機(jī)器學(xué)習(xí)模塊（SVM，決策樹，Boosting等等）。
photo模塊包含圖像修復(fù)和圖像去噪兩部分。
video模塊針對視頻處理，如背景分離，前景檢測、對象跟蹤等。
calib3d模塊即Calibration（校準(zhǔn)）3D，這個(gè)模塊主要是相機(jī)校準(zhǔn)和三維重建相關(guān)的內(nèi)容。包含了基本的多視角幾何算法，單個(gè)立體攝像頭標(biāo)定，物體姿態(tài)估計(jì)，立體相似性算法，3D信息的重建等等。
G-API模塊包含超高效的圖像處理pipeline引擎。
另外，原來在opencv2中的shape, superres, videostab, viz等模塊被移動(dòng)到opencv_contrib中，關(guān)于opencv contrib，我們以后再詳細(xì)介紹。
04 OpenCV基本數(shù)據(jù)結(jié)構(gòu)
OpenCv提供了多種基本的數(shù)據(jù)類型，常用的OpenCV的基本數(shù)據(jù)結(jié)構(gòu)有以下幾種:
Mat類
Point類
Size類
Rect類
Scalar類
Vec類
Range類
下面我們重點(diǎn)說一下MAT類。
4.1 Mat類
要熟練使用OpenCV，最重要的就是學(xué)會Mat數(shù)據(jù)結(jié)構(gòu)，在OpenCV中Mat被定義為一個(gè)類，把它看作一個(gè)數(shù)據(jù)結(jié)構(gòu)，以矩陣的形式來存儲數(shù)據(jù)的。
Mat有哪些常見的屬性？
dims：表示矩陣M的維度，如2*3的矩陣為2維，3*4*5的矩陣為3維
data：uchar型的指針，指向內(nèi)存中存放矩陣數(shù)據(jù)的一塊內(nèi)存
rows, cols：矩陣的行數(shù)、列數(shù)
type：表示了矩陣中元素的類型(depth)與矩陣的通道個(gè)數(shù)(channels)；命名規(guī)則為CV_ + (位數(shù)）+（數(shù)據(jù)類型）+（通道數(shù)）
其中：U（unsigned integer）-- 無符號整數(shù)
S（signed integer）-- 有符號整數(shù)
F（float）-- 浮點(diǎn)數(shù)
例如CV_8UC3，可拆分為：CV_：type的前綴,
8U：8位無符號整數(shù)(depth)，C3：3通道(channels)
depth：即圖像每一個(gè)像素的位數(shù)(bits)；這個(gè)值和type是相關(guān)的。例如CV_8UC3中depth則是CV_8U。
channels：通道數(shù)量，若圖像為RGB、HSV等三通道圖像，則channels = 3；若圖像為灰度圖，則為單通道，則channels = 1
elemSize：矩陣中每一個(gè)元素的數(shù)據(jù)大小
elemSize = channels * depth / 8
例如：type是CV_8UC3，elemSize = 3 * 8 / 8 = 3bytes
elemSize1：單通道的矩陣元素占用的數(shù)據(jù)大小
elemSize1 = depth / 8
例如：type是CV_8UC3，elemSize1 = 8 / 8 = 1bytes
4.2 其他數(shù)據(jù)類型
1.點(diǎn)Point類
包含兩個(gè)整型數(shù)據(jù)成員x和y，即坐標(biāo)點(diǎn)
2.尺寸Size類
數(shù)據(jù)成員是width和height，一般用來表示圖像的大小，或者矩陣的大小
3.矩形Rect類
數(shù)據(jù)成員x,y,width,height，分別代表這個(gè)矩形左上角的坐標(biāo)點(diǎn)和矩形的寬度和高度
4.顏色Scalar類
Scalar_(_Tp v0, _Tp v1, _Tp v2=0, _Tp v3=0)
這個(gè)默認(rèn)構(gòu)造函數(shù)的四個(gè)參數(shù)分別表示RGB+Alpha顏色中的:
v0---表示RGB中的B（藍(lán)色）分量
v1---表示RGB中的G（綠色）分量
v2---表示RGB中的R（紅色）分量
v3---表示Alpha是透明色分量
5.向量Vec類
一個(gè)“一維矩陣”
Vec<int,n>---就是用類型int和向量模板類做一個(gè)實(shí)例化。其中第一個(gè)參數(shù)int表示Vec中存儲的為int類型；第二個(gè)參數(shù)n為一個(gè)整型值，表示Vec每個(gè)對象中存儲n個(gè)int值，也就是n維向量(列向量)
6.Range類
用于指定一個(gè)連續(xù)的子序列，例如一個(gè)輪廓的一部分，或者一個(gè)矩陣的列空間
05 基本IO操作
這里使用的是python接口
1.圖像讀寫
cv2.imread(文件名,顯示控制參數(shù)) # 讀入圖像
cv2.imshow(窗口名，圖像名) #顯示圖像
cv2.imwrite(文件地址,文件名) #保存圖像
cv2.namedWindow(窗口名) #創(chuàng)建窗口
cv2.destroyAllWindows() #銷毀窗口
cv2.waitKey( [,delay]) #decay ＞ 0 等待delay 毫秒
#decay ＜ 0 等待鍵盤單擊
#decay = 0 無限等待
2.圖像縮放
dst = cv2.resize(src,dsize,fx,fy) #dsize表示縮放大小
#fx，fy縮放比例
3.圖像翻轉(zhuǎn)
dst = cv2.flip(src,flipCode)
#flipCode=0 以X軸為對稱軸的翻轉(zhuǎn)
#lipCode＞0 以Y軸為對稱軸的翻轉(zhuǎn)
#flipCode＜0 對X、Y軸同時(shí)翻轉(zhuǎn)
4.通道拆分與合并
b,g,r = cv2.split(圖像)
b = cv2.split(圖像)[通道數(shù)] #拆分
bgr = cv2.merge([b,g,r]) #合并
06 相關(guān)學(xué)習(xí)資料
6.1 網(wǎng)絡(luò)資料
OpenCV Docs官方文檔
https://docs.opencv.org/
OpenCV 官方Github
https://github.com/opencv/opencv
OpenCV 中文教程
http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/tutorials/tutorials.html
6.2 中文書籍
Python計(jì)算機(jī)視覺編程
OpenCV 3計(jì)算機(jī)視覺：Python語言實(shí)現(xiàn)
OpenCV算法精解：基于Python與C++
最后，推薦一下大家的Opencv學(xué)習(xí)路線。
本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。
