利用OpenCV建立視差圖像
點(diǎn)擊上方“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
我們都看過(guò)3D電影，他們看起來(lái)都很酷，這給了我們一個(gè)想法，使用一些工具通過(guò)改變看圖像視角，模擬觀眾的頭部移動(dòng)。
效果如何？
我們都熟悉"視差"這一術(shù)語(yǔ)，它是描述對(duì)象在左右眼中的位置差距，視差的大小這取決于我們離它有多遠(yuǎn)。
視差
因此，如果我們能在2D圖像中獲得與不同圖像層的相同效果，那么我們可以在這些圖像中產(chǎn)生類似的感覺(jué)，并產(chǎn)生我們想要的酷效果。
讓我們分解一下這個(gè)過(guò)程
深度圖
因此，首先，我們需要將圖像分解為不同的圖層，并且，我們需要一個(gè)2D圖像的深度圖。深度圖只是一個(gè)黑白圖像，其中圖像的白色顯示對(duì)象與鏡頭的接近度。獲得基本圖層后，我們需要從每個(gè)圖層中畫(huà)出缺失的部分。最后，我們將單個(gè)圖像分解成不同的圖層?，F(xiàn)在，我們可以顯示不同的圖層，這些圖層看起來(lái)與原始圖像相同?，F(xiàn)在，我們可以使用相機(jī)進(jìn)行人臉檢測(cè)，并測(cè)量用戶頭部的移動(dòng)，然后移動(dòng)這些圖層并進(jìn)行匹配。
讓我們看看如何編寫(xiě)此工具的代碼
因此，首先，我們需要導(dǎo)入一些文件，建議使用版本 4.1.0.25 的 OpenCV。
import os, sysimport numpy as npimport pygame as pgimport cv2
現(xiàn)在，我們需要加載圖像和深度圖，并調(diào)整它們的大小以匹配大小?，F(xiàn)在，我們將提供一個(gè)深度圖、代碼，但你可以生成自己的模型MiDaS。
img = cv2.imread('moon.jpg', flags=cv2.CV_8UC4)depth_map = cv2.imread('moon_depth_map.png')depth_map = cv2.cvtColor(depth_map,cv2.COLOR_RGB2GRAY)img = cv2.resize(img, depth_map.shape[:2])
現(xiàn)在，在加載深度貼圖后，我們可以通過(guò)按不同閾值對(duì)深度貼圖不同圖層創(chuàng)建蒙版。在制作一個(gè)圖層時(shí)，我們需要兩個(gè)蒙版，一個(gè)是該圖層，另一個(gè)是上一層的第二個(gè)蒙版，用于畫(huà)上一個(gè)圖層的缺失部分。我們將在循環(huán)之外取最后一個(gè)圖層，以便提取此層中的所有剩余部分。
layers = []prev_thres = 255div=30for thres in range(255 - div, 0, -div):ret, mask = cv2.threshold(depth_map, thres, 255, cv2.THRESH_BINARY)ret, prev_mask = cv2.threshold(depth_map, prev_thres, 255, cv2.THRESH_BINARY)prev_thres = thresinpaint_img = cv2.inpaint(img, prev_mask, 10, cv2.INPAINT_NS)layer = cv2.bitwise_and(inpaint_img, inpaint_img, mask = mask)layers.append(conv_cv_alpha(layer, mask))# adding last layermask = np.zeros(depth_map.shape, np.uint8)mask[:,:] = 255ret, prev_mask = cv2.threshold(depth_map, prev_thres, 255, cv2.THRESH_BINARY)inpaint_img = cv2.inpaint(img, prev_mask, 10, cv2.INPAINT_NS) layer = cv2.bitwise_and(inpaint_img, inpaint_img, mask = mask)layers.append(conv_cv_alpha(layer, mask))layers = layers[::-1]
我們已經(jīng)反轉(zhuǎn)了圖層，因此我們可以按最后一個(gè)層排列到第一層的順序排列它們。當(dāng)我們將圖層添加到列表中時(shí)，我們使用的是函數(shù)[conv_cv_alpha]，這將添加 alpha 值（使 RGB 到 RGBA），并使用蒙版使圖層的某些部分透明。
def conv_cv_alpha(cv_image, mask):g, r = cv2.split(cv_image)rgba = [r, g, b, mask]cv_image = cv2.merge(rgba,4)return cv_image
現(xiàn)在來(lái)了人臉檢測(cè)和顯示圖像的部分。對(duì)于人臉檢測(cè)，我們將使用哈卡卡德。現(xiàn)在，我們將加載 haar 級(jí)聯(lián)進(jìn)行人臉檢測(cè)，并創(chuàng)建一個(gè)函數(shù)，該函數(shù)將從圖像中返回人臉。
face_cascade = cv2.CascadeClassifier( 'haarcascade_frontalface_default.xml')def get_face_rect(img):gray_img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)face_rects = face_cascade.detectMultiScale(gray_img, 1.3, 5)if len(face_rects) == 0:return ()return face_rects[0]
現(xiàn)在，我們必須顯示圖像，將根據(jù)用戶的頭移動(dòng)。我們將使用OpenCV讀取凸輪，然后使用 Pygame將每個(gè)幀呈現(xiàn)在彼此的頂部。為了計(jì)算每一層的移位，我們將計(jì)算從框架中心的頭部移位，然后縮小頭移位以獲得一個(gè)小的移位值。之后，我們將每個(gè)圖層的索引值相乘，以獲得相應(yīng)圖層的移位值，還可以乘以一些常量值，以獲得更好的結(jié)果。
我們將創(chuàng)建一個(gè)比原始圖像稍小的 Pygame 窗口并加載相機(jī)。我們使用了比例，因此您更改其值以使最終結(jié)果變大。
scale = 1off_set = 20width, height = layers[0].get_width(), layers[0].get_height() win = pg.display.set_mode((int((width - off_set)*scale), int((height - off_set)*scale)))pg.display.set_caption('Parallax_image')scaled_layers = []for layer in layers:scaled_layers.append(pg.transform.scale(layer, (int(width*scale), int(height*scale))))cap = cv2.VideoCapture(0, cv2.CAP_DSHOW)
我們將設(shè)置一些常量。你可以玩這些常量來(lái)獲得不同的結(jié)果。
x_transform = True # allow shift in x-axisy_transform = False # allow shift in y-axissens = 50 # the amount of scale down of shift valueshow_cam = False # show your face camshift_x = 0shift_y = 0run = True
最后，主循環(huán)渲染所有圖層。
while run:for event in pg.event.get():if event.type==pg.QUIT:run = Falseframe = cap.read()frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)initial_pos = (frame.shape[0]/2, frame.shape[1]/2)face_rect = get_face_rect(frame)if len(face_rect) != 0:= face_rectface_rect_frame = cv2.rectangle(frame, (x, y), (x + w, y + h), (255,255,0), 3)shift_x = (initial_pos[0] - (x + w/2))/(sens*scale)shift_y = (initial_pos[1] - (y + h/2))/(sens*scale)255, 255))for i, layer in enumerate(scaled_layers):new_x = -off_set/2new_y = -off_set/2if x_transform:new_x = 0 + shift_x*iif y_transform:new_y = 0 + shift_y*i(new_x, new_y))face_rect_frame = cv2.resize(face_rect_frame, (100, 100))if show_cam:(0, 0))pg.display.update()cap.release()cv2.destroyAllWindows()pg.quit()
就是這里，最終結(jié)果。
最終結(jié)果
不同圖像的演示
我已經(jīng)創(chuàng)建了一個(gè)更高級(jí)版本的這個(gè)工具，你可以只選擇圖像，它會(huì)自動(dòng)創(chuàng)建視差圖像，深度地圖將自動(dòng)生成。
代碼鏈接：https://github.com/strikeraryu/Parallax_Image
個(gè)人微信（如果沒(méi)有備注不拉群！） 請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
下載1：何愷明頂會(huì)分享
在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析
下載2：終身受益的編程指南：Google編程風(fēng)格指南
在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！
下載3 CVPR2020 在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR2020，即可下載1467篇CVPR?2020論文
覺(jué)得不錯(cuò)就點(diǎn)亮在看吧
