1. <strong id="7actg"></strong>
    2. <table id="7actg"></table>

    3. <address id="7actg"></address>
      <address id="7actg"></address>
      1. <object id="7actg"><tt id="7actg"></tt></object>

        利用OpenCV建立視差圖像

        共 6084字,需瀏覽 13分鐘

         ·

        2021-01-18 23:29

        點擊上方小白學(xué)視覺”,選擇加"星標(biāo)"或“置頂

        重磅干貨,第一時間送達(dá)

        推薦閱讀

        42個pycharm使用技巧,瞬間從黑鐵變王者

        Google C++項目編程風(fēng)格指南 (中文版) 分享

        我們都看過3D電影,他們看起來都很酷,這給了我們一個想法,使用一些工具通過改變看圖像視角,模擬觀眾的頭部移動。

        效果如何?
        我們都熟悉
        "視差"一術(shù)語,它是描述對象在左右眼中的位置差距,視差的大小這取決于我們離它有多遠(yuǎn)。

        視差

        因此,如果我們能在2D圖像中獲得與不同圖像層的相同效果,那么我們可以在這些圖像中產(chǎn)生類似的感覺,并產(chǎn)生我們想要的酷效果。

        讓我們分解一下這個過程

        深度圖

        因此,首先,我們需要將圖像分解為不同的圖層,并且,我們需要一個2D圖像的深度圖。深度圖只是一個黑白圖像,其中圖像的白色顯示對象與鏡頭的接近度。獲得基本圖層后,我們需要從每個圖層中畫出缺失的部分。最后,我們將單個圖像分解成不同的圖層?,F(xiàn)在,我們可以顯示不同的圖層,這些圖層看起來與原始圖像相同?,F(xiàn)在,我們可以使用相機(jī)進(jìn)行人臉檢測,并測量用戶頭部的移動,然后移動這些圖層并進(jìn)行匹配。

        讓我們看看如何編寫此工具的代碼

        因此,首先,我們需要導(dǎo)入一些文件,建議使用版本 4.1.0.25 的 OpenCV。

        import os, sysimport numpy as npimport pygame as pgimport cv2

        現(xiàn)在,我們需要加載圖像和深度圖,并調(diào)整它們的大小以匹配大小。現(xiàn)在,我們將提供一個深度圖、代碼,但你可以生成自己的模型MiDaS。

        img = cv2.imread('moon.jpg', flags=cv2.CV_8UC4)depth_map = cv2.imread('moon_depth_map.png')depth_map = cv2.cvtColor(depth_map,cv2.COLOR_RGB2GRAY)img = cv2.resize(img, depth_map.shape[:2])


        現(xiàn)在,在加載深度貼圖后,我們可以通過按不同閾值對深度貼圖不同圖層創(chuàng)建蒙版。在制作一個圖層時,我們需要兩個蒙版,一個是該圖層,另一個是上一層的第二個蒙版,用于畫上一個圖層的缺失部分。我們將在循環(huán)之外取最后一個圖層,以便提取此層中的所有剩余部分。

           layers = []     prev_thres = 255div=30     for thres in range(255 - div, 0, -div):           ret, mask = cv2.threshold(depth_map, thres, 255,          cv2.THRESH_BINARY)           ret, prev_mask = cv2.threshold(depth_map, prev_thres, 255, cv2.THRESH_BINARY)            prev_thres = thres           inpaint_img = cv2.inpaint(img, prev_mask, 10, cv2.INPAINT_NS)   layer = cv2.bitwise_and(inpaint_img, inpaint_img, mask = mask)    layers.append(conv_cv_alpha(layer, mask))      # adding last layer    mask = np.zeros(depth_map.shape, np.uint8)    mask[:,:] = 255    ret, prev_mask = cv2.threshold(depth_map, prev_thres, 255, cv2.THRESH_BINARY)     inpaint_img = cv2.inpaint(img, prev_mask, 10, cv2.INPAINT_NS)    layer = cv2.bitwise_and(inpaint_img, inpaint_img, mask = mask)layers.append(conv_cv_alpha(layer, mask))     layers = layers[::-1]

        我們已經(jīng)反轉(zhuǎn)了圖層,因此我們可以按最后一個層排列到第一層的順序排列它們。當(dāng)我們將圖層添加到列表中時,我們使用的是函數(shù)[conv_cv_alpha],這將添加 alpha 值(使 RGB 到 RGBA),并使用蒙版使圖層的某些部分透明。

        def conv_cv_alpha(cv_image, mask):        b, g, r = cv2.split(cv_image)        rgba = [r, g, b, mask]        cv_image = cv2.merge(rgba,4)                  return cv_image

        現(xiàn)在來了人臉檢測和顯示圖像的部分。對于人臉檢測,我們將使用哈卡卡德。現(xiàn)在,我們將加載 haar 級聯(lián)進(jìn)行人臉檢測,并創(chuàng)建一個函數(shù),該函數(shù)將從圖像中返回人臉。

        face_cascade = cv2.CascadeClassifier( 'haarcascade_frontalface_default.xml')   
        def get_face_rect(img): gray_img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) face_rects = face_cascade.detectMultiScale(gray_img, 1.3, 5) if len(face_rects) == 0: return () return face_rects[0]

        現(xiàn)在,我們必須顯示圖像,將根據(jù)用戶的頭移動。我們將使用OpenCV讀取凸輪,然后使用 Pygame將每個幀呈現(xiàn)在彼此的頂部。為了計算每一層的移位,我們將計算從框架中心的頭部移位,然后縮小頭移位以獲得一個小的移位值。之后,我們將每個圖層的索引值相乘,以獲得相應(yīng)圖層的移位值,還可以乘以一些常量值,以獲得更好的結(jié)果。

        我們將創(chuàng)建一個比原始圖像稍小的 Pygame 窗口并加載相機(jī)。我們使用了比例,因此您更改其值以使最終結(jié)果變大。

        scale = 1off_set = 20width, height = layers[0].get_width(), layers[0].get_height()        win = pg.display.set_mode((int((width - off_set)*scale), int((height - off_set)*scale)))    pg.display.set_caption('Parallax_image')scaled_layers = []    for layer in layers:              scaled_layers.append(pg.transform.scale(layer, (int(width*scale), int(height*scale))))cap = cv2.VideoCapture(0, cv2.CAP_DSHOW)

        我們將設(shè)置一些常量。你可以玩這些常量來獲得不同的結(jié)果。

        x_transform = True     # allow shift in x-axisy_transform = False    # allow shift in y-axissens = 50              # the amount of scale down of shift valueshow_cam = False       # show your face camshift_x = 0    shift_y = 0    run = True

        最后,主循環(huán)渲染所有圖層。

        while run:    for event in pg.event.get():        if event.type==pg.QUIT:            run = False    ret, frame = cap.read()    frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)    initial_pos = (frame.shape[0]/2, frame.shape[1]/2)    face_rect = get_face_rect(frame)    if len(face_rect) != 0:        x,y,w,h, = face_rect        face_rect_frame = cv2.rectangle(frame, (x, y), (x + w, y + h), (255,255,0), 3)        shift_x = (initial_pos[0] - (x + w/2))/(sens*scale)        shift_y = (initial_pos[1] - (y + h/2))/(sens*scale)    win.fill((255, 255, 255))                     for i, layer in enumerate(scaled_layers):        new_x = -off_set/2        new_y = -off_set/2        if x_transform:            new_x = 0 + shift_x*i        if y_transform:            new_y = 0 + shift_y*i        win.blit(layer, (new_x, new_y))            face_rect_frame = cv2.resize(face_rect_frame, (100, 100))   if show_cam:       win.blit(conv_cv_pygame(face_rect_frame), (0, 0))   pg.display.update()cap.release()cv2.destroyAllWindows()pg.quit()

        就是這里,最終結(jié)果。


        最終結(jié)果


        不同圖像的演示

        我已經(jīng)創(chuàng)建了一個更高級版本的這個工具,你可以只選擇圖像,它會自動創(chuàng)建視差圖像,深度地圖將自動生成。

        代碼鏈接:https://github.com/strikeraryu/Parallax_Image

        下載1:OpenCV-Contrib擴(kuò)展模塊中文版教程
        在「小白學(xué)視覺」公眾號后臺回復(fù):擴(kuò)展模塊中文教程,即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版,涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

        下載2:Python視覺實戰(zhàn)項目31講
        小白學(xué)視覺公眾號后臺回復(fù):Python視覺實戰(zhàn)項目31講即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目,助力快速學(xué)校計算機(jī)視覺。

        下載3:OpenCV實戰(zhàn)項目20講
        小白學(xué)視覺公眾號后臺回復(fù):OpenCV實戰(zhàn)項目20講,即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目,實現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

        下載4:leetcode算法開源書
        小白學(xué)視覺公眾號后臺回復(fù):leetcode,即可下載。每題都 runtime beats 100% 的開源好書,你值得擁有!





        交流群


        歡迎加入公眾號讀者群一起和同行交流,目前有SLAM、三維視覺、傳感器自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群(以后會逐漸細(xì)分),請掃描下面微信號加群,備注:”昵稱+學(xué)校/公司+研究方向“,例如:”張三 + 上海交大 + 視覺SLAM“。請按照格式備注,否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告,否則會請出群,謝謝理解~


        瀏覽 69
        點贊
        評論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報
        評論
        圖片
        表情
        推薦
        點贊
        評論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報
        1. <strong id="7actg"></strong>
        2. <table id="7actg"></table>

        3. <address id="7actg"></address>
          <address id="7actg"></address>
          1. <object id="7actg"><tt id="7actg"></tt></object>
            国产乱码一区二区三区四区在线 | 国产精品久久久久久久久久搜索 | 草榴av在线 | 色999日韩偷自拍人妻无1 | 日产av在线免费观看 | 国产91探花秘 入口 | 摸进她的内裤里疯狂揉她动图视频 | 美女大逼视频 | 91无码人妻 传媒tv | 欧美99视频 |