基于3D深度視覺的人體姿態(tài)估計算法
點擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時間送達(dá)
本文轉(zhuǎn)自|新機器視覺
人體姿態(tài)估計是當(dāng)前計算機視覺領(lǐng)域的熱點研究問題。對人體骨架關(guān)節(jié)點進(jìn)行準(zhǔn)確提取并構(gòu)建人體骨架模型，為進(jìn)一步的人體姿態(tài)識別、實時交互游戲等應(yīng)用提供了基礎(chǔ)。但是傳統(tǒng)的基于RGB圖像的方法容易受到光照、陰影、復(fù)雜背景的影響，準(zhǔn)確度不高并且算法復(fù)雜。利用深度圖像技術(shù)可以有效地解決上述問題，利用深度信息可以快速地進(jìn)行背景分割，抗干擾性能好，算法效率高。
本文主要研究基于深度圖像的人體關(guān)節(jié)定位算法。算法對深度圖像素點周圍區(qū)域的深度進(jìn)行格點化采樣以提取其深度特征，再使用隨機森林分類器進(jìn)行像素點分類，對同一類別的點使用Mean Shift算法聚類出中心點，以該中心點作為關(guān)節(jié)點位置。該算法可對人體全身關(guān)節(jié)點進(jìn)行定位。
局域深度特征提取
本文中采用如圖1所示的局域深度采樣特征。其中藍(lán)色點表示圖像I中給定的像素x，以該像素為中心生成一個5*5的格點矩陣，紅色的格點表示要進(jìn)行深度采樣的點。
圖1 局域深度采樣示意圖
隨機森林分類器
分類器是對樣本進(jìn)行分類的算法的統(tǒng)稱，在機器學(xué)習(xí)中有許多種分類器可供我們選擇使用，包括邏輯回歸、樸素貝葉斯、支持向量機（SVM）、決策樹、隨機森林、神經(jīng)網(wǎng)絡(luò)等算法。綜合考慮分類的精度與效率，本課題中采用的是隨機森林分類器。
隨機森林分類器是由多棵決策樹組合而成的分類器，如圖2所示。決策樹的結(jié)構(gòu)類似二叉樹，由分裂結(jié)點和葉結(jié)點構(gòu)成。每一個分裂結(jié)點包含一個特征與閾值，像素x從根部開始，根據(jù)特征與閾值劃分進(jìn)入左子樹還是右子樹，這樣不斷地分裂直到葉結(jié)點。在每棵樹的葉結(jié)點能夠得到該像素對于各個身體部件的概率分布，將各棵樹得到的結(jié)果相加，得到最終的概率分布，擁有最高概率的一類作為最終的分類結(jié)果。
隨機森林將多棵決策樹合并在一起，準(zhǔn)確度相較于單棵決策樹有較大提升，并且多棵決策樹可以并行訓(xùn)練，提高了訓(xùn)練效率。
圖2隨機森林分類器
訓(xùn)練完隨機森林分類器后，我們利用其對像素點進(jìn)行分類，判斷其屬于身體的哪個部位。對于圖像中的每個像素，使用分類器對其分類后得到分類的結(jié)果，以及預(yù)測結(jié)果的概率。我們只選取圖像中預(yù)測概率高于80%的點，這樣就能得到密度不同的分類點。越靠近關(guān)節(jié)點位置，預(yù)測概率越高，點的密度越大，遠(yuǎn)離關(guān)節(jié)點位置的密度則小。
關(guān)節(jié)點位置估計
在得到像素點分類后，我們使用Mean Shift聚類算法得到屬于同一部位像素點的中心，作為關(guān)節(jié)位置。
Mean Shift算法一般為一個迭代過程，先計算感興趣區(qū)域內(nèi)的偏移均值，移動區(qū)域中心到計算出的質(zhì)心處，然后以此處作為新的起點，繼續(xù)移動。在迭代過程中，不斷向密度更大的地方偏移，直到移動到這類像素點密度最高的中心位置而停止。此時這個位置最能代表這一類點，我們將其作為該部位的關(guān)節(jié)點位置。分別對所有類別的點都運行一遍此算法后，我們就能得到全身關(guān)節(jié)點的位置。
但是由于分類結(jié)果并不一定準(zhǔn)確，聚類出的結(jié)果可能與真實關(guān)節(jié)點的位置有所偏移，這時我們可以采用人體骨架長度比例約束條件，來矯正一部分偏移較大的關(guān)節(jié)點，對預(yù)測結(jié)果進(jìn)行優(yōu)化。
流程介紹
訓(xùn)練流程：對一幅深度圖，取關(guān)節(jié)附近的點作為訓(xùn)練集，對這些點提取深度特征，再訓(xùn)練隨機森林分類器
圖3訓(xùn)練流程示意圖
測試流程：深度圖背景分割得到人體區(qū)域圖像，使用隨機森林分類器對人體的像素點進(jìn)行分類，選取預(yù)測概率大于設(shè)定閾值的點，則得到疏密不同的各關(guān)節(jié)部位像素點，越接近關(guān)節(jié)點位置，像素點越密，再使用Mean shift算法進(jìn)行聚類，得到關(guān)節(jié)點位置
圖3測試流程示意圖
運行效果
圖4為關(guān)節(jié)定位算法的運行效果，(a)為NTU數(shù)據(jù)集中關(guān)節(jié)點的標(biāo)準(zhǔn)位置；(b)是算法對同一張深度圖中關(guān)節(jié)點的定位結(jié)果；(c)為自制的Kinect測試集上的運行效果；(d)為采用公司研制的TOF相機模塊拍攝的深度圖的運行效果?？梢灾庇^地看出定位效果較為良好。TOF相機的分辨率為320*240，因此相同距離下人體在畫面中所占比例更大。
(a) (b)
(c) (d)
圖4 算法運行效果示例
(a)NTU測試集真值，25關(guān)節(jié) (b)NTU測試集 (c)自制測試集 (d)TOF相機拍攝圖像
End
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~