肢體關(guān)鍵點(diǎn)

肢體關(guān)鍵點(diǎn)檢測是一種可以從圖片和視頻中識別出例如肩，肘，腕，髖，膝，踝關(guān)節(jié)等人體主要關(guān)節(jié)點(diǎn)的技術(shù)。美圖AI開放平臺的該技術(shù)能夠準(zhǔn)確識別出頭頂、脖子、右肩、左肩、右肘、左肘、右腕、左腕、右髖、左髖、右膝、左膝、右踝、左踝共14個(gè)人體部位。
這是一項(xiàng)非常關(guān)鍵的基礎(chǔ)技術(shù)，諸如身體美型、AR效果等時(shí)下最流行的玩法和效果都需要基于準(zhǔn)確的關(guān)鍵點(diǎn)數(shù)據(jù)，也可拓展后應(yīng)用于體育健身、行為識別、娛樂互動(dòng)、安防監(jiān)控等領(lǐng)域。
而當(dāng)前在學(xué)術(shù)領(lǐng)域被較多采用于推斷人體關(guān)節(jié)點(diǎn)位置的Bottom-up方法有以下兩個(gè)主要缺陷：1.在將人體part連接成人的過程中容易產(chǎn)生大量的誤連接；2.需要輸入圖像中人的面積比較大，如果人的面積小于一定尺寸，那么效果會斷崖式下降。而在稠密人群場景中，上述兩個(gè)缺陷由于很多人互相遮擋尤為嚴(yán)重，導(dǎo)致人體part連接困難，效果下降。
美圖AI開放平臺的該技術(shù)基于海量數(shù)據(jù)以及深度學(xué)習(xí)算法，通過技術(shù)手段對以上兩個(gè)典型問題實(shí)現(xiàn)了顯著優(yōu)化。得益于關(guān)鍵訓(xùn)練樣例挖掘和專門為肢體檢測定制的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，對于復(fù)雜背景，光照變化，大面積遮擋，衣著變化，夸張姿態(tài)等有極強(qiáng)的魯棒性。同時(shí)還可支持不同層次的精度和速度等級，勝任從單圖到視頻等不同層次的檢測任務(wù)。