加入極市專業(yè)CV交流群，與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度?等名校名企視覺開發(fā)者互動交流！

同時提供每月大咖直播分享、真實項目需求對接、干貨資訊匯總，行業(yè)技術交流。關注?極市平臺?公眾號?，回復?加群，立刻申請入群~

作者丨七醬@知乎

來源丨h(huán)ttps://zhuanlan.zhihu.com/p/69042249

目錄

一、前言

二、相關數(shù)據(jù)集

三、Ground Truth的構(gòu)建

四、單人2D關鍵點檢測的發(fā)展（2016-2019）

五、多人2D關鍵點檢測的算法（Top-Down和Bottom-Up）

六、3D關鍵點檢測的算法

七、2020CVPR姿態(tài)估計相關文章更新

八、技巧通用類文章（先挖坑）

一、前言

人體骨骼關鍵點檢測是諸多計算機視覺任務的基礎，例如動作分類、行為識別以及無人駕駛等。2012年，Hinton課題組為了證明深度學習的潛力，首次參加ImageNet圖像識別比賽，其通過構(gòu)建的CNN網(wǎng)絡AlexNet一舉奪得冠軍，且碾壓第二名（SVM方法）的分類性能。也正是由于該比賽，CNN吸引到了眾多研究者的注意。深度學習開始迎來超級發(fā)展時期，人體骨骼關鍵點檢測效果也不斷提升。

由于人體具有柔韌性，會出現(xiàn)各種姿態(tài)，人體任何部位的變化都會產(chǎn)生新的姿態(tài)，同時關鍵點的可見性受穿著、視角等影響非常大，而且還面臨著遮擋、光照、霧等環(huán)境的影響，使得人體骨骼關鍵點檢測成為計算機視覺領域中一個極具挑戰(zhàn)性的課題。本文主要介紹單人2D人體骨骼關鍵點的近年來的相關算法，以及最新的多人2D人體骨骼關鍵點算法和3D人體骨骼關鍵點算法。

二、相關數(shù)據(jù)集

LSP（Leeds Sports Pose Dataset）：單人人體關鍵點檢測數(shù)據(jù)集，關鍵點個數(shù)為14，樣本數(shù)2K，在目前的研究中作為第二數(shù)據(jù)集使用。

FLIC（Frames Labeled In Cinema）：單人人體關鍵點檢測數(shù)據(jù)集，關鍵點個數(shù)為9，樣本數(shù)2W，在目前的研究中作為第二數(shù)據(jù)集使用。

MPII（MPII Human Pose Dataset）：單人/多人人體關鍵點檢測數(shù)據(jù)集，關鍵點個數(shù)為16，樣本數(shù)25K，是單人人體關鍵點檢測的主要數(shù)據(jù)集。

MSCOCO：多人人體關鍵點檢測數(shù)據(jù)集，關鍵點個數(shù)為17，樣本數(shù)多于30W，多人關鍵點檢測的主要數(shù)據(jù)集，主流數(shù)據(jù)集；

AI Challenger：多人人體關鍵點檢測數(shù)據(jù)集，關鍵點個數(shù)為14，樣本數(shù)約38W，競賽數(shù)據(jù)集；

human3.6M：是3D人體姿勢估計的最大數(shù)據(jù)集，由360萬個姿勢和相應的視頻幀組成，這些視頻幀包含11位演員從4個攝像機視角執(zhí)行15項日?；顒拥倪^程。數(shù)據(jù)集龐大將近100G。(很多人好像下載不了，有人想要的話，網(wǎng)盤分享給各位)

PoseTrack：最新的關于人體骨骼關鍵點的數(shù)據(jù)集，多人人體關鍵點跟蹤數(shù)據(jù)集，包含單幀關鍵點檢測、多幀關鍵點檢測、多人關鍵點跟蹤三個人物，多于500個視頻序列，幀數(shù)超過20K，關鍵點個數(shù)為15。

三、Ground Truth的構(gòu)建

在介紹多人關鍵點檢測論文之前，首先介紹一下關鍵點回歸的Ground Truth的構(gòu)建問題，主要有兩種思路，Coordinate和Heatmap，Coordinate即直接將關鍵點坐標作為最后網(wǎng)絡需要回歸的目標，這種情況下可以直接得到每個坐標點的直接位置信息；Heatmap即將每一類坐標用一個概率圖來表示，對圖片中的每個像素位置都給一個概率，表示該點屬于對應類別關鍵點的概率，比較自然的是，距離關鍵點位置越近的像素點的概率越接近1，距離關鍵點越遠的像素點的概率越接近0，具體可以通過相應函數(shù)進行模擬，如Gaussian等，如果同一個像素位置距離不同關鍵點的距離大小不同，即相對于不同關鍵點該位置的概率不一樣，這時可以取Max或Average。對于兩種Ground Truth的差別，Coordinate網(wǎng)絡在本質(zhì)上來說，需要回歸的是每個關鍵點的一個相對于圖片的offset，而長距離offset在實際學習過程中是很難回歸的，誤差較大，同時在訓練中的過程，提供的監(jiān)督信息較少，整個網(wǎng)絡的收斂速度較慢；Heatmap網(wǎng)絡直接回歸出每一類關鍵點的概率，在一定程度上每一個點都提供了監(jiān)督信息，網(wǎng)絡能夠較快的收斂，同時對每一個像素位置進行預測能夠提高關鍵點的定位精度，在可視化方面，Heatmap也要優(yōu)于Coordinate，除此之外，實踐證明，Heatmap確實要遠優(yōu)于Coordinate。最后，對于Heatmap + Offsets的Ground Truth構(gòu)建思路主要是Google在CVPR 2017上提出的，與單純的Heatmap不同的是，Google的Heatmap指的是在距離目標關鍵點一定范圍內(nèi)的所有點的概率值都為1，在Heatmap之外，使用Offsets，即偏移量來表示距離目標關鍵點一定范圍內(nèi)的像素位置與目標關鍵點之間的關系。

1.Towards accurate multi-person pose estimation in the wild（cvpr2017）

第一階段使用faster rcnn做detection，檢測出圖片中的多個人，并對bounding box進行image crop；第二階段采用fully convolutional resnet對每一個bonding box中的人物預測dense heatmap和offset; 最后通過heatmap和offset的融合得到關鍵點的精確定位。

下面這篇文章也使用到了offset這個概念。

2.Learning to Refifine Human Pose Estimation(2018)

本文提出了訓練一個新的模型, 來對某個pose estimation model產(chǎn)生的pose進行修正。文章引入了一種有效的后處理技術用于人體姿勢估計中的身體關節(jié)細化任務。由于其前饋架構(gòu)，簡單且端到端的可訓練,高效的。提出了一個培訓數(shù)據(jù)增強方案糾錯，使網(wǎng)絡能夠識別錯誤的身體關節(jié)預測和學習方法改進它們。

四、單人關鍵點檢測的發(fā)展（2016-2019）

廢話一下，2019開始專門做單人2d關鍵點的論文也太少了吧，很多文章都是做2d多人或者3d，然后把mpll的數(shù)據(jù)集的結(jié)果在文章后面貼一貼，這個數(shù)據(jù)集可能要到頭了，建議萌新們要發(fā)文章直接做2d多人或者3d。入門練手就隨意啦~

首先看下單人姿態(tài)估計數(shù)據(jù)集MPII（MPII Human Pose Dataset）官方列出的榜單：http://human-pose.mpi-inf.mpg.de/#results

截圖時間2020/07/27,最佳成績已經(jīng)達到94.1%。這篇結(jié)果是加了外源數(shù)據(jù)集的......大部分模型在mpll存在過擬合現(xiàn)象。

下面由單人關鍵點檢測的經(jīng)典論文開場吧。

1.Convolutional Pose Machines（2016）

本論文將深度學習應用于人體姿態(tài)分析，同時用卷積圖層表達紋理信息和空間信息。在2016年的MPII榜單中名列前茅。主要網(wǎng)絡結(jié)構(gòu)分為多個stage，各個階段都有監(jiān)督訓練，避免過深網(wǎng)絡難以優(yōu)化的問題。通過改變卷積核大小來得到多個尺度輸入的特征和響應，既能確保精度，又考慮了各個部件之間的遠距離關系。其中第一個stage會產(chǎn)生初步的關鍵點的檢測效果，接下來的幾個stage均以前一個stage的預測輸出和從原圖提取的特征作為輸入，進一步提高關鍵點的檢測效果。

2.Learning Feature Pyramids for Human Pose Estimation （ICCV2017）

本文主要關注人體部件中的尺度問題，這種尺度變化主要發(fā)生在相機拍攝視角變化，設計了 Pyramid Residual Module (PRMs) 來增強 CNN 網(wǎng)絡對尺度信息的提取能力。同時發(fā)現(xiàn)DCNNs多輸入或者多輸出層的初始化問題，以及發(fā)現(xiàn)在一些場景中激活變化累積是由identity mapping造成的， 對于這兩個問題作者分別提出解決的方法。

3.Stacked Hourglass Networks for Human Pose Estimation(2017)

Hourglass模塊設計的初衷就是為了捕捉每個尺度下的信息，因為捕捉像臉，手這些部分的時候需要局部的特征，而最后對人體姿態(tài)進行預測的時候又需要整體的信息。為了捕獲圖片在多個尺度下的特征，通常的做法是使用多個pipeline分別單獨處理不同尺度下的信息，然后再網(wǎng)絡的后面部分再組合這些特征，而作者使用的方法就是用帶有skip layers的單個pipeline來保存每個尺度下的空間信息。

在Hourglass模塊中，卷積和max pooling被用來將特征降到一個很低的分辨率，在每一個max pooling步驟中，網(wǎng)絡產(chǎn)生分支并在原來提前池化的分辨率下使用更多的卷積，當?shù)竭_最低的分辨率的時候，網(wǎng)絡開始upsample并結(jié)合不同尺度下的特征。這里upsample（上采樣）采用的方法是最鄰近插值，之后再將兩個特征集按元素位置相加。當?shù)竭_輸出分辨率的時候，再接兩個1×1的卷積層來進行最后的預測，網(wǎng)絡的輸出是一組heatmap，對于給定的heatmap，網(wǎng)絡預測在每個像素處存在關節(jié)的概率。

4.Multi-Context Attention for Human Pose Estimation(2018)

這篇文章整合多內(nèi)容信息注意力機制(multi-context attention mechanism)到CNN網(wǎng)絡，得到人體姿態(tài)估計 end-to-end 框架.采用堆積沙漏網(wǎng)絡(stacked hourglass networks) 生成不同分辨率特征的注意力圖(attention maps)，不同分辨率特征對應著不同的語義.并同時結(jié)合了整體注意力模型和肢體部分注意力模型，整體注意力模型針對的是整體人體的全局一致性，部分注意力模型針對不同身體部分的詳細描述. 因此，能夠處理從局部顯著區(qū)域到全局語義空間的不同粒度內(nèi)容.另外，設計了新穎的沙漏殘差單元(Hourglass Residual Units, HRUs)，增加網(wǎng)絡的接受野. HRUs 擴展了帶分支的殘差單元，分支的 filters 具有較大接受野；利用 HRUs 可以學習得到不同尺度的特征.

5.A Cascaded Inception of Inception Network with Attention Modulated Feature Fusion for Human Pose Estimation(2018)

本文提出了三種新技術。為人類姿勢巧妙地利用不同級別的特征進行估計。首先，初始化（IOI）塊是旨在強調(diào)低級特征。其次，根據(jù)人體關節(jié)信息提出了注意機制來調(diào)整關節(jié)的重要性。第三，提出了一種級聯(lián)網(wǎng)絡來順序定位關節(jié)強制從獨立部件的關節(jié)傳遞消息像頭部和軀干到手腕或腳踝等遠程關節(jié)。

6.Deeply Learned Compositional Models for Human Pose Estimation(2018ECCV）

這篇文章利用深度神經(jīng)網(wǎng)絡來學習人體的組成。是具有分層組成架構(gòu)和自下而上/自上而下的推理階段的新型網(wǎng)絡。

7.Human Pose Estimation with Spatial Contextual Information(2019)

目前大多數(shù)網(wǎng)絡以多階段的方式進行訓練并加以優(yōu)化精細。在這個出發(fā)點上，作者提出了兩個簡單但有效的模塊，即Cascade Prediction Fusion(CPF)網(wǎng)絡用來預測關鍵點和Pose Graph Neural Network(PGNN), 用來對上級預測的關鍵點進行修正。

8.Cascade Feature Aggregation for Human Pose Estimation(2019)

這篇文章是2019年mpll數(shù)據(jù)集結(jié)果達到93.3%那篇，相比其他論文，這篇文章達到這么高的評分，主要有三點，一是，作者把stage2到stageN的heatmap的平均值作為最后輸出；二是作者通過實驗得出stage1把resnet101作為backbone，后面的stage采用resnet50作為backbone效果最佳；三是作者引入了AI Challenger的數(shù)據(jù)集來擴充訓練數(shù)據(jù)。

9.Toward fast and accurate human pose estimation via soft-gated skip connections(2020)

這篇文章是2020年mpll數(shù)據(jù)集結(jié)果達到94.1%那篇。

五、多人關鍵點檢測

多人關鍵點檢測分自上而下和自下而上兩種方法：

自上而下（Top-Down）的人體骨骼關鍵點檢測算法主要包含兩個部分，目標檢測和單人人體骨骼關鍵點檢測，對于目標檢測算法，這里不再進行描述，而對于關鍵點檢測算法，首先需要注意的是關鍵點局部信息的區(qū)分性很弱，即背景中很容易會出現(xiàn)同樣的局部區(qū)域造成混淆，所以需要考慮較大的感受野區(qū)域；其次人體不同關鍵點的檢測的難易程度是不一樣的，對于腰部、腿部這類關鍵點的檢測要明顯難于頭部附近關鍵點的檢測，所以不同的關鍵點可能需要區(qū)別對待；最后自上而下的人體關鍵點定位依賴于檢測算法的提出的Proposals，會出現(xiàn)檢測不準和重復檢測等現(xiàn)象，大部分相關論文都是基于這三個特征去進行相關改進。

自下而上（Bottom-Up）的人體骨骼關鍵點檢測算法主要包含兩個部分，關鍵點檢測和關鍵點聚類，其中關鍵點檢測和單人的關鍵點檢測方法上是差不多的，區(qū)別在于這里的關鍵點檢測需要將圖片中所有類別的所有關鍵點全部檢測出來，然后對這些關鍵點進行聚類處理，將不同人的不同關鍵點連接在一塊，從而聚類產(chǎn)生不同的個體。而這方面的論文主要側(cè)重于對關鍵點聚類方法的探索，即如何去構(gòu)建不同關鍵點之間的關系。

Part1：多人2d關鍵點檢測的算法（自上而下）

1.RMPE: Regional Multi-Person Pose Estimation（2018）

本論文主要考慮的是自上而下的關鍵點檢測算法在目標檢測產(chǎn)生Proposals的過程中，可能會出現(xiàn)檢測框定位誤差、對同一個物體重復檢測等問題。檢測框定位誤差，會出現(xiàn)裁剪出來的區(qū)域沒有包含整個人活著目標人體在框內(nèi)的比例較小，造成接下來的單人人體骨骼關鍵點檢測錯誤；對同一個物體重復檢測，雖然目標人體是一樣的，但是由于裁剪區(qū)域的差異可能會造成對同一個人會生成不同的關鍵點定位結(jié)果。本文提出了一種方法來解決目標檢測產(chǎn)生的Proposals所存在的問題，即通過空間變換網(wǎng)絡將同一個人體的產(chǎn)生的不同裁剪區(qū) （Proposals）都變換到一個較好的結(jié)果，如人體在裁剪區(qū)域的正中央，這樣就不會產(chǎn)生對于一個人體的產(chǎn)生的不同Proposals有不同關鍵點檢測效果。

2.Cascaded Pyramid Network for Multi-Person Pose Estimation（cpn）（2018）

這篇文章是由Face++團隊發(fā)表的COCO 17關鍵點的冠軍方案，本論文主要關注的是不同類別關鍵點的檢測難度是不一樣的，整個結(jié)構(gòu)的思路是先檢測比較簡單的關鍵點、然后檢測較難的關鍵點、最后檢測更難的或不可見的關鍵點。分為兩個stage，GlobalNet和RefineNet其中GlobalNet主要負責檢測容易檢測和較難檢測的關鍵點，對于較難關鍵點的檢測，主要體現(xiàn)在網(wǎng)絡的較深層，通過進一步更高層的語義信息來解決較難檢測的關鍵點問題；RefineNet主要解決更難或者不可見關鍵點的檢測，這里對關鍵點進行難易程度進行界定主要體現(xiàn)在關鍵點的訓練損失上，使用了常見的Hard Negative Mining策略，在訓練時取損失較大的top-K個關鍵點計算損失，然后進行梯度更新，不考慮損失較小的關鍵點。

3.Rethinking on Multi-Stage Networks for Human Pose Estimation（2019）

時隔一年，F(xiàn)ace++團隊又拿下了COCO 18關鍵點檢測冠軍。提出了多階段姿態(tài)估計網(wǎng)絡（MSPN）有三個新的技術。首先，當前多階段方法中的單級模塊遠非最優(yōu)。例如，沙漏在所有塊中使用相等寬度的通道用于向下和向下提取。這種設計與當前網(wǎng)絡架構(gòu)設計（ResNet）不一致。作者發(fā)現(xiàn)采用現(xiàn)有良好的網(wǎng)絡結(jié)構(gòu)進行下采樣路徑和簡單的上采樣路徑要好很多。其次，由于重復的向下和向上采樣步驟，信息更容易丟失，優(yōu)化變得更加困難。作者建議在不同階段匯總特征以加強信息流動并減輕培訓的難度。最后，觀察姿勢定位精度逐漸提高。在多階段，作者采取粗到細的多監(jiān)督方式。

4.Spatial Shortcut Network for Human Pose Estimation（2019）

現(xiàn)有的基于姿態(tài)估計的方式，是通過逐像素分類實現(xiàn)的，這種方式是考慮不到大范圍的空間信息的。舉例來說：由于肘關節(jié)的外觀與膝關節(jié)非常相似，對于一個感受野僅能覆蓋肘關節(jié)本身的小特征提取器，很難將兩者區(qū)分開來。但如果感受野能同時看到附近的手腕或肩膀，那么將其歸類為肘部就容易得多。在涉及姿態(tài)估計的方法中，需要抑制非主要人體部位的檢測。對卷積網(wǎng)絡而言，只要將網(wǎng)絡變的更深，或者增大卷積核，就能夠促進空間信息流動，我們就可以增加最終特征的感受野。感受野增加了，上述提到的問題能夠被較好的解決。然而不論是大卷積核還是深網(wǎng)絡，這對計算和訓練都帶來了較大的挑戰(zhàn)。為了空間信息能夠低成本的流動，本文提出了一種針對于姿態(tài)估計任務的空間連接網(wǎng)絡，使信息在空間上的流動更容易。本文提出的網(wǎng)絡為spatial shortcut network (SSN)。該網(wǎng)絡將特征映射移動和注意機制結(jié)合在一個稱為特征移動模塊feature shifting module(FSM)中。該模塊在參數(shù)數(shù)量和計算成本上都與普通卷積層一樣輕量，并可以插入到網(wǎng)絡的任何部分來補充空間信息。

5.Deep High-Resolution Representation Learning for Human Pose Estimation (2019CVPR)

HRNet的體系結(jié)構(gòu)。它由并行的高到低分辨率子網(wǎng)組成，并在多分辨率子網(wǎng)之間進行重復的信息交換（多尺度融合）。即模型是通過在高分辨率特征圖主網(wǎng)絡中逐漸并行的加入低分辨率特征圖子網(wǎng)絡，不同網(wǎng)絡實現(xiàn)多尺度融合與特征提取實現(xiàn)的。

Part2：多人2d關鍵點檢測的算法（自下而上）

1.OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields（IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE2019）

目前，已經(jīng)有了許多關于檢測的工作。許多的檢測方式都是先想辦法檢測出身體的部位的關節(jié)點，然后再連接這些部位點得到人的姿態(tài)骨架。本文的工作差不多也是這個套路，但是為了快速的把點連到一起，提出了Part Affinity Fields這個概念來實現(xiàn)快速的關節(jié)點連接。

2.Single-Network Whole-Body Pose Estimation（ICCV2019）

本文提出了第一個二維全身姿態(tài)估計的單網(wǎng)絡方法，它要求同時定位身體、臉、手和腳的關鍵點。方法在OpenPose的基礎上有了很大的改進，OpenPose是目前為止唯一能夠在速度和全局精度方面進行全身姿態(tài)估計的方法。與OpenPose不同的是，本文的方法不需要為每只手和每一張臉的候選對象運行一個額外的網(wǎng)絡，這使得它在多人場景中運行速度大大提高。速度: 在測試時，無論檢測到多少人，本文的單網(wǎng)絡方法都提供了一個恒定的實時推斷，大約比最先進的(OpenPose)的n人圖像快n倍。準確性: 方法也比之前的OpenPose產(chǎn)生了更高的準確性，特別是在臉部和手部關鍵點檢測上，更適用于遮擋、模糊和低分辨率的臉部和手部。

六、3D關鍵點檢測的算法

可參見《3D Pose Estimation關鍵點檢測的算法整理》

鏈接：https://zhuanlan.zhihu.com/p/164603050

七、2020CVPR姿態(tài)估計相關文章跟新

1.Distribution-Aware Coordinate Representation for Human Pose Estimation （2020cvpr）

在這項工作中，本文第一次系統(tǒng)地研究了在圖像中用于人體姿勢估計的坐標表示（包括編碼和解碼）在很大程度上被忽略但仍很重要的問題。不僅揭示了該問題的真正意義，而且還提出了一種新穎的關鍵點坐標表示（DARK），以進行更具判別性的模型訓練和推理。作為現(xiàn)成的插件組件，現(xiàn)有的最新模型可以從此方法中無縫受益，而無需進行任何算法調(diào)整。

論文地址：https://arxiv.org/abs/1910.06278

代碼：https://github.com/ilovepose/DarkPose

2.The Devil is in the Details: Delving into Unbiased Data Processing for Human Pose Estimation（2020cvpr）

解決兩個方面的問題：一個是在測試過程中，如果使用flip ensemble時，由翻轉(zhuǎn)圖像得到的結(jié)果和原圖得到的結(jié)果并不對齊。另外一個是使用的編碼解碼（encoding-decoding)方法存在較大的統(tǒng)計誤差。

論文地址：https://arxiv.org/abs/1911.07524

3.4D Association Graph for Realtime Multi-person Motion Capture Using Multiple Video Cameras（2020cvpr）

用圖網(wǎng)絡進行多人3d姿態(tài)估計并且具有實時性。

論文地址：https://arxiv.org/abs/2002.12625

4.VIBE: Video Inference for Human Body Pose and Shape Estimation（2020cvpr）

貢獻：

1、改進了回歸器model-based fitting-in-the-loop的訓練方法，并應用到視頻上；

2、使用了AMASS數(shù)據(jù)集來進行對抗訓練，來使回歸器產(chǎn)生更加逼真與合理的人體形態(tài)；

3、通過定量實驗比較了3D人體形態(tài)估計方法的不同temporal結(jié)構(gòu)；

4、通過使用運動捕捉數(shù)據(jù)的大型數(shù)據(jù)集來訓練鑒別器，實現(xiàn)了SOTA的性能。

論文地址：https://arxiv.org/abs/1912.05656

代碼：https://github.com/mkocabas/VIBE

發(fā)文章初衷是學習筆記，如有不對的地方還請多多指教~

參考資料：https://blog.csdn.net/sigai_csdn/article/details/80650411

推薦閱讀

• Gradient Centralization: 一行代碼加速訓練并提升泛化能力 | ECCV 2020 Oral
  

• 吳恩達推薦筆記：22張圖總結(jié)深度學習全部知識
  

• 時隔一年，盤點CVPR 2019影響力最大的20篇論文
  

添加極市小助手微信（ID : cv-mart），備注：研究方向-姓名-學校/公司-城市（如：目標檢測-小極-北大-深圳），即可申請加入極市技術交流群，更有每月大咖直播分享、真實項目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、行業(yè)技術交流，一起來讓思想之光照的更遠吧~

△長按添加極市小助手

△長按關注極市平臺，獲取最新CV干貨

覺得有用麻煩給個在看啦~??