圖像理解任務(wù)復(fù)雜多樣，單純的目標(biāo)檢測(cè)已經(jīng)不能滿足你了？

作為目標(biāo)檢測(cè)領(lǐng)域的扛把子，PaddleDetection當(dāng)然不僅僅提供通用目標(biāo)檢測(cè)算法，還擁有多個(gè)業(yè)界先進(jìn)、實(shí)用的關(guān)鍵點(diǎn)檢測(cè)和多目標(biāo)跟蹤算法。除了可以準(zhǔn)確識(shí)別、定位目標(biāo)，還可以對(duì)移動(dòng)的目標(biāo)進(jìn)行連續(xù)跟蹤、分析路徑，甚至進(jìn)行姿態(tài)、行為分析！

再加上已有的超越Y(jié)OLOv5的單階段目標(biāo)檢測(cè)算法：PPYOLOv2、霸榜PaperWithCode的AnchorFree算法：FAFNet、旋轉(zhuǎn)框檢測(cè)、實(shí)例分割等等明星算法，PaddleDetection已經(jīng)可以全方位、立體式地滿足開(kāi)發(fā)者各個(gè)維度的需求，助力你成為目標(biāo)檢測(cè)界的懂王！

這么用心研發(fā)的高水準(zhǔn)產(chǎn)品，還不趕緊收藏上車！

傳送門：

https://github.com/PaddlePaddle/PaddleDetection

下面，讓我們來(lái)詳細(xì)看看PaddleDetection最近上新的這兩樣“寶貝”：關(guān)鍵點(diǎn)檢測(cè)和多目標(biāo)跟蹤，有什么厲害之處！

關(guān)鍵點(diǎn)檢測(cè)

正如下圖中展示的，關(guān)鍵點(diǎn)檢測(cè)技術(shù)可以提取目標(biāo)特定關(guān)鍵點(diǎn)的位置以及整體結(jié)構(gòu)。以人體關(guān)鍵點(diǎn)檢測(cè)為例，提取的信息則是人體關(guān)節(jié)位置以及關(guān)節(jié)點(diǎn)間的整體關(guān)聯(lián)結(jié)構(gòu)。

（From PaddleDetection HRNet BodyKeypoint Detection Network）

人體關(guān)鍵點(diǎn)檢測(cè)在安防、醫(yī)療、影視等領(lǐng)域中有極廣泛的應(yīng)用場(chǎng)景，例如進(jìn)行打斗等異常動(dòng)作、運(yùn)動(dòng)分析評(píng)估、演員動(dòng)作捕捉與姿態(tài)遷移等等。

除了可以檢測(cè)人體關(guān)鍵點(diǎn)外，手部關(guān)鍵點(diǎn)也因?yàn)槭菍?shí)現(xiàn)人機(jī)、人車交互中手勢(shì)識(shí)別的關(guān)鍵，被各界開(kāi)發(fā)者高度重視。

（From Google AI Blog On-Device, Real-Time Hand Tracking with MediaPipe）

而人臉關(guān)鍵點(diǎn)檢測(cè)，更是人臉識(shí)別、臉部動(dòng)作捕捉、遷移技術(shù)的基礎(chǔ)支撐及核心關(guān)鍵。

（From Qualcomm Snapdragon and Qualcomm Neural Processing SDK are products of Qualcomm Technologies, Inc. and/or its subsidiaries.）

還有很多業(yè)界大神基于關(guān)鍵點(diǎn)檢測(cè)技術(shù)進(jìn)行生物行為分析研究。

（From ICCV paper：Cross-Domain Adaptation for Animal Pose Estimation）

關(guān)鍵點(diǎn)檢測(cè)技術(shù)這么神通廣大，那它原理具體是怎樣的呢？

以人體關(guān)鍵點(diǎn)檢測(cè)為例，主流的算法分為top-down和bottom-up兩大類。

像下圖所示的，先檢測(cè)出人，再對(duì)每個(gè)人分別檢測(cè)關(guān)鍵點(diǎn)，就是Top-down的方式。也就是先使用檢測(cè)算法得出圖中每一個(gè)人體所在位置，對(duì)單個(gè)人的區(qū)域進(jìn)行截圖，再使用top-down關(guān)鍵點(diǎn)算法對(duì)每個(gè)單人截圖進(jìn)行單人關(guān)鍵點(diǎn)位置檢測(cè)，最后再根據(jù)截圖位置映射回原圖。HRNet就是典型的Top-Down算法。

而bottom-up方法則相反：先對(duì)整圖直接查找每一類關(guān)鍵點(diǎn)所在位置，然后各類關(guān)鍵點(diǎn)再根據(jù)特定規(guī)則進(jìn)行g(shù)roup組合以區(qū)分屬于的不同的人。近年比較優(yōu)秀的算法HigherHRNet以及在其基礎(chǔ)上的改進(jìn)版SWAHR都屬于這類算法。

圖片來(lái)源：

https://beyondminds.ai/blog/an-overview-of-human-pose-estimation-with-deep-learning/

無(wú)論你是明確的希望使用某一類方法，還是想要對(duì)兩類方法進(jìn)行對(duì)比、組合試驗(yàn)，PaddleDetection都能很好的滿足你！

下面的表格就是PaddleDetection提供的兩類經(jīng)典算法在COCO數(shù)據(jù)集、不同輸入尺寸下的數(shù)據(jù)展示。

多目標(biāo)跟蹤

多目標(biāo)跟蹤（Multiple Object Tracking，MOT）指的是在視頻序列中同時(shí)檢測(cè)多個(gè)目標(biāo)的軌跡。它的應(yīng)用范圍也非常廣泛，比如安防監(jiān)控和自動(dòng)駕駛等場(chǎng)景中的行人、車輛跟蹤及軌跡分析等等。

當(dāng)前主流的MOT策略是tracking by detection，這種策略將整個(gè)多目標(biāo)跟蹤任務(wù)拆分為兩部分：檢測(cè) + Embedding。檢測(cè)部分即針對(duì)視頻，檢測(cè)出每一幀中的潛在目標(biāo)。Embedding則將檢出的目標(biāo)分配和更新到已有的對(duì)應(yīng)軌跡上（即ReID重識(shí)別任務(wù)）。根據(jù)這兩部分實(shí)現(xiàn)的順序，主流的多目標(biāo)跟蹤算法可以劃分為SDE系列和JDE系列2類。

---

下面，就讓我們?cè)敿?xì)看看這兩系列算法的區(qū)別：

1. SDE系列：

這類算法完全分離檢測(cè)和embedding兩個(gè)環(huán)節(jié)，檢測(cè)器和embedding模型（ReID）解耦串聯(lián)。這樣的設(shè)計(jì)可以使系統(tǒng)無(wú)差別的適配各類檢測(cè)器，并使開(kāi)發(fā)者可以針對(duì)兩個(gè)模塊分別調(diào)優(yōu)。但由于是兩個(gè)算法串聯(lián)，這類方法的缺點(diǎn)也比較明顯，那就是耗時(shí)較長(zhǎng)，在構(gòu)建實(shí)時(shí)MOT系統(tǒng)中面臨較大挑戰(zhàn)。

DeepSORT是SDE系列算法的代表，它擴(kuò)展了原有的SORT(Simple Online and Realtime Tracking)算法，增加了一個(gè)CNN模型對(duì)檢測(cè)出的人像提取特征，在深度外觀描述的基礎(chǔ)上整合外觀信息。

1. JDE系列：

JDE（Joint Detection and Embedding）即在共享神經(jīng)網(wǎng)絡(luò)中同時(shí)學(xué)習(xí)目標(biāo)檢測(cè)任務(wù)和外觀嵌入任務(wù)。這類算法的訓(xùn)練過(guò)程被構(gòu)建為一個(gè)多任務(wù)聯(lián)合學(xué)習(xí)問(wèn)題，兼顧精度和速度。

JDE原論文是基于Anchor Base的YOLOv3新加一個(gè)Reid head學(xué)習(xí)外觀embedding特征。

FairMOT則是以Anchor Free的CenterNet 為基礎(chǔ)，由兩個(gè)齊次的分支去用于預(yù)測(cè)像素級(jí)的目標(biāo)分?jǐn)?shù)和ReID特征，任務(wù)之間實(shí)現(xiàn)的公平性聯(lián)合學(xué)習(xí)，實(shí)現(xiàn)高精度的實(shí)時(shí)跟蹤。

不要以為我們只是說(shuō)說(shuō)罷了，這里我們介紹的這2系列3種多目標(biāo)跟蹤（MOT）算法，在PaddleDetection中都提供了高性能實(shí)現(xiàn)。

而采用業(yè)界通用多目標(biāo)檢測(cè)評(píng)估方法：將6個(gè)公開(kāi)數(shù)據(jù)集組成一個(gè)大規(guī)模、多標(biāo)簽的聯(lián)合數(shù)據(jù)集（包括Caltech Pedestrian, CityPersons, CUHK-SYSU, PRW, ETHZ, MOT17和MOT16），其中MOT16作為評(píng)測(cè)數(shù)據(jù)集。而采用MOTA作為評(píng)估指標(biāo)，結(jié)果如下表所示：

在MOT-16 Test Set上結(jié)果

除此之外，PaddleDetection還可以將關(guān)鍵點(diǎn)檢測(cè)和多目標(biāo)技術(shù)相結(jié)合，獲取更多人體姿態(tài)相關(guān)信息。例如我們使用多目標(biāo)跟蹤算法FairMot獲取行人位置及id信息，結(jié)合關(guān)鍵點(diǎn)檢測(cè)HRNet算法檢測(cè)行人關(guān)鍵點(diǎn)得到最終輸出結(jié)果，得到如下圖所示效果：

（From PaddleDetection HRNet BodyKeypoint Detection Network：https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.1/docs/images/mot_pose_demo_640x360.gif）

PaddleDetection全貌

對(duì)PaddleDetection熟悉的小伙伴可能比較清楚，除了本篇介紹的關(guān)鍵點(diǎn)檢測(cè)及多目標(biāo)跟蹤能力外，PaddleDetection作為中國(guó)產(chǎn)業(yè)實(shí)踐中目標(biāo)檢測(cè)領(lǐng)域一柄重器，能力可謂完備而強(qiáng)大，簡(jiǎn)單的可以概括為以下三個(gè)方面：

全明星算法陣容:

• 擁有超越Y(jié)OLOv4、YOLOv5 的PP-YOLO系列算法
• 1.3M 超超超輕量目標(biāo)檢測(cè)算法PP-YOLO Tiny
• 全面領(lǐng)先同類框架的RCNN系列算法
• ???????以及SOTA 的Anchor Free算法：PAFNet（Paddle Anchor Free）

全功能覆蓋：

除全系列通用目標(biāo)檢測(cè)算法外，額外覆蓋旋轉(zhuǎn)框檢測(cè)、實(shí)例分割、行人檢測(cè)、人臉檢測(cè)、車輛檢測(cè)等垂類任務(wù)。

簡(jiǎn)單易用、全流程打通：

不僅全面支持動(dòng)態(tài)圖開(kāi)發(fā)，可以順暢的完成動(dòng)靜轉(zhuǎn)化；還從數(shù)據(jù)預(yù)處理、算法訓(xùn)練調(diào)優(yōu)、壓縮、多端部署等全流程、各環(huán)節(jié)順暢打通，極大程度地提升了用戶開(kāi)發(fā)的易用性，加速了算法產(chǎn)業(yè)應(yīng)用落地的速度。

你還在等什么？！如此用心研發(fā)的高水準(zhǔn)產(chǎn)品，還不趕緊Star收藏上車！

傳送門：

https://github.com/PaddlePaddle/PaddleDetection

想要與官方開(kāi)發(fā)團(tuán)隊(duì)交流？馬上微信掃碼加入PaddleDetection技術(shù)交流群！更多課程及產(chǎn)品動(dòng)態(tài)，將在微信群里第一時(shí)間公告。

飛槳(PaddlePaddle)以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，是中國(guó)首個(gè)開(kāi)源開(kāi)放、技術(shù)領(lǐng)先、功能完備的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)，包括飛槳開(kāi)源平臺(tái)和飛槳企業(yè)版。飛槳開(kāi)源平臺(tái)包含核心框架、基礎(chǔ)模型庫(kù)、端到端開(kāi)發(fā)套件與工具組件，持續(xù)開(kāi)源核心能力，為產(chǎn)業(yè)、學(xué)術(shù)、科研創(chuàng)新提供基礎(chǔ)底座。飛槳企業(yè)版基于飛槳開(kāi)源平臺(tái)，針對(duì)企業(yè)級(jí)需求增強(qiáng)了相應(yīng)特性，包含零門檻AI開(kāi)發(fā)平臺(tái)EasyDL和全功能AI開(kāi)發(fā)平臺(tái)BML。EasyDL主要面向中小企業(yè)，提供零門檻、預(yù)置豐富網(wǎng)絡(luò)和模型、便捷高效的開(kāi)發(fā)平臺(tái)；BML是為大型企業(yè)提供的功能全面、可靈活定制和被深度集成的開(kāi)發(fā)平臺(tái)。

點(diǎn)擊"閱讀原文"，立即Star！

↓↓↓