點(diǎn)擊上方“3D視覺(jué)工坊”，選擇“星標(biāo)”https://openaccess.thecvf.com/content_cvpr_2018/papers/Yu_PU-Net_Point_Cloud_CVPR_2018_paper.pdf代碼下載：https://github.com/yulequan/PU-Net由于數(shù)據(jù)的稀疏性和不規(guī)則性，利用深度學(xué)習(xí)分析三維點(diǎn)云是一個(gè)具有挑戰(zhàn)性的課題。本文提出了一種數(shù)據(jù)驅(qū)動(dòng)的點(diǎn)云上采樣技術(shù)。其核心思想是學(xué)習(xí)每個(gè)點(diǎn)的多層次特征，并通過(guò)特征空間中的多分支卷積單元對(duì)點(diǎn)集進(jìn)行隱式擴(kuò)展。擴(kuò)展后的特征被分割成多個(gè)特征，然后重構(gòu)成一個(gè)上采樣點(diǎn)集。網(wǎng)絡(luò)是在補(bǔ)丁級(jí)別上應(yīng)用的，具有一個(gè)聯(lián)合損失函數(shù)，該函數(shù)使上采樣點(diǎn)以均勻分布保持在非平坦表面上。我們使用合成和掃描數(shù)據(jù)進(jìn)行了各種實(shí)驗(yàn)來(lái)評(píng)估我們的方法，并證明了它優(yōu)于一些基線方法和基于優(yōu)化的方法。結(jié)果表明，我們的上采樣點(diǎn)具有更好的均勻性和潛在的曲面更加貼合。該工作主要解決3D點(diǎn)云的上采樣問(wèn)題，提出了一個(gè)數(shù)據(jù)驅(qū)動(dòng)的點(diǎn)云上采樣網(wǎng)絡(luò)。核心思想是學(xué)習(xí)每個(gè)點(diǎn)的多層次特征，然后通過(guò)特征中隱含的多分支卷積單元擴(kuò)展點(diǎn)集空間。將擴(kuò)展后的特征分解為多個(gè)特征，再將這些特征重構(gòu)為一個(gè)上采樣點(diǎn)集。如上圖所示，上采樣網(wǎng)絡(luò)PU-Net的結(jié)構(gòu)圖：網(wǎng)絡(luò)輸入提取補(bǔ)丁的N個(gè)點(diǎn)，經(jīng)過(guò)pointnet++學(xué)習(xí)到多級(jí)特征，相應(yīng)的有rN個(gè)點(diǎn)輸出網(wǎng)絡(luò)，這里r是上采樣率。C表示特征通道數(shù)目。用插值恢復(fù)N個(gè)點(diǎn)不同特征層次特征然后利用卷積網(wǎng)絡(luò)將多級(jí)特征統(tǒng)一到通道為C，特征擴(kuò)張使采用兩種不同的卷積層增加聯(lián)非線性，點(diǎn)云特征集成模塊中紅色顯示原來(lái)的和逐步降采樣的點(diǎn)，綠色顯示恢復(fù)的特征。聯(lián)合使用重建損失函數(shù)和互斥損失函數(shù)用來(lái)端到端地訓(xùn)練上采樣網(wǎng)絡(luò)。PU-Net有四個(gè)組件：段提取Patch Extraction、點(diǎn)特征嵌入Point Feature Embedding、特征擴(kuò)張F(tuán)eature Expansion和坐標(biāo)重建 Coordinate Reconstruction。收集一組3D對(duì)象作為優(yōu)先信息來(lái)訓(xùn)練。這些對(duì)象涵蓋了豐富多樣的形狀，從表面光滑到形狀鋒利的邊角。本質(zhì)上，為了讓網(wǎng)絡(luò)對(duì)點(diǎn)云進(jìn)行采樣，它應(yīng)該從對(duì)象中學(xué)習(xí)局部幾何模式。我們?cè)谇嫔想S機(jī)選擇M個(gè)點(diǎn)來(lái)表達(dá)這些對(duì)象。從每個(gè)選定的點(diǎn)，生成一個(gè)一個(gè)曲面的小塊（surface patch），使得這樣小塊上的任何點(diǎn)都在曲面上選定點(diǎn)一定的測(cè)地線距離(d)內(nèi)。然后，使用Poisson disk采樣的方法在每個(gè)小塊上隨機(jī)生成N個(gè)點(diǎn)，作為小塊上的真實(shí)點(diǎn)分布。在我們的上采樣任務(wù)中，局部和全局信息被被一起用來(lái)平滑和統(tǒng)一的輸出。因此，用不同的尺寸設(shè)置d，這樣就可以在先前的物體上提取不同比例和密度的點(diǎn)。2.Point Feature Embedding神經(jīng)網(wǎng)絡(luò)淺層特征一般反映著局部的小尺度特征，為了更好的上采樣結(jié)果，采用skip-connection來(lái)聚集不同層的特征。由于在分層特征提取中逐步對(duì)每個(gè)小塊的輸入進(jìn)行二次下采樣，通過(guò)PointNet++中的插值方法，首先從下采樣的點(diǎn)特征中上采樣恢復(fù)所有原始點(diǎn)的特征N×Cl ，從而連接每個(gè)級(jí)別的點(diǎn)特征。具體而言，插值點(diǎn)x在l水平上的特征通過(guò)以下方式計(jì)算:在Point Feature Embedding之后，擴(kuò)展了特征空間中的特征數(shù)量, 這相當(dāng)于擴(kuò)展點(diǎn)的數(shù)量，因?yàn)辄c(diǎn)和特征是可以互換的。假設(shè)f的維數(shù)是N×C’，N是輸入點(diǎn)的數(shù)目，C’是級(jí)聯(lián)嵌入特征的特征維數(shù)。特征擴(kuò)展操作將輸出維數(shù)為rN×C的特征f，其中r是上采樣率，C是新的特征維數(shù)。本質(zhì)上，這類似于圖像相關(guān)任務(wù)中的特征上采樣，這可以通過(guò)反卷積或插值來(lái)完成。然而，由于點(diǎn)的非規(guī)則性和無(wú)序特性，將這些操作應(yīng)用于點(diǎn)云并不容易。因此，提出了一種基于子像素卷積層的有效特征擴(kuò)展操作：4.Coordinate Reconstruction在這一部分中，我們從尺寸為rN×C’的擴(kuò)展特征重建輸出點(diǎn)的3D坐標(biāo)。具體來(lái)說(shuō)，我們通過(guò)一系列全連接層對(duì)每個(gè)點(diǎn)的特征進(jìn)行三維坐標(biāo)重建，特征的維度由rN×C’變?yōu)閞N×3。當(dāng)NUC越小時(shí)取得點(diǎn)表面更加平滑。下圖為和EAR方法對(duì)比的結(jié)果：在這篇論文中，提出了一個(gè)深度點(diǎn)云上采樣網(wǎng)絡(luò)，目標(biāo)是從一組稀疏的點(diǎn)中生成一組更密集、更均勻的點(diǎn)。網(wǎng)絡(luò)是在小塊級(jí)別使用多級(jí)特征聚合方式進(jìn)行訓(xùn)練的，從而捕獲局部和全局信息。網(wǎng)絡(luò)設(shè)計(jì)通過(guò)對(duì)包含非局部幾何圖形的單個(gè)特征進(jìn)行操作來(lái)允許上下文感知的上采樣，從而繞過(guò)了對(duì)點(diǎn)之間指定順序的需求。實(shí)驗(yàn)證明了我們方法的有效性。作為第一次使用深度網(wǎng)絡(luò)的嘗試，該方法仍然有許多局限性。畢竟，它不是為填補(bǔ)而設(shè)計(jì)的，所以我們的網(wǎng)絡(luò)不能填補(bǔ)大的漏洞和缺失的部分。此外，本網(wǎng)絡(luò)可能無(wú)法為采樣嚴(yán)重不足的微小結(jié)構(gòu)添加有意義的點(diǎn)。本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。
▲長(zhǎng)按關(guān)注「計(jì)算機(jī)視覺(jué)工坊」公眾號(hào)
以上二維碼為我們工坊的小號(hào)：計(jì)算機(jī)視覺(jué)工坊，主要發(fā)布2D、3D、VSLAM以及深度學(xué)習(xí)等方面的內(nèi)容，歡迎大家關(guān)注。本文也首發(fā)于「計(jì)算機(jī)視覺(jué)工坊」公眾號(hào)。覺(jué)得有用，麻煩給個(gè)贊和在看~??
下載APP