點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

由于點(diǎn)云具有無(wú)序，不規(guī)則，無(wú)拓?fù)浣Y(jié)構(gòu)的特點(diǎn)，因此可以利用多個(gè)二維圖像通過(guò)三維到二維投影來(lái)表示三維點(diǎn)云的幾何特征。用圖像表示特征可以提供穩(wěn)定的信息，多個(gè)投影角度可以彌補(bǔ)投影過(guò)程中造成的信息丟失投影,實(shí)現(xiàn)對(duì)空間信息的解碼。充分利用三維空間信息取決于三維物理坐標(biāo)系統(tǒng)的建立，但傳感器的坐標(biāo)系統(tǒng)沒(méi)有抵抗旋轉(zhuǎn)的能力。

本文將介紹了一種基于正交投影的點(diǎn)云局部特征描述方法。

點(diǎn)云的局部特征提取主要分為兩類(lèi)：

非局部參考系（Non-Local Reference Frame，NLRF）特征，主要使用局部幾何屬性的統(tǒng)計(jì)信息作為特征表達(dá)式，例如SI和FPFH。由于這種特征會(huì)丟棄空間信息，因此存在描述能力不足的缺陷。

相反，局部參考框架（Local Reference Frame，LRF）特征首先在點(diǎn)云的局部表面上建立本征LRF，然后基于LRF解碼幾何信息，例如PS和RoPS。

LRF是獨(dú)立于世界坐標(biāo)系的局部坐標(biāo)系。一方面，它使基于其解碼的特征具有剛體變換不變性；另一方面，它為特征描述提供了足夠的空間信息。最近的一項(xiàng)評(píng)估研究表明，大多數(shù)公共數(shù)據(jù)庫(kù)中基于LRF的特征的性能要優(yōu)于不基于LRF特征。

文章[1]介紹了一種稱(chēng)為正交投影的方法，以獲得有效，魯棒和高效的特征描述。為了建立穩(wěn)定的LRF，描述符使用圍繞關(guān)鍵點(diǎn)設(shè)置的鄰域的一部分來(lái)計(jì)算其法線(xiàn)向量，并將該向量用作LRF的z軸，LRF的x軸由所有鄰域點(diǎn)的投影向量之和決定。

為了獲得對(duì)抗噪聲，數(shù)據(jù)分辨率變化和遮擋的魯棒性，該方法為每個(gè)投影矢量分配權(quán)重，通過(guò)矢量交叉乘法直接獲得LRF的y軸。對(duì)于特征表達(dá)，從每個(gè)鄰點(diǎn)到虛擬平面的距離或局部深度用于從角度表示局部幾何信息

給定點(diǎn)云P中的任何關(guān)鍵點(diǎn)p，在點(diǎn)p構(gòu)造的LRF的數(shù)學(xué)表達(dá)式為：

其中x(p)和z(p)是Lp的x軸和z軸，而y軸可以通過(guò)矢量叉乘獲得。對(duì)于z軸，為了獲得魯棒性以解決點(diǎn)云分辨率變化，傳統(tǒng)的k個(gè)最近鄰點(diǎn)被丟棄，并使用球面鄰點(diǎn)。z軸的具體計(jì)算如下：

• 首先，放置一個(gè)半徑為r的球體，其中p為中心。

• 球體中的所有點(diǎn)（p除外）都定義為點(diǎn)p的球面鄰點(diǎn)。這些鄰點(diǎn)構(gòu)成局部曲面

• 然后，選擇Q的子集以計(jì)算z軸。具體來(lái)說(shuō)，Q中所有到p的歐幾里德距離小于r_z的點(diǎn)構(gòu)成一個(gè)新點(diǎn)集

• 最后，對(duì)Qz進(jìn)行協(xié)方差分析

其中，s是Qz中的點(diǎn)數(shù)，是Qz的重心。

計(jì)算與Cov（Qz）的最小特征值相對(duì)應(yīng)的特征向量n（p）作為p的法線(xiàn)向量。由于法線(xiàn)向量具有符號(hào)歧義性，請(qǐng)刪除其符號(hào)歧義性并按如下方式計(jì)算z軸：

其中k是半徑鄰居的數(shù)量。

確定z軸后，下一步是計(jì)算x軸。將p相對(duì)于z（p）的切平面標(biāo)記為L(zhǎng)，然后將所有鄰點(diǎn)投影到平面L上，并為每個(gè)鄰點(diǎn)qi計(jì)算一個(gè)投影矢量

基于這些投影向量，L平面上所有向量的向量和用于計(jì)算x軸：

其中，是與qi和p之間的距離有關(guān)的權(quán)重：

并且，是與qi到L的投影距離有關(guān)的權(quán)重：

最后，可以從x軸和z軸之間的叉積獲得LRF的y軸。

紅色點(diǎn)，綠色箭頭和藍(lán)色箭頭分別表示局部表面中的關(guān)鍵點(diǎn)，z軸和關(guān)鍵點(diǎn)的示例半徑鄰居的投影矢量。有關(guān)變量的表示形式，請(qǐng)參見(jiàn)文獻(xiàn)[1]

建立局部坐標(biāo)系后，將基于局部坐標(biāo)系來(lái)表征局部表面的幾何信息和空間信息。

首先相對(duì)于LRF變換局部表面Q，以實(shí)現(xiàn)剛性變換的不變性。旋轉(zhuǎn)的表面由表示

然后在LRF中定義多個(gè)視點(diǎn)平面，以達(dá)到完全表征幾何信息的目的。具體地，在LRF中，選擇分別與距離為r的LRF的xy，yz和xz平面平行的三個(gè)正交視平面。換句話(huà)說(shuō)，在LRF系統(tǒng)中部署的三個(gè)視平面的方程式分別定義為z ? r = 0，x ? r = 0和y ? r = 0。

選擇視點(diǎn)平面后，將針對(duì)Q'中相對(duì)于xy，yz和xz平面的每個(gè)鄰點(diǎn)計(jì)算局部深度特征:

其中，q'i.x、q'i.y和q'i.z分別表示q'i的x值，y值和z值。將Q′中的點(diǎn)分別投影到這三個(gè)視點(diǎn)平面上，并且基于二維點(diǎn)統(tǒng)計(jì)在每個(gè)視點(diǎn)平面上捕獲aw×w圖像I。I中的每個(gè)像素的值被定義為與分散在像素網(wǎng)格中的點(diǎn)集中的點(diǎn)相對(duì)應(yīng)的最大局部深度值。

最后，局部表面由三個(gè)圖像(Ixy，Iyz，Ixz)表征。為了快速組合這些子特征，直接使用級(jí)聯(lián)方法將它們合并為一維向量，并形成最終的3×w×w維TOLDI特征。

(a)中的紅色點(diǎn)表示3D模型中的關(guān)鍵點(diǎn)，關(guān)鍵點(diǎn)周?chē)那蝮w內(nèi)部的點(diǎn)構(gòu)成局部曲面。

參考文獻(xiàn)

1.Jiaqi Yang, Qian Zhang, Yang Xiao, Zhiguo Cao.TOLDI: an effective and robust approach for 3D local shape description

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱(chēng)+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~