圖像標(biāo)注的基礎(chǔ)內(nèi)容介紹
極市導(dǎo)讀
?本文從五個(gè)需要進(jìn)行標(biāo)注的計(jì)算機(jī)視覺(jué)任務(wù)（物體檢測(cè)、線/邊緣檢測(cè)、分割、姿態(tài)預(yù)測(cè)、圖像分類(lèi)）給大家介紹圖像標(biāo)注的種類(lèi)，應(yīng)用場(chǎng)景，以及各種標(biāo)注的優(yōu)缺點(diǎn)。?>>加入極市CV技術(shù)交流群，走在計(jì)算機(jī)視覺(jué)的最前沿
介紹
“如果沒(méi)有數(shù)據(jù)分析，公司就會(huì)變得既盲又聾，就像高速公路上的鹿一樣在網(wǎng)絡(luò)上游蕩。”
— Geoffrey Moore
每個(gè)數(shù)據(jù)科學(xué)任務(wù)都需要數(shù)據(jù)。具體地說(shuō)，是輸入系統(tǒng)的干凈易懂的數(shù)據(jù)。說(shuō)到圖像，計(jì)算機(jī)需要看到人類(lèi)眼睛看到的東西。
例如，人類(lèi)有識(shí)別和分類(lèi)物體的能力。同樣，我們可以使用計(jì)算機(jī)視覺(jué)來(lái)解釋它接收到的視覺(jué)數(shù)據(jù)。這就是圖像標(biāo)注的作用。
圖像標(biāo)注在計(jì)算機(jī)視覺(jué)中起著至關(guān)重要的作用。圖像標(biāo)注的目標(biāo)是為和任務(wù)相關(guān)的、特定于任務(wù)的標(biāo)簽。這可能包括基于文本的標(biāo)簽(類(lèi))，繪制在圖像上的標(biāo)簽(即邊框)，甚至是像素級(jí)的標(biāo)簽。我們將在下面探討這一系列不同的標(biāo)注技術(shù)。
人工智能需要的人工干預(yù)比我們想象的要多。為了準(zhǔn)備高精度的訓(xùn)練數(shù)據(jù)，我們必須對(duì)圖像進(jìn)行標(biāo)注以得到正確的結(jié)果。數(shù)據(jù)注釋通常需要較高水平的領(lǐng)域知識(shí)，只有來(lái)自特定領(lǐng)域的專(zhuān)家才能提供這些知識(shí)。
需要標(biāo)注的計(jì)算機(jī)視覺(jué)任務(wù)：
物體檢測(cè)
線/邊緣檢測(cè)
分割
姿態(tài)預(yù)測(cè)/關(guān)鍵點(diǎn)識(shí)別
圖像分類(lèi)
1) 目標(biāo)檢測(cè)
進(jìn)行目標(biāo)檢測(cè)的技術(shù)主要有兩種，即2D和3D包圍框。
對(duì)于多邊形物體，可以使用多邊形方法。讓我們?cè)敿?xì)討論一下。
2D 包圍框
在這種方法中，只需要在被檢測(cè)的物體周?chē)L制矩形框。它們用于定義對(duì)象在圖像中的位置。邊框可以由矩形左上角的x、y軸坐標(biāo)和右下角的x、y軸坐標(biāo)來(lái)確定。
優(yōu)點(diǎn)和缺點(diǎn)：
標(biāo)注起來(lái)快速和容易。
不能提供重要的信息，如物體的方向，這對(duì)許多應(yīng)用來(lái)說(shuō)是至關(guān)重要的。
包括不屬于物體一部分的背景像素。這可能會(huì)影響訓(xùn)練。
3D 包圍框或者立方體
類(lèi)似于2D邊框，除了它們還可以顯示目標(biāo)的深度。這種標(biāo)注是通過(guò)將二維圖像平面上的邊界框向后投影到三維長(zhǎng)方體來(lái)實(shí)現(xiàn)的。它允許系統(tǒng)區(qū)分三維空間中的體積和位置等特征。
優(yōu)點(diǎn)和缺點(diǎn):
解決了物體方向的問(wèn)題。
當(dāng)物體被遮擋，這種標(biāo)注可以想象包圍框的維度，這可能會(huì)影響訓(xùn)練。
這種標(biāo)注也會(huì)包括背景像素，可能會(huì)影響訓(xùn)練。
多邊形
有時(shí)，必須標(biāo)記形狀不規(guī)則的物體。在這種情況下，使用多邊形。注釋時(shí)只需標(biāo)記物體的邊緣，我們就能得到要檢測(cè)的物體的完美輪廓。
優(yōu)點(diǎn)和缺點(diǎn):
多邊形標(biāo)記的主要優(yōu)點(diǎn)是它消除了背景像素，并捕獲了物體的精確尺寸。
非常耗時(shí)，如果物體的形狀是復(fù)雜的，很難標(biāo)注。
注：多邊形方法也用于物體形狀的分割。我們將在下面討論分割。
數(shù)據(jù)采集是ML冷啟動(dòng)的問(wèn)題。但是，即使你有了一個(gè)可行的數(shù)據(jù)集，構(gòu)建和測(cè)試模型也是需要技巧的。
2) 線/邊緣檢測(cè)（線和樣條）
在劃分邊界時(shí)，線和樣條是有用的。將區(qū)分一個(gè)區(qū)域和另一個(gè)區(qū)域的像素進(jìn)行標(biāo)注。
優(yōu)點(diǎn)和缺點(diǎn):
這種方法的優(yōu)點(diǎn)是，連線上的像素不需要都是連續(xù)的。這樣在檢測(cè)有中斷的線或部分遮擋的物體是非常有用的。
手動(dòng)標(biāo)注圖像中的線是非常累人和費(fèi)時(shí)的，特別是圖像中有很多的線的時(shí)候。
當(dāng)物體碰巧是對(duì)齊的時(shí)候，可能會(huì)給出誤導(dǎo)的結(jié)果。
3) 姿態(tài)預(yù)測(cè) / 關(guān)鍵點(diǎn)識(shí)別
在許多計(jì)算機(jī)視覺(jué)應(yīng)用中，神經(jīng)網(wǎng)絡(luò)常常需要識(shí)別輸入圖像中重要的感興趣的點(diǎn)。我們把這些點(diǎn)稱(chēng)為地標(biāo)或關(guān)鍵點(diǎn)。在這種應(yīng)用中，我們希望神經(jīng)網(wǎng)絡(luò)輸出關(guān)鍵點(diǎn)的坐標(biāo)(x, y)。
4) 分割
圖像分割是將一幅圖像分割為多個(gè)部分的過(guò)程。圖像分割通常用于在像素級(jí)定位圖像中的物體和邊界。圖像分割方法有很多種。
語(yǔ)義分割: 語(yǔ)義分割是一項(xiàng)機(jī)器學(xué)習(xí)任務(wù)，它需要像素級(jí)標(biāo)注，其中圖像中的每個(gè)像素都被分配給一個(gè)類(lèi)。每個(gè)像素都帶有語(yǔ)義意義。這主要用于環(huán)境背景非常重要的情況。
實(shí)例分割: 實(shí)例分割是圖像分割的一種子類(lèi)型，它在像素級(jí)別上標(biāo)識(shí)圖像中每個(gè)物體的每個(gè)實(shí)例。實(shí)例分割和語(yǔ)義分割是圖像分割的兩種粒度級(jí)別之一。
全景分割: 全景分割結(jié)合了語(yǔ)義分割和實(shí)例分割，所有像素都被分配一個(gè)類(lèi)標(biāo)簽，所有目標(biāo)實(shí)例都被唯一地分割。
5) 圖像分類(lèi)
圖像分類(lèi)不同于目標(biāo)檢測(cè)。目標(biāo)檢測(cè)的目的是識(shí)別和定位目標(biāo)，而圖像分類(lèi)的目的是識(shí)別和識(shí)別特定的目標(biāo)類(lèi)。這個(gè)用例的一個(gè)常見(jiàn)示例是對(duì)貓和狗的圖片進(jìn)行分類(lèi)。標(biāo)注者必須為一只狗的圖像分配一個(gè)類(lèi)標(biāo)簽“dog”，對(duì)貓的圖像分配類(lèi)標(biāo)簽“cat”。
圖像標(biāo)注的用例
在本節(jié)中，我們將討論如何使用圖像標(biāo)注來(lái)幫助機(jī)器模型執(zhí)行特定行業(yè)的任務(wù)：
零售: 2D邊框可以用于標(biāo)注產(chǎn)品的圖像，然后機(jī)器學(xué)習(xí)算法可以使用這些圖像來(lái)預(yù)測(cè)成本和其他屬性。圖像分類(lèi)在這方面也有幫助。
醫(yī)學(xué)：多邊形可用于在醫(yī)用x射線中標(biāo)記器官，以便將它們輸入深度學(xué)習(xí)模型，以訓(xùn)練x射線中的畸形或缺陷。這是圖像標(biāo)注最重要的應(yīng)用之一，需要醫(yī)學(xué)專(zhuān)家具有較高的領(lǐng)域知識(shí)。
自動(dòng)駕駛汽車(chē)：這是另一個(gè)重要的領(lǐng)域，圖像標(biāo)注可以應(yīng)用。利用語(yǔ)義分割對(duì)圖像中的每個(gè)像素進(jìn)行標(biāo)記，使車(chē)輛能夠感知到道路上的障礙物。這一領(lǐng)域的研究仍在進(jìn)行中。
情緒檢測(cè)：這是里程碑，可以用來(lái)檢測(cè)一個(gè)人的情緒(高興，悲傷，或自然)。這可以應(yīng)用于評(píng)估受試者對(duì)特定內(nèi)容的情緒反應(yīng)。
制造行業(yè)：線和樣條可用于標(biāo)注工廠的圖像線跟隨機(jī)器人工作。這可以幫助自動(dòng)化生產(chǎn)過(guò)程，人力勞動(dòng)可以最小化。
圖像標(biāo)注的一些挑戰(zhàn)
時(shí)間復(fù)雜度：手工標(biāo)注圖像需要很多時(shí)間，機(jī)器學(xué)習(xí)需要大量的數(shù)據(jù)集，需要大量的時(shí)間來(lái)有效地標(biāo)注這些基于圖像的數(shù)據(jù)集。
計(jì)算復(fù)雜度：機(jī)器學(xué)習(xí)需要精確標(biāo)注的數(shù)據(jù)來(lái)運(yùn)行模型。如果標(biāo)注者在給圖像做標(biāo)注的時(shí)候，注入任何一種錯(cuò)誤，都可能會(huì)影響到訓(xùn)練，所有的努力都可能付諸東流。
領(lǐng)域知識(shí)：如前所述，圖像標(biāo)注通常需要特定領(lǐng)域的高級(jí)領(lǐng)域知識(shí)。因此，我們需要知道該標(biāo)注什么的注解者，以及該領(lǐng)域的專(zhuān)家。
英文原文：https://heartbeat.fritz.ai/data-annotation-fundamentals-part-1-image-annotation-76f89ccf84f2
推薦閱讀
