來源：深度學(xué)習(xí)與計(jì)算機(jī)視覺

到目前為止，我們使用的大多數(shù)技術(shù)都要求我們通過其特征手動分割圖像。

但是我們實(shí)際上可以使用無監(jiān)督的聚類算法為我們完成此任務(wù)。在本文中，我們將討論如何做到這一點(diǎn)。

讓我們開始吧！

導(dǎo)入所需的Python庫

import?numpy?as?np
import?pandas?as?pd
import?matplotlib.pyplot?as?plt
from?mpl_toolkits.mplot3d?import?Axes3D
from?matplotlib?import?colors
from?skimage.color?import?rgb2gray,?rgb2hsv,?hsv2rgb
from?skimage.io?import?imread,?imshow
from?sklearn.cluster?import?KMeans

太好了，讓我們現(xiàn)在導(dǎo)入將要使用的圖像。

dog?=?imread('beach_doggo.PNG')
plt.figure(num=None,?figsize=(8,?6),?dpi=80)
imshow(dog);

我們知道，圖像本質(zhì)上是一個三維矩陣，每個像素包含一個紅、綠、藍(lán)通道的值。但實(shí)際上，我們可以使用備受喜愛的Pandas庫將每個像素存儲為單獨(dú)的數(shù)據(jù)點(diǎn)。下面的代碼就是這樣做的。

def?image_to_pandas(image):
????df?=?pd.DataFrame([image[:,:,0].flatten(),
???????????????????????image[:,:,1].flatten(),
???????????????????????image[:,:,2].flatten()]).T
????df.columns?=?[‘Red_Channel’,’Green_Channel’,’Blue_Channel’]
????return?df
df_doggo?=?image_to_pandas(dog)
df_doggo.head(5)

這使得圖像的操作更加簡單，因?yàn)楦菀讓⑵湟暈榭梢暂斎氲綑C(jī)器學(xué)習(xí)算法中的數(shù)據(jù)。

在我們的實(shí)例中，我們將使用K-means算法對圖像進(jìn)行聚類。

plt.figure(num=None,?figsize=(8,?6),?dpi=80)
kmeans?=?KMeans(n_clusters=??4,?random_state?=?42).fit(df_doggo)
result?=?kmeans.labels_.reshape(dog.shape[0],dog.shape[1])
imshow(result,?cmap='viridis')
plt.show()

如我們所見，圖像被分為四個不同的區(qū)域。讓我們分別可視化每個區(qū)域。

fig,?axes?=?plt.subplots(2,2,?figsize=(12,?12))
for?n,?ax?in?enumerate(axes.flatten()):
????ax.imshow(result==[n],?cmap='gray');
????ax.set_axis_off()
????
fig.tight_layout()

該算法根據(jù)R，G和B像素值分割圖像。當(dāng)然，一個缺點(diǎn)是這是一種完全不受監(jiān)督的學(xué)習(xí)算法。它并不特別關(guān)心任何特定群集背后的含義。作為證據(jù)，我們可以看到第二和第四簇都具有狗的突出部分（陰影部分和未陰影部分）。也許運(yùn)行4個集群過多，讓我們重試集群，但將集群數(shù)設(shè)置為3。

太好了，我們可以看到狗是一個整體。現(xiàn)在讓我們看看如果將每個聚類作為單獨(dú)的蒙版應(yīng)用于圖像會發(fā)生什么。

fig,?axes?=?plt.subplots(1,3,?figsize=(15,?12))
for?n,?ax?in?enumerate(axes.flatten()):
????dog?=?imread('beach_doggo.png')
????dog[:,?:,?0]?=?dog[:,?:,?0]*(result==[n])
????dog[:,?:,?1]?=?dog[:,?:,?1]*(result==[n])
????dog[:,?:,?2]?=?dog[:,?:,?2]*(result==[n])
????ax.imshow(dog);
????ax.set_axis_off()
fig.tight_layout()

我們可以看到，該算法生成了三個不同的簇，即沙子，生物和天空。當(dāng)然，算法本身對這些簇并不十分在意，只是它們共享相似的RGB值。要由人類來解釋這些簇。

在我們離開之前，我認(rèn)為如果簡單地將其繪制在3D圖形上，則對實(shí)際顯示我們的圖像會有所幫助。

def?pixel_plotter(df):
????x_3d?=?df['Red_Channel']
????y_3d?=?df['Green_Channel']
????z_3d?=?df['Blue_Channel']
????
????color_list?=?list(zip(df['Red_Channel'].to_list(),
??????????????????????????df['Blue_Channel'].to_list(),
??????????????????????????df['Green_Channel'].to_list()))
????norm?=?colors.Normalize(vmin=0,vmax=1.)
????norm.autoscale(color_list)
????p_color?=?norm(color_list).tolist()
????
????fig?=?plt.figure(figsize=(12,10))
????ax_3d?=?plt.axes(projection='3d')
????ax_3d.scatter3D(xs?=?x_3d,?ys?=??y_3d,?zs?=?z_3d,?
????????????????????c?=?p_color,?alpha?=?0.55);
????
????ax_3d.set_xlim3d(0,?x_3d.max())
????ax_3d.set_ylim3d(0,?y_3d.max())
????ax_3d.set_zlim3d(0,?z_3d.max())
????ax_3d.invert_zaxis()
????
????
????ax_3d.view_init(-165,?60)
pixel_plotter(df_doggo)

我們應(yīng)該記住，這實(shí)際上是算法定義“緊密度”的方式。如果我們將K-Means算法應(yīng)用于該圖，則其分割圖像的方式將變得非常清晰。

df_doggo['cluster']?=?result.flatten()
def?pixel_plotter_clusters(df):
????x_3d?=?df['Red_Channel']
????y_3d?=?df['Green_Channel']
????z_3d?=?df['Blue_Channel']
????
????fig?=?plt.figure(figsize=(12,10))
????ax_3d?=?plt.axes(projection='3d')
????ax_3d.scatter3D(xs?=?x_3d,?ys?=??y_3d,?zs?=?z_3d,?
????????????????????c?=?df['cluster'],?alpha?=?0.55);
????
????ax_3d.set_xlim3d(0,?x_3d.max())
????ax_3d.set_ylim3d(0,?y_3d.max())
????ax_3d.set_zlim3d(0,?z_3d.max())
????ax_3d.invert_zaxis()
????
????
????ax_3d.view_init(-165,?60)
pixel_plotter_clusters(df_doggo)

結(jié)論

K-Means算法是一種流行的無監(jiān)督學(xué)習(xí)算法，任何數(shù)據(jù)科學(xué)家都可以輕松使用它。雖然它很簡單，但對于像素差異非常明顯的圖像來說，它的功能非常強(qiáng)大。在以后的文章中，我們將介紹其他機(jī)器學(xué)習(xí)算法，我們可以用于圖像分割以及微調(diào)超參數(shù)。但現(xiàn)在，我希望你可以在自己的任務(wù)中使用這種方法。

☆ END ☆