CNN 的一些可視化方法！

注：本文所有資料均來自Keras之父、Google人工智能研究員Francois Chollet的大作：《Python深度學習》，建議大家直接去看原文，這里只是結(jié)合樓主的理解做點筆記。

引言

有一些同學認為深度學習、神經(jīng)網(wǎng)絡什么的就是一個黑盒子，沒辦法、也不需要分析其內(nèi)部的工作方式。個人認為這種說法“謬之千里”。

首先，站在自動特征提取或表示學習的角度來看，深度學習還是很好理解，即通過一個層級結(jié)構(gòu)，由簡單到復雜逐步提取特征，獲得易于處理的高層次抽象表示。其次，現(xiàn)在也已經(jīng)有很多方法對神經(jīng)網(wǎng)絡進行分析了，特別是一些可視化方法，可以很直觀的展示深度模型的特征提取過程。

對神經(jīng)網(wǎng)絡進行可視化分析不管是在學習上還是實際應用上都有很重要的意義，基于此，本文將介紹以下3種CNN的可視化方法：

1. 可視化中間特征圖。
2. 可視化卷積核。
3. 可視化圖像中類激活的熱力圖。

可視化中間特征圖

這種方法很簡單，把網(wǎng)絡中間某層的輸出的特征圖按通道作為圖片進行可視化展示即可，如下述代碼所示：

import matplotlib.pyplot as plt
#get feature map of layer_activation
plt.matshow(layer_activation[0, :, :, 4], cmap='viridis')

把多個特征圖可視化后堆疊在一起可以得到與下述類似的圖片。

上圖為某CNN 5-8 層輸出的某喵星人的特征圖的可視化結(jié)果(一個卷積核對應一個小圖片)。可以發(fā)現(xiàn)越是低的層，捕捉的底層次像素信息越多，特征圖中貓的輪廓也越清晰。越到高層，圖像越抽象，稀疏程度也越高。這符合我們一直強調(diào)的特征提取概念。

可視化卷積核

想要觀察卷積神經(jīng)網(wǎng)絡學到的過濾器，一種簡單的方法是獲取每個過濾器所響應的視覺模式。我們可以將其視為一個優(yōu)化問題，即從空白輸入圖像開始，將梯度上升應用于卷積神經(jīng)網(wǎng)絡的輸入圖像，讓某個過濾器的響應最大化，最后得到的圖像是選定過濾器具有較大響應的圖像。

核心代碼如下所示(利用Keras框架)：

def generate_pattern(layer_name, filter_index, size=150):
    layer_output = model.get_layer(layer_name).output
    loss = K.mean(layer_output[:, :, :, filter_index])
    grads = K.gradients(loss, model.input)[0]
    grads /= (K.sqrt(K.mean(K.square(grads))) + 1e-5)
    iterate = K.function([model.input], [loss, grads])

    input_img_data = np.random.random((1, size, size, 3)) * 20 + 128.
    step = 1.
    for i in range(40):
        loss_value, grads_value = iterate([input_img_data])
        input_img_data += grads_value * step

    img = input_img_data[0]
    return deprocess_image(img)

將輸入圖片張量轉(zhuǎn)換回圖片后進行可視化，可以得到與下述類似的圖片：

block1_conv1 層的過濾器模式

block2_conv1 層的過濾器模式

block3_conv1 層的過濾器模式

block4_conv1 層的過濾器模式

隨著層數(shù)的加深，卷積神經(jīng)網(wǎng)絡中的過濾器變得越來越復雜，越來越精細。模型第一層（ block1_conv1 ）的過濾器對應簡單的方向邊緣和顏色，高層的過濾器類似于自然圖像中的紋理：羽毛、眼睛、樹葉等。

可視化圖像中類激活的熱力圖

即顯示原始圖片的不同區(qū)域?qū)δ硞€CNN輸出類別的“貢獻”程度，如下面圖片所示：

可以看到，大象頭部對“大象”這個類別的“貢獻”程度較高，而且這種方法似乎可以在一定程度上進行無監(jiān)督的目標檢測。

下面是書中原文，可能有點繞口。

我們將使用的具體實現(xiàn)方式是“Grad-CAM: visual explanations from deep networks via gradient-based localization”這篇論文中描述的方法。這種方法非常簡單：給定一張輸入圖像，對于一個卷積層的輸出特征圖，用類別相對于通道的梯度對這個特征圖中的每個通道進行加權(quán)。直觀上來看，理解這個技巧的一種方法是，你是用“每個通道對類別的重要程度”對“輸入圖像對不同通道的激活強度”的空間圖進行加權(quán)，從而得到了“輸入圖像對類別的激活強度”的空間圖。

這里談一下我的理解，給定線性函數(shù)   ,y為類別，   等等為輸入?？梢钥吹竭@里   對y的貢獻為   ,恰好為   。當然了，深度模型中有非線性激活函數(shù)，不能簡化為一個線性模型，所以這只是啟發(fā)性的理解。

代碼如下所示：

african_elephant_output = model.output[:, 386]
last_conv_layer = model.get_layer('block5_conv3')
grads = K.gradients(african_elephant_output, last_conv_layer.output)[0]
pooled_grads = K.mean(grads, axis=(0, 1, 2))
iterate = K.function([model.input],
                     [pooled_grads, last_conv_layer.output[0]])
pooled_grads_value, conv_layer_output_value = iterate([x])
for i in range(512):
    conv_layer_output_value[:, :, i] *= pooled_grads_value[i]
heatmap = np.mean(conv_layer_output_value, axis=-1)
heatmap = np.maximum(heatmap, 0)
heatmap /= np.max(heatmap)
plt.matshow(heatmap)

得到的熱力圖如下所示：

經(jīng)下述代碼處理后，可以得到本節(jié)開始時的圖片。

import cv2
img = cv2.imread(img_path)
heatmap = cv2.resize(heatmap, (img.shape[1], img.shape[0]))
heatmap = np.uint8(255 * heatmap)
heatmap = cv2.applyColorMap(heatmap, cv2.COLORMAP_JET)
superimposed_img = heatmap * 0.4 + img
cv2.imwrite('/Users/fchollet/Downloads/elephant_cam.jpg', superimposed_img)

結(jié)語

本文到這里就結(jié)束了，這里再次推薦一下Francois Chollet大佬的書，寫的很接地氣，建議新手們都看看。