這些是我在面試人工智能工程師職位時(shí)經(jīng)常問的問題。事實(shí)上，并不是所有的面試都需要使用所有這些問題，因?yàn)檫@取決于應(yīng)聘者以前的經(jīng)驗(yàn)和項(xiàng)目。通過大量的面試，特別是與學(xué)生的面試，我收集了 12 個(gè)在深度學(xué)習(xí)中最熱門的面試問題，今天將在這篇文章中與大家分享。我希望能收到你的許多意見。好了，別再啰嗦了，我們開始吧。

1. 介紹 Batch Normalization 的意義

這是一個(gè)非常好的問題，因?yàn)樗w了候選人在使用神經(jīng)網(wǎng)絡(luò)模型時(shí)需要知道的大部分知識。你可以用不同的方式回答，但需要闡明以下主要觀點(diǎn)：

Batch Normalization 是訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的一種有效方法。該方法的目標(biāo)是將特征(每層激活后的輸出)歸一化為均值為 0，標(biāo)準(zhǔn)差為 1。所以問題在于非零的均值是如何影響模型訓(xùn)練的：

• 首先，可以理解為非零均值是指數(shù)據(jù)不圍繞 0 值分布，但數(shù)據(jù)中大多數(shù)值大于零或小于零。結(jié)合高方差問題，數(shù)據(jù)變得非常大或非常小。這個(gè)問題在訓(xùn)練層數(shù)很多的神經(jīng)網(wǎng)絡(luò)時(shí)很常見。特征沒有在穩(wěn)定區(qū)間內(nèi)分布(由小到大)，這將影響網(wǎng)絡(luò)的優(yōu)化過程。眾所周知，優(yōu)化神經(jīng)網(wǎng)絡(luò)需要使用導(dǎo)數(shù)計(jì)算。假設(shè)一個(gè)簡單的層計(jì)算公式是 y = (Wx + b)， y 對 w 的導(dǎo)數(shù)是:dy = dWx。因此，x 的取值直接影響導(dǎo)數(shù)的取值(當(dāng)然，神經(jīng)網(wǎng)絡(luò)模型中梯度的概念并不是那么簡單，但從理論上講，x 會影響導(dǎo)數(shù))。因此，如果 x 帶來不穩(wěn)定的變化，其導(dǎo)數(shù)可能太大，也可能太小，導(dǎo)致學(xué)習(xí)模型不穩(wěn)定。這也意味著當(dāng)使用 Batch Normalization 時(shí)我們可以在訓(xùn)練中使用更高的學(xué)習(xí)率。

• Batch Normalization 可以避免 x 值經(jīng)過非線性激活函數(shù)后趨于飽和的現(xiàn)象。因此，它確保激活值不會過高或過低。這有助于權(quán)重的學(xué)習(xí)，當(dāng)不使用時(shí)有些權(quán)重可能永遠(yuǎn)無法進(jìn)行學(xué)習(xí)，而用了之后，基本上都可以學(xué)習(xí)到。這有助于我們減少對參數(shù)初始值的依賴。

• Batch Normalization 也是一種正則化形式，有助于最小化過擬合。使用 Batch Normalization，我們不需要使用太多的 dropput，這是有意義的，因?yàn)槲覀儾恍枰獡?dān)心丟失太多的信息，當(dāng)我們實(shí)際使用的時(shí)候，仍然建議結(jié)合使用這兩種技術(shù)。

2. 解釋 bias 和 Variance 之間的權(quán)衡關(guān)系

什么是bias？可以理解，bias是當(dāng)前模型的平均預(yù)測與我們需要預(yù)測的實(shí)際結(jié)果之間的差異。一個(gè)高 bias 的模型表明它對訓(xùn)練數(shù)據(jù)的關(guān)注較少。這使得模型過于簡單，在訓(xùn)練和測試中都沒有達(dá)到很好的準(zhǔn)確性。這種現(xiàn)象也被稱為欠擬合。

Variance 可以簡單理解為模型輸出在一個(gè)數(shù)據(jù)點(diǎn)上的分布。Variance 越大，模型越有可能密切關(guān)注訓(xùn)練數(shù)據(jù)，而不提供從未遇到過的數(shù)據(jù)的泛化。因此，該模型在訓(xùn)練數(shù)據(jù)集上取得了非常好的結(jié)果，但是與測試數(shù)據(jù)集相比，結(jié)果非常差，這就是過擬合的現(xiàn)象。

這兩個(gè)概念之間的關(guān)系可以從下圖中看出：

在上圖中，圓的中心是一個(gè)模型，它完美地預(yù)測了精確的值。事實(shí)上，你從來沒有發(fā)現(xiàn)過這么好的模型。當(dāng)我們離圓的中心越來越遠(yuǎn)，我們的預(yù)測就越來越糟。

我們可以改變模型，這樣我們就可以盡可能地增加落入圓中心的模型猜測的數(shù)量。需要在偏差值和方差值之間取得平衡。如果我們的模型過于簡單，參數(shù)很少，那么它可能有高偏差和低方差。

另一方面，如果我們的模型有大量的參數(shù)，那么它就會有高方差和低偏差。這是我們在設(shè)計(jì)算法時(shí)計(jì)算模型復(fù)雜度的基礎(chǔ)。

3. 假如深度學(xué)習(xí)模型已經(jīng)有了 1000 萬個(gè)人臉向量，如何通過查詢來找到新的人臉？

這個(gè)問題是關(guān)于深度學(xué)習(xí)算法在實(shí)踐中的應(yīng)用，這個(gè)問題的關(guān)鍵是數(shù)據(jù)的索引方法。這是將 One Shot learning 應(yīng)用于人臉識別問題的最后一步，但這一步是在實(shí)踐中進(jìn)行部署的最重要的一步。

基本上，回答這個(gè)問題，你應(yīng)該先描述一下 One Shot learning 來進(jìn)行人臉識別的方法一般性方法。它可以簡單地理解為將每個(gè)人臉轉(zhuǎn)換成一個(gè)向量，而新的人臉識別是尋找與輸入人臉最接近(最相似)的向量。通常，人們會使用 triplet loss 損失函數(shù)的深度學(xué)習(xí)模型來實(shí)現(xiàn)這一點(diǎn)。

然而，隨著圖像數(shù)量的增加，在每次識別中計(jì)算到 1000 萬個(gè)向量的距離并不是一個(gè)明智的解決方案，這使得系統(tǒng)的速度慢了很多。為了使查詢更加方便，我們需要考慮在實(shí)向量空間上索引數(shù)據(jù)的方法。

這些方法的主要思想是將數(shù)據(jù)劃分為便于查詢新數(shù)據(jù)的結(jié)構(gòu)(可能類似于樹結(jié)構(gòu))。當(dāng)有新數(shù)據(jù)可用時(shí)，在樹中進(jìn)行查詢有助于快速找到距離最近的向量。

有好幾種方法可以用于這種目的，比如Locality Sensitive Hashing—LSH，Approximate Nearest Neighbors — Annoy Indexing等等。

4. 對于分類問題，精度指標(biāo)是否完全可靠？你通常使用哪些度量來評估你的模型？

對于一個(gè)類問題，有許多不同的評估方法。在準(zhǔn)確性方面，該公式簡單地用正確預(yù)測數(shù)據(jù)點(diǎn)的個(gè)數(shù)除以總數(shù)據(jù)。這聽起來很合理，但在現(xiàn)實(shí)中，對于不平衡的數(shù)據(jù)問題，這個(gè)數(shù)量還不夠顯著。假設(shè)我們正在構(gòu)建一個(gè)網(wǎng)絡(luò)攻擊的預(yù)測模型(假設(shè)攻擊請求占請求總數(shù)的 1/100000)。

如果模型預(yù)測所有請求都是正常的，那么準(zhǔn)確率也達(dá)到 99.9999%，而這個(gè)數(shù)字在分類模型中通常是不可靠的。上面的精度計(jì)算通常向我們展示了有多少百分比的數(shù)據(jù)是正確預(yù)測的，但并沒有詳細(xì)說明如何對每個(gè)類進(jìn)行分類。相反，我們可以使用混淆矩陣。基本上，混淆矩陣顯示了有多少數(shù)據(jù)點(diǎn)實(shí)際上屬于一個(gè)類，并且被預(yù)測屬于一個(gè)類。其形式如下:

除了表示真陽性和假陽性指標(biāo)對應(yīng)于定義分類的每個(gè)閾值的變化外，我們還有一個(gè) ROC 圖。根據(jù) ROC 曲線，我們可以知道模型是否有效。

理想的 ROC 曲線是最接近左上角的橙色線。真陽性比較高，假陽性比較低。

5. 如何理解反向傳播？解釋其作用機(jī)制？

這個(gè)問題旨在檢測你對于神經(jīng)網(wǎng)絡(luò)如何工作的知識。你需要講清楚以下幾點(diǎn)：

• 前向過程(前向計(jì)算)是一個(gè)幫助模型計(jì)算每一層權(quán)重的過程，其結(jié)果計(jì)算將產(chǎn)生一個(gè)yp結(jié)果。此時(shí)將計(jì)算損失函數(shù)的值，損失函數(shù)的值將顯示模型的好壞。如果損失函數(shù)不夠好，我們需要找到一種方法來降低損失函數(shù)的值。訓(xùn)練神經(jīng)網(wǎng)絡(luò)本質(zhì)上是最小化損失函數(shù)。損失函數(shù) L (yp， yt)表示yp模型的輸出值與yt數(shù)據(jù)標(biāo)簽的實(shí)際值的差別程度。
• 為了降低損失函數(shù)的值，我們需要使用導(dǎo)數(shù)。反向傳播幫助我們計(jì)算網(wǎng)絡(luò)每一層的導(dǎo)數(shù)。根據(jù)每個(gè)層上的導(dǎo)數(shù)值，優(yōu)化器(Adam、SGD、AdaDelta…)應(yīng)用梯度下降更新網(wǎng)絡(luò)的權(quán)重。
• 反向傳播使用鏈?zhǔn)揭?guī)則或?qū)?shù)函數(shù)計(jì)算每一層從最后一層到第一層的梯度值。

6. 激活函數(shù)是什么意思？激活函數(shù)的飽和區(qū)間是多少？

激活函數(shù)的意義

激活函數(shù)的產(chǎn)生是為了打破神經(jīng)網(wǎng)絡(luò)的線性特性。這些函數(shù)可以簡單地理解為用一個(gè)濾波器來決定信息是否通過神經(jīng)元。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，激活函數(shù)在調(diào)節(jié)導(dǎo)數(shù)斜率中起著重要的作用。一些激活函數(shù)，如 sigmoid、fishy 或 ReLU，將在下面幾節(jié)中進(jìn)一步討論。

然而，我們需要理解的是，這些非線性函數(shù)的性質(zhì)使得神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)比僅僅使用線性函數(shù)更復(fù)雜的函數(shù)的表示。大多數(shù)激活函數(shù)是連續(xù)可微函數(shù)。

這些函數(shù)是連續(xù)函數(shù)，也就是說，如果輸入的變量很小且可微(在其定義域內(nèi)的每一點(diǎn)都有導(dǎo)數(shù))，那么輸出就會有一個(gè)小的變化。當(dāng)然，如上所述，導(dǎo)數(shù)的計(jì)算是非常重要的，它是決定我們的神經(jīng)元能否被訓(xùn)練的決定性因素。提幾個(gè)常用的激活函數(shù)，如 Sigmoid, Softmax, ReLU。

激活函數(shù)的飽和區(qū)間

Tanh、Sigmoid、ReLU 等非線性激活函數(shù)都有飽和區(qū)間。

可以很容易理解的是，觸發(fā)函數(shù)的飽和范圍是指即使輸入值改變，函數(shù)的輸出值也不改變的區(qū)間。變化區(qū)間存在兩個(gè)問題，即在神經(jīng)網(wǎng)絡(luò)的正向傳播中，該層的數(shù)值逐漸落入激活函數(shù)的飽和區(qū)間，將逐漸出現(xiàn)多個(gè)相同的輸出。

這將在整個(gè)模型中產(chǎn)生相同的數(shù)據(jù)流。這種現(xiàn)象就是協(xié)方差移位現(xiàn)象。第二個(gè)問題是，在反向傳播中，導(dǎo)數(shù)在飽和區(qū)域?yàn)榱?，因此網(wǎng)絡(luò)幾乎什么都學(xué)不到。這就是我們需要將值范圍設(shè)置為均值為 0 的原因，如 Batch 歸一化一節(jié)中所述。

7. 模型的超參數(shù)是什么？它和參數(shù)有什么不同？

模型的參數(shù)是什么？

回到機(jī)器學(xué)習(xí)的本質(zhì)上來，關(guān)于機(jī)器學(xué)習(xí)我們需要一個(gè)數(shù)據(jù)集，沒有數(shù)據(jù)我們?nèi)绾螌W(xué)習(xí)？一旦數(shù)據(jù)可用，機(jī)器需要在數(shù)據(jù)堆中找到輸入和輸出的聯(lián)系。

假設(shè)我們的數(shù)據(jù)是溫度、濕度、溫度等天氣信息，要求機(jī)器做的是找出上述因素與你老婆是否生氣之間的聯(lián)系。這聽起來毫無關(guān)聯(lián)，但機(jī)器學(xué)習(xí)在做的時(shí)候是相當(dāng)愚蠢的。現(xiàn)在假設(shè)我們用變量y來表示我們的老婆是否生氣了，變量 x1、x2、x3…代表天氣元素。我們把求函數(shù) f (x)歸結(jié)為如下關(guān)系：

看到系數(shù) w1 w2 w3 了嗎。w_1, w_2, w_3 ..w1, w2, w3 ..?這就是我們要求的數(shù)據(jù)和元素之間的關(guān)系，也就是所謂的模型參數(shù)。因此，我們可以定義模型參數(shù)如下:

模型參數(shù)是由訓(xùn)練數(shù)據(jù)生成的模型值，用于幫助顯示數(shù)據(jù)中數(shù)量之間的關(guān)系。

因此，當(dāng)我們說找到問題的最佳模型時(shí)，應(yīng)該意味著我們已經(jīng)在現(xiàn)有的數(shù)據(jù)集上找到了最適合問題的模型參數(shù)。它具有以下幾個(gè)特征:

• 用于預(yù)測新數(shù)據(jù)
• 它顯示了我們使用的模型的能力。通常用準(zhǔn)確性來表示，我們稱之為準(zhǔn)確率。
• 直接從訓(xùn)練數(shù)據(jù)集學(xué)習(xí)
• 通常不需要人工設(shè)置

模型參數(shù)有多種形式，如神經(jīng)網(wǎng)絡(luò)權(quán)值、支持向量機(jī)中的支持向量、線性回歸或邏輯回歸算法中的系數(shù)。

什么是模型的超參數(shù)？

我們經(jīng)常假設(shè)模型超參數(shù)看起來像一個(gè)模型參數(shù)，但它不是真的。實(shí)際上這兩個(gè)概念是完全分開的。如果模型參數(shù)是由訓(xùn)練數(shù)據(jù)集本身建模的，則模型超參數(shù)是完全不同的。它完全在模型之外，不依賴于訓(xùn)練數(shù)據(jù)。它的目的是什么?實(shí)際上，他們有以下幾個(gè)任務(wù):

• 用于訓(xùn)練過程中，幫助模型找到最合適的參數(shù)
• 它通常是由模型訓(xùn)練的參與者手工挑選的
• 它可以基于幾種啟發(fā)式策略來定義

對于一個(gè)特定的問題，我們完全不知道什么是最好的模型超參數(shù)。因此，在現(xiàn)實(shí)中，我們需要使用一些技術(shù)來估計(jì)最佳取值范圍(例如 k 近鄰模型中的k系數(shù))，如網(wǎng)格搜索。這里我想舉幾個(gè)模型超參數(shù)的例子：

• 訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)時(shí)的學(xué)習(xí)率
• 訓(xùn)練支持向量機(jī)時(shí)的C和sigma參數(shù)
• 最近鄰模型中的k系數(shù)

8. 當(dāng)學(xué)習(xí)率太高或太低時(shí)會怎么樣？

當(dāng)模型的學(xué)習(xí)率被設(shè)置得太低時(shí)，模型訓(xùn)練將會進(jìn)行得非常慢，因?yàn)樗鼘?quán)重進(jìn)行非常小的更新。在到達(dá)局部最優(yōu)點(diǎn)之前需要多次更新。

如果設(shè)定的學(xué)習(xí)率過高，則由于權(quán)值更新過大，模型可能會不收斂。有可能在一個(gè)更新權(quán)值的步驟中，模型跳出了局部優(yōu)化，使得模型以后很難更新到最優(yōu)點(diǎn)，而是在在局部優(yōu)化點(diǎn)附近跳來跳去。

9. 當(dāng)圖像尺寸變?yōu)?2 倍，CNN 的參數(shù)數(shù)量變?yōu)閹妆叮?/span>為什么？

對于候選人來說，這是一個(gè)非常誤導(dǎo)人的問題，因?yàn)榇蠖鄶?shù)人會把注意力放在 CNN 參數(shù)的數(shù)量會增加多少倍的問題上。然而，讓我們來看看 CNN 的架構(gòu)：

我們可以看到，CNN 模型的參數(shù)數(shù)量取決于濾波器的數(shù)量和大小，而不是輸入圖像。因此，將圖像的大小加倍并不會改變模型的參數(shù)數(shù)量。

10. 如何處理不平衡數(shù)據(jù)？

這是一個(gè)測試候選人處理真實(shí)數(shù)據(jù)問題的方法的問題。通常，實(shí)際數(shù)據(jù)和標(biāo)準(zhǔn)數(shù)據(jù)集在數(shù)據(jù)集的屬性和數(shù)據(jù)量方面差異很大(標(biāo)準(zhǔn)數(shù)據(jù)集不需要調(diào)整)。對于實(shí)際的數(shù)據(jù)集，可能會出現(xiàn)數(shù)據(jù)不平衡的情況，即類之間的數(shù)據(jù)不平衡。我們現(xiàn)在可以考慮以下技術(shù)：

• 選擇正確的度量來評估模型：對于不平衡的數(shù)據(jù)集，使用準(zhǔn)確性來評估是一項(xiàng)非常危險(xiǎn)的工作，如上面幾節(jié)所述。應(yīng)選擇精度、召回、F1 分?jǐn)?shù)、AUC等合適的評價(jià)量。

• 重新采樣訓(xùn)練數(shù)據(jù)集：除了使用不同的評估標(biāo)準(zhǔn)，人們還可以使用一些技術(shù)來獲得不同的數(shù)據(jù)集。從一個(gè)不平衡的數(shù)據(jù)集中創(chuàng)建一個(gè)平衡的數(shù)據(jù)集有兩種方法，即欠采樣和過采樣，具體技術(shù)包括重復(fù)、bootstrapping 或 hits(綜合少數(shù)過采樣技術(shù))等方法。

• 許多不同模型的集成：通過創(chuàng)建更多的數(shù)據(jù)來概括模型在實(shí)踐中并不總是可行的。例如，你有兩個(gè)層，一個(gè)擁有 1000 個(gè)數(shù)據(jù)的罕見類，一個(gè)包含 10,000 個(gè)數(shù)據(jù)樣本的大型類。因此，我們可以考慮一個(gè) 10 個(gè)模型的訓(xùn)練解決方案，而不是試圖從一個(gè)罕見的類中找到 9000 個(gè)數(shù)據(jù)樣本來進(jìn)行模型訓(xùn)練。每個(gè)模型由 1000 個(gè)稀有類和 1000 個(gè)大規(guī)模類訓(xùn)練而成。然后使用集成技術(shù)獲得最佳結(jié)果。

• 重新設(shè)計(jì)模型 — 損失函數(shù)：使用懲罰技術(shù)對代價(jià)函數(shù)中的多數(shù)類進(jìn)行嚴(yán)厲懲罰，幫助模型本身更好地學(xué)習(xí)稀有類的數(shù)據(jù)。這使得損失函數(shù)的值在類中更全面。

11. 當(dāng)訓(xùn)練深度學(xué)習(xí)模型時(shí)，Epoch、Batch 和 Iteration 概念是什么意思？

這些是訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)非常基本的概念，但事實(shí)是很多候選人在區(qū)分這些概念時(shí)都很困惑。具體來說，你應(yīng)該回答以下問題：

• Epoch：表示整個(gè)數(shù)據(jù)集的迭代(所有內(nèi)容都包含在訓(xùn)練模型中)。
• Batch：是指當(dāng)我們不能一次將整個(gè)數(shù)據(jù)集放到神經(jīng)網(wǎng)絡(luò)中時(shí)，我們將數(shù)據(jù)集分割成幾批較小的數(shù)據(jù)集。
• 迭代：是運(yùn)行 epoch 所需的批數(shù)。假設(shè)有 10,000 個(gè)圖像作為數(shù)據(jù)，批處理的大小(batch_size)為 200。然后一個(gè) epoch 將包含 50 個(gè)迭代(10,000 除以 200)。

12. 數(shù)據(jù)生成器的概念是什么？我們什么時(shí)候需要使用它？

數(shù)據(jù)生成器在寫代碼中很重要，數(shù)據(jù)生成函數(shù)幫助我們直接生成數(shù)據(jù)，然后送到模型中進(jìn)行每個(gè) batch 的訓(xùn)練。

利用生成函數(shù)對訓(xùn)練大數(shù)據(jù)有很大幫助。因?yàn)閿?shù)據(jù)集并不總是需要全部加載到 RAM 中，這是一種內(nèi)存的浪費(fèi)，而且如果數(shù)據(jù)集太大，會導(dǎo)致內(nèi)存溢出，輸入數(shù)據(jù)的處理時(shí)間會變長。

總結(jié)

以上是我在面試過程中經(jīng)常問應(yīng)聘者的 12 個(gè)關(guān)于深度學(xué)習(xí)的面試問題。然而，根據(jù)每個(gè)候選人的不同，提問的方式也會不同，或者還有一些問題是隨機(jī)從候選人的問題中提出的。

雖然這篇文章是關(guān)于技術(shù)問題的，但是與面試相關(guān)，并且基于我個(gè)人的觀點(diǎn)，態(tài)度決定了面試成功的 50%。所以，除了積累自己的知識和技能，總是用真誠、進(jìn)步、謙虛的態(tài)度來表達(dá)自己，你一定會在任何對話中取得成功。我希望你早日實(shí)現(xiàn)你的愿望。