深度學習基礎(chǔ)教程（1）

1 基本概念

1.1 神經(jīng)網(wǎng)絡組成？

1.2 神經(jīng)網(wǎng)絡有哪些常用模型結(jié)構(gòu)？

1.3 如何選擇深度學習開發(fā)平臺？

1.4 為什么深層神經(jīng)網(wǎng)絡難以訓練？

1.5 深度學習和機器學習的異同？

1.1 神經(jīng)網(wǎng)絡組成？

人工神經(jīng)網(wǎng)絡（Artificial Neural Networks，簡寫為ANNs）是一種模仿動物神經(jīng)網(wǎng)絡行為特征，進行分布式并行信息處理的算法數(shù)學模型。

這種網(wǎng)絡依靠系統(tǒng)的復雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達到處理信息的目的，并具有自學習和自適應的能力。神經(jīng)網(wǎng)絡類型眾多，其中最為重要的是多層感知機。為了詳細地描述神經(jīng)網(wǎng)絡，我們先從最簡單的神經(jīng)網(wǎng)絡說起。

感知機

感知機是1957年，由Rosenblatt提出會，是神經(jīng)網(wǎng)絡和支持向量機的基礎(chǔ)。

感知機是有生物學上的一個啟發(fā)，他的參照對象和理論依據(jù)可以參照下圖：（我們的大腦可以認為是一個神經(jīng)網(wǎng)絡，是一個生物的神經(jīng)網(wǎng)絡，在這個生物的神經(jīng)網(wǎng)絡里邊呢，他的最小單元我們可以認為是一個神經(jīng)元，一個neuron，這些很多個神經(jīng)元連接起來形成一個錯綜復雜的網(wǎng)絡，我們把它稱之為神經(jīng)網(wǎng)絡。

當然我們現(xiàn)在所說的，在深度學習包括機器學習指的神經(jīng)網(wǎng)絡Neural Networks實際上指的是人工神經(jīng)網(wǎng)絡Artificial Neural Networks，簡寫為ANNs。我們只是簡化了。

我們?nèi)说纳窠?jīng)網(wǎng)絡是由這樣一些神經(jīng)元來構(gòu)成的，那么這個神經(jīng)元他的一些工作機制呢就是通過這樣一個下面圖的結(jié)構(gòu)，首先接收到一些信號，這些信號通過這些樹突(dendrite)組織，樹突組織接收到這些信號送到細胞里邊的細胞核(nucleus)，這些細胞核對接收到的這些信號，這些信號是以什么形式存在的呢？

這些信號比如說眼睛接收到的光學啊，或者耳朵接收到的聲音信號，到樹突的時候會產(chǎn)生一些微弱的生物電，那么就形成這樣的一些刺激，那么在細胞核里邊對這些收集到的接收到的刺激進行綜合的處理，當他的信號達到了一定的閾值之后，那么他就會被激活，就會產(chǎn)生一個刺激的輸出。

那么就會形成一個我們大腦接收到的進一步的信號，那么他是通過軸突這樣的輸出計算的，這就是我們?nèi)四X的一個神經(jīng)元進行感知的時候大致的一個工作原理。）

簡單的感知機如下圖所示：

多層感知機

輸出層可以不止有1 11個神經(jīng)元。隱藏層可以只有1 11層，也可以有多層。輸出層為多個神經(jīng)元的神經(jīng)網(wǎng)絡例如下圖所示：

1.2 神經(jīng)網(wǎng)絡有哪些常用模型結(jié)構(gòu)？

下圖包含了大部分常用的模型：

1.3 如何選擇深度學習開發(fā)平臺？

現(xiàn)有的深度學習開源平臺主要有 PyTorch, MXNet, CNTK, Theano, TensorFlow, Keras, PaddlePaddle等。那如何選擇一個適合自己的平臺呢？

參考1：與現(xiàn)有編程平臺、技能整合的難易程度

主要是前期積累的開發(fā)經(jīng)驗和資源，比如編程語言，前期數(shù)據(jù)集存儲格式等。

參考2: 與相關(guān)機器學習、數(shù)據(jù)處理生態(tài)整合的緊密程度

深度學習研究離不開各種數(shù)據(jù)處理、可視化、統(tǒng)計推斷等軟件包?？紤]建模之前，是否具有方便的數(shù)據(jù)預處理工具？建模之后，是否具有方便的工具進行可視化、統(tǒng)計推斷、數(shù)據(jù)分析。

參考3：對數(shù)據(jù)量及硬件的要求和支持

深度學習在不同應用場景的數(shù)據(jù)量是不一樣的，這也就導致我們可能需要考慮分布式計算、多GPU計算的問題。

例如，對計算機圖像處理研究的人員往往需要將圖像文件和計算任務分部到多臺計算機節(jié)點上進行執(zhí)行。當下每個深度學習平臺都在快速發(fā)展，每個平臺對分布式計算等場景的支持也在不斷演進。

參考4：深度學習平臺的成熟程度

成熟程度的考量是一個比較主觀的考量因素，這些因素可包括：社區(qū)的活躍程度；是否容易和開發(fā)人員進行交流；當前應用的勢頭。

參考5：平臺利用是否多樣性？

有些平臺是專門為深度學習研究和應用進行開發(fā)的，有些平臺對分布式計算、GPU 等構(gòu)架都有強大的優(yōu)化，能否用這些平臺/軟件做其他事情？

比如有些深度學習軟件是可以用來求解二次型優(yōu)化；有些深度學習平臺很容易被擴展，被運用在強化學習的應用中。

一般來說，現(xiàn)在做科學研究和競賽用Pytorch較多，工業(yè)級的用Tensorflow較多。

1.4 為什么深層神經(jīng)網(wǎng)絡難以訓練？

梯度消失：

梯度消失是指通過隱藏層從后向前看，梯度會變的越來越小，說明前面層的學習會顯著慢于后面層的學習，所以學習會卡住，除非梯度變大。

梯度消失的原因受到多種因素影響，例如學習率的大小，網(wǎng)絡參數(shù)的初始化，激活函數(shù)的邊緣效應等。在深層神經(jīng)網(wǎng)絡中，每一個神經(jīng)元計算得到的梯度都會傳遞給前一層，較淺層的神經(jīng)元接收到的梯度受到之前所有層梯度的影響。如果計算得到的梯度值非常小，隨著層數(shù)增多，求出的梯度更新信息將會以指數(shù)形式衰減，就會發(fā)生梯度消失。下圖是不同隱含層的學習速率：

2.梯度爆炸

在深度網(wǎng)絡或循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network, RNN）等網(wǎng)絡結(jié)構(gòu)中，梯度可在網(wǎng)絡更新的過程中不斷累積，變成非常大的梯度，導致網(wǎng)絡權(quán)重值的大幅更新，使得網(wǎng)絡不穩(wěn)定；在極端情況下，權(quán)重值甚至會溢出，變?yōu)镹 a N NaNNaN值，再也無法更新。

3.權(quán)重矩陣的退化導致模型的有效自由度減少。

參數(shù)空間中學習的退化速度減慢，導致減少了模型的有效維數(shù)，網(wǎng)絡的可用自由度對學習中梯度范數(shù)的貢獻不均衡，隨著相乘矩陣的數(shù)量（即網(wǎng)絡深度）的增加，矩陣的乘積變得越來越退化。在有硬飽和邊界的非線性網(wǎng)絡中（例如 ReLU 網(wǎng)絡），隨著深度增加，退化過程會變得越來越快。

Duvenaud等人2014年的論文里展示了關(guān)于該退化過程的可視化：

隨著深度的增加，輸入空間（左上角所示）會在輸入空間中的每個點處被扭曲成越來越細的單絲，只有一個與細絲正交的方向影響網(wǎng)絡的響應。沿著這個方向，網(wǎng)絡實際上對變化變得非常敏感。

1.5 深度學習和機器學習的異同？

機器學習：利用計算機、概率論、統(tǒng)計學等知識，輸入數(shù)據(jù)，讓計算機學會新知識。機器學習的過程，就是訓練數(shù)據(jù)去優(yōu)化目標函數(shù)。

深度學習：是一種特殊的機器學習，具有強大的能力和靈活性。它通過學習將世界表示為嵌套的層次結(jié)構(gòu)，每個表示都與更簡單的特征相關(guān)，而抽象的表示則用于計算更抽象的表示。

傳統(tǒng)的機器學習需要定義一些手工特征，從而有目的的去提取目標信息， 非常依賴任務的特異性以及設(shè)計特征的專家經(jīng)驗。而深度學習可以從大數(shù)據(jù)中先學習簡單的特征，并從其逐漸學習到更為復雜抽象的深層特征，不依賴人工的特征工程，這也是深度學習在大數(shù)據(jù)時代受歡迎的一大原因。