深度學習模型、算法的數(shù)學基礎
↓↓↓點擊關注，回復資料，10個G的驚喜
期待即將到來的章節(jié)。
深度學習這一領域，對于初學者而言，編程已然令人生畏，而更加令人難以接受的是，深度學習里的數(shù)學知識更難。
對于這種困惑，已經(jīng)有人提前替你想到了，這不今天就為大家推薦一本新書，書中介紹了深度學習中的數(shù)學工程。書的名字為《 The Mathematical Engineering of Deep Learning 》，顧名思義，這是一本專攻數(shù)學知識的書籍。
不過這本書還在持續(xù)更新中，目前前兩章內(nèi)容已經(jīng)放出，大家可以查閱。
本書提供了在深度學習領域關于數(shù)學工程方面的內(nèi)容，除了介紹深度學習的基礎之外，本書還將介紹卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡、transformer、生成對抗網(wǎng)絡、強化學習及其多種技巧。
值得一提的是該書的重點是介紹深度學習模型、算法和方法的基本數(shù)學描述。此外作者還貼心的開源了書中用到的代碼。
書籍地址：https://deeplearningmath.org/
代碼地址：https://github.com/yoninazarathy/MathematicalEngineeringDeepLearning
書籍介紹
全書共 10 章 3 個附錄。第 1-4 章介紹深度學習領域，概述了機器學習的關鍵概念、深度學習所需的優(yōu)化概念，并專注于基本模型和概念。第 5-8 章涉及深度學習的核心模型和架構，包括全連接網(wǎng)絡、卷積網(wǎng)絡、循環(huán)網(wǎng)絡，并概述了模型調(diào)整和應用的各個方面。第 9-10 章涉及特定領域，即生成對抗網(wǎng)絡和深度強化學習。附錄 A-C 提供數(shù)學支持。
具體而言：
第 1 章簡介：本章是對深度學習的概述，展示其關鍵應用，并調(diào)查了與高性能計算相關的生態(tài)系統(tǒng)，此外，本章還討論了大數(shù)據(jù)和高維數(shù)據(jù)，包括數(shù)據(jù)科學、機器學習和統(tǒng)計學習在內(nèi)的關鍵術語，并將這些術語置于本書的上下文中。
第 2 章機器學習原理：深度學習可以被視為機器學習的一個子學科，因此本章概述了關鍵的機器學習概念和范式。向讀者介紹了有監(jiān)督學習、無監(jiān)督學習以及基于迭代的學習優(yōu)化的一般概念。此外本章還介紹了訓練集、測試集等概念，以及交叉驗證和模型選擇的原理。本章重點探討了線性模型，該模型可以通過迭代優(yōu)化進行訓練。
第 3 章簡單神經(jīng)網(wǎng)絡：本章關注二元分類的邏輯回歸和多類問題的相關 softmax 回歸模型。這里介紹了深度學習的原理，例如交叉熵損失、決策邊界和反向傳播的簡單案例。本章還介紹了一個簡單的非線性自動編碼器架構。此外，還討論了模型調(diào)整的各個方面，包括特征工程和超參數(shù)選擇。
第 4 章優(yōu)化算法：深度學習模型的訓練涉及對學習參數(shù)的優(yōu)化。因此，需要對優(yōu)化算法有扎實的理解，以及對適用于深度學習模型（如 ADAM 算法）的專門優(yōu)化技術的理解。本章將重點介紹這些技術以及正在慢慢進入實踐的更高級的二階方法。
第 5 章前饋深度網(wǎng)絡：本章是本書的核心，定義和介紹了一般的前饋深度神經(jīng)網(wǎng)絡。在探索了深度神經(jīng)網(wǎng)絡的表達能力之后，本章通過了解用于梯度評估的反向傳播算法并探索其他方面（例如權重初始化、dropout 和批歸一化）來深入了解訓練的細節(jié)。
第 6 章卷積神經(jīng)網(wǎng)絡：深度學習的成功可歸功于卷積神經(jīng)網(wǎng)絡。本章將探索卷積概念，然后在深度學習模型的背景下了解它。本章介紹了通道和濾波器設計的概念，然后探索了具有重大影響且至今仍在使用的常見最先進架構。此外本章還探索了一些與圖像相關的關鍵任務，例如目標定位。
第 7 章序列模型：序列模型在 NLP 中至關重要。本章探索了循環(huán)神經(jīng)網(wǎng)絡及其泛化，其中包括長短期記憶模型、門控循環(huán)單元、用于端到端語言翻譯的自動編碼器以及帶有 transformer 的注意力模型。
第 8 章?Trade 技巧：在介紹了前饋網(wǎng)絡、卷積網(wǎng)絡和各種形式的循環(huán)網(wǎng)絡之后，本章探索了在應用程序中調(diào)整和集成這些模型的常用方法。
第 9 章生成對抗網(wǎng)絡：本章調(diào)查和探索生成對抗網(wǎng)絡（GAN），這些模型能夠合成看起來真實的假數(shù)據(jù)。本章討論了幾種 GAN 架構以及在調(diào)整損失函數(shù)時出現(xiàn)的有趣的數(shù)學方面。
第 10 章深度強化學習：最后一章將探討深度強化學習的原理。
作者簡介
從左到右依次為 Benoit Liquet 、Sarat Moka、Yoni Nazarathy
Benoit Liquet?為麥考瑞大學數(shù)理學院數(shù)理統(tǒng)計教授。主要研究包括模型選擇和變量選擇、多狀態(tài)模型和生存分析、降維方法、貝葉斯建模、機器學習、計算生態(tài)學和環(huán)境科學的統(tǒng)計方法等。
Sarat Moka?為麥考瑞大學的博士后，研究重點是概率論在數(shù)據(jù)科學、統(tǒng)計學和蒙特卡洛模擬中的應用。其研究內(nèi)容與深度學習、監(jiān)督學習、無監(jiān)督學習、MCMC 方法、貝葉斯推理、無偏估計、大偏差理論、方差減少技術等息息相關。
Yoni Nazarathy?為昆士蘭大學數(shù)學與物理學院的副教授，擅長機器學習、應用概率、統(tǒng)計學、運籌學、模擬、科學計算、控制理論等。此外，Nazarathy 還與 Julia 合著了一本新書《Statistics with Julia: Fundamentals for Data Science, Machine Learning and Artificial Intelligence》。
最后附上書籍目錄：
