史上最強(qiáng)：numpy實(shí)現(xiàn)全部機(jī)器學(xué)習(xí)算法

點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

來(lái)自于加州伯克利大學(xué)的David Bourgin?使用Numpy實(shí)現(xiàn)了幾乎全部的機(jī)器學(xué)習(xí)算法，真正實(shí)現(xiàn)了手?jǐn)]ML的愿景。多少“調(diào)包俠”的愿望都被這位小哥實(shí)現(xiàn)了！

該項(xiàng)目超過(guò)3萬(wàn)行代碼，除了算法本身，還有很多的數(shù)據(jù)預(yù)處理代碼！

地址：https://github.com/ddbourgin/numpy-ml

手?jǐn)]算法的目的在于能夠更好的學(xué)習(xí)和深入理解算法，而不是要替代已有的框架，畢竟成熟的框架在效率和精準(zhǔn)度上都已經(jīng)得到驗(yàn)證。

我們來(lái)看下已經(jīng)實(shí)現(xiàn)的算法：

1. 高斯混合模型

• EM 訓(xùn)練

2. 隱馬爾可夫模型

• 維特比解碼

• 似然計(jì)算

• 通過(guò) Baum-Welch/forward-backward 算法進(jìn)行 MLE 參數(shù)估計(jì)

3. 隱狄利克雷分配模型（主題模型）

• 用變分 EM 進(jìn)行 MLE 參數(shù)估計(jì)的標(biāo)準(zhǔn)模型

• 用 MCMC 進(jìn)行 MAP 參數(shù)估計(jì)的平滑模型

4. 神經(jīng)網(wǎng)絡(luò)

4.1 層/層級(jí)運(yùn)算

• Add

• Flatten

• Multiply

• Softmax

• 全連接/Dense

• 稀疏進(jìn)化連接

• LSTM

• Elman 風(fēng)格的 RNN

• 最大+平均池化

• 點(diǎn)積注意力

• 受限玻爾茲曼機(jī) (w. CD-n training)

• 2D 轉(zhuǎn)置卷積 (w. padding 和 stride)

• 2D 卷積 (w. padding、dilation 和 stride)

• 1D 卷積 (w. padding、dilation、stride 和 causality)

4.2 模塊

• 雙向 LSTM

• ResNet 風(fēng)格的殘差塊（恒等變換和卷積）

• WaveNet 風(fēng)格的殘差塊（帶有擴(kuò)張因果卷積）

• Transformer 風(fēng)格的多頭縮放點(diǎn)積注意力

4.3 正則化項(xiàng)

• Dropout

• 歸一化

• 批歸一化（時(shí)間上和空間上）

• 層歸一化（時(shí)間上和空間上）

4.4 優(yōu)化器

• SGD w/ 動(dòng)量

• AdaGrad

• RMSProp

• Adam

4.5 學(xué)習(xí)率調(diào)度器

• 常數(shù)

• 指數(shù)

• Noam/Transformer

• Dlib 調(diào)度器

4.6 權(quán)重初始化器

• Glorot/Xavier uniform 和 normal

• He/Kaiming uniform 和 normal

• 標(biāo)準(zhǔn)和截?cái)嗾龖B(tài)分布初始化

4.7 損失

• 交叉熵

• 平方差

• Bernoulli VAE 損失

• 帶有梯度懲罰的 Wasserstein 損失

4.8 激活函數(shù)

• ReLU

• Tanh

• Affine

• Sigmoid

• Leaky ReLU

4.9 模型

• Bernoulli 變分自編碼器

• 帶有梯度懲罰的 Wasserstein GAN

4.10 神經(jīng)網(wǎng)絡(luò)工具

• col2im (MATLAB 端口)

• im2col (MATLAB 端口)

• conv1D

• conv2D

• deconv2D

• minibatch

5. 基于樹(shù)的模型

• 決策樹(shù) (CART)

• [Bagging] 隨機(jī)森林

• [Boosting] 梯度提升決策樹(shù)

6. 線性模型

• 嶺回歸

• Logistic 回歸

• 最小二乘法

• 貝葉斯線性回歸 w/共軛先驗(yàn)

7.n 元序列模型

• 最大似然得分

• Additive/Lidstone 平滑

• 簡(jiǎn)單 Good-Turing 平滑

8. 強(qiáng)化學(xué)習(xí)模型

• 使用交叉熵方法的智能體

• 首次訪問(wèn) on-policy 蒙特卡羅智能體

• 加權(quán)增量重要采樣蒙特卡羅智能體

• Expected SARSA 智能體

• TD-0 Q-learning 智能體

• Dyna-Q / Dyna-Q+ 優(yōu)先掃描

9. 非參數(shù)模型

• Nadaraya-Watson 核回歸

• k 最近鄰分類與回歸

10. 預(yù)處理

• 離散傅立葉變換 (1D 信號(hào))

• 雙線性插值 (2D 信號(hào))

• 最近鄰插值 (1D 和 2D 信號(hào))

• 自相關(guān) (1D 信號(hào)）

• 信號(hào)窗口

• 文本分詞

• 特征哈希

• 特征標(biāo)準(zhǔn)化

• One-hot 編碼/解碼

• Huffman 編碼/解碼

• 詞頻逆文檔頻率編碼

11. 工具

• 相似度核

• 距離度量

• 優(yōu)先級(jí)隊(duì)列

• Ball tree 數(shù)據(jù)結(jié)構(gòu)

傳送門：https://github.com/ddbourgin/numpy-ml

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程

在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺(jué)、目標(biāo)跟蹤、生物視覺(jué)、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目52講

在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測(cè)、車道線檢測(cè)、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺(jué)實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺(jué)。

下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講

在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~