Github | NumPy手寫全部主流機器學習模型

點擊上方“小白學視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

該 repo 的模型或代碼結(jié)構(gòu)如下所示：

1. 高斯混合模型

• EM 訓練

2. 隱馬爾可夫模型

• 維特比解碼

• 似然計算

• 通過 Baum-Welch/forward-backward 算法進行 MLE 參數(shù)估計

3. 隱狄利克雷分配模型（主題模型）

• 用變分 EM 進行 MLE 參數(shù)估計的標準模型

• 用 MCMC 進行 MAP 參數(shù)估計的平滑模型

4. 神經(jīng)網(wǎng)絡

4.1 層/層級運算

• Add

• Flatten

• Multiply

• Softmax

• 全連接/Dense

• 稀疏進化連接

• LSTM

• Elman 風格的 RNN

• 最大+平均池化

• 點積注意力

• 受限玻爾茲曼機 (w. CD-n training)

• 2D 轉(zhuǎn)置卷積 (w. padding 和 stride)

• 2D 卷積 (w. padding、dilation 和 stride)

• 1D 卷積 (w. padding、dilation、stride 和 causality)

4.2 模塊

• 雙向 LSTM

• ResNet 風格的殘差塊（恒等變換和卷積）

• WaveNet 風格的殘差塊（帶有擴張因果卷積）

• Transformer 風格的多頭縮放點積注意力

4.3 正則化項

• Dropout

• 歸一化

• 批歸一化（時間上和空間上）

• 層歸一化（時間上和空間上）

4.4 優(yōu)化器

• SGD w/ 動量

• AdaGrad

• RMSProp

4.5 學習率調(diào)度器

• 常數(shù)

• 指數(shù)

• Noam/Transformer

• Dlib 調(diào)度器

4.6 權(quán)重初始化器

• Glorot/Xavier uniform 和 normal

• He/Kaiming uniform 和 normal

• 標準和截斷正態(tài)分布初始化

4.7 損失

• 交叉熵

• 平方差

• Bernoulli VAE 損失

• 帶有梯度懲罰的 Wasserstein 損失

4.8 激活函數(shù)

• ReLU

• Tanh

• Affine

• Sigmoid

• Leaky ReLU

4.9 模型

• Bernoulli 變分自編碼器

• 帶有梯度懲罰的 Wasserstein GAN

4.10 神經(jīng)網(wǎng)絡工具

• col2im (MATLAB 端口)

• im2col (MATLAB 端口)

• conv1D

• conv2D

• deconv2D

• minibatch

5. 基于樹的模型

• 決策樹 (CART)

• [Bagging] 隨機森林

• [Boosting] 梯度提升決策樹

6. 線性模型

• 嶺回歸

• Logistic 回歸

• 最小二乘法

• 貝葉斯線性回歸 w/共軛先驗

7.n 元序列模型

• 最大似然得分

• Additive/Lidstone 平滑

• 簡單 Good-Turing 平滑

8. 強化學習模型

• 使用交叉熵方法的智能體

• 首次訪問 on-policy 蒙特卡羅智能體

• 加權(quán)增量重要采樣蒙特卡羅智能體

• Expected SARSA 智能體

• TD-0 Q-learning 智能體

• Dyna-Q / Dyna-Q+ 優(yōu)先掃描

9. 非參數(shù)模型

• Nadaraya-Watson 核回歸

• k 最近鄰分類與回歸

10. 預處理

• 離散傅立葉變換 (1D 信號)

• 雙線性插值 (2D 信號)

• 最近鄰插值 (1D 和 2D 信號)

• 自相關 (1D 信號）

• 信號窗口

• 文本分詞

• 特征哈希

• 特征標準化

• One-hot 編碼/解碼

• Huffman 編碼/解碼

• 詞頻逆文檔頻率編碼

11. 工具

• 相似度核

• 距離度量

• 優(yōu)先級隊列

• Ball tree 數(shù)據(jù)結(jié)構(gòu)

END

下載1：OpenCV-Contrib擴展模塊中文版教程

在「小白學視覺」公眾號后臺回復：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目52講

在「小白學視覺」公眾號后臺回復：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學校計算機視覺。

下載3：OpenCV實戰(zhàn)項目20講

在「小白學視覺」公眾號后臺回復：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學習進階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~