點擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時間送達(dá)
轉(zhuǎn)自 |?人工智能前沿講習(xí)
總結(jié)一下在曠視實習(xí)兩年來的煉丹經(jīng)驗，我主要做了一些 RL，圖像質(zhì)量，圖像分類，GAN 相關(guān)的任務(wù)，日常大概占用 5 - 10 張卡。
有的同學(xué)在打比賽的時候，從頭到尾只維護若干份丹方（代碼），每次載入前一次的訓(xùn)練參數(shù)，調(diào)一下丹方再煉，俗稱老丹。這樣會有幾個問題：某次引入一個 bug，過了很久才發(fā)現(xiàn)，然后不知道影響范圍；煉出一個金丹，但是不知道它是怎么來的；忘了自己的 baseline，不知道改動是正面還是負(fù)面。要盡可能確保每一個丹有可復(fù)現(xiàn)性，實踐上建議丹方不應(yīng)該在煉丹后改動，煉新的丹時，把舊的丹方復(fù)制一遍。得到的實驗結(jié)果要開個文檔記下來以便日后總結(jié)，避免遺忘。我經(jīng)常通過閱讀自己和別人的記錄來得到靈感。實驗一致性上也要多做努力，理想狀態(tài)是有合理的基準(zhǔn)來測丹的性能，同一個丹方不應(yīng)該由于超參的微小改動而有顯著結(jié)果差異。出現(xiàn)這種情況可能是數(shù)據(jù)太少或基準(zhǔn)設(shè)置不當(dāng)。對于新入行的同學(xué)，不要試圖在玩具級別的數(shù)據(jù)集或任務(wù)上做靠譜的研究，比如 MNIST。不是每一個實驗都要出一個金丹，實驗是為了驗證結(jié)論的。如果每個實驗都要 8 張卡跑兩個星期，人力物力都耗不起。盡力把實驗控制在單卡一天以內(nèi)，理想狀態(tài)是半天得一次結(jié)論。理論上來說，水多加面面多加水（加數(shù)據(jù)加計算量）的做法無限漲點。建議先設(shè)一個目標(biāo)，比如說就是在一天的訓(xùn)練時間下做對比實驗。我的實踐經(jīng)驗是，首先用小圖小模型，比如 128 x 128 輸入的 ResNet18；用 cProfile 來找性能瓶頸，比如我發(fā)現(xiàn)某個丹，煉的時候有一大半時間耗費在等數(shù)據(jù)，數(shù)據(jù)處理中一大半時間在調(diào)用 numpy 的 round 函數(shù)，前期把精力集中在提高做實驗的效率上。先把錦上添花的東西去掉，比如數(shù)據(jù)增廣，玄學(xué)學(xué)習(xí)率和超參，魔幻損失函數(shù)，異形模型。如果世界上有一個非要加旋轉(zhuǎn)增廣和 1.96e-4 學(xué)習(xí)率 42 batchsize，配上四種混合損失函數(shù)才能煉好的丹，它應(yīng)該存在于靈能文明?？梢韵仍煲恍┍M量玩具的模型，驗證代碼正確性。先確認(rèn)影響模型性能的組件。感性認(rèn)識就是，數(shù)據(jù)是否需要增加或增廣。模型是大了還是小了，再根據(jù)速度和精度期望開始尋找合適的模型。能用全卷積的任務(wù)，少用全連接層，參數(shù)量小?；灸Ｐ蜕?ResNet, Unet 結(jié)構(gòu)還是主流。當(dāng)你的模型有 Batch Normalization，初始化通常不需要操心，激活函數(shù)默認(rèn) Relu 即可（某引用數(shù)萬的大佬說的）。一般順序是 Conv - BN - Relu。如果沒有 BN（很多任務(wù)上，BN降低訓(xùn)練難度，但是可能影響最終性能 ），試著要做一些數(shù)據(jù)歸一化。雖然有至少十種激活函數(shù)，但在 Relu 外只推薦試一下 Swish。煉丹術(shù)只推薦 Momentum 和 Adam。在這些方面做嘗試意義不大，如果性能提升反倒可能說明模型不成熟。不推薦做人肉模型設(shè)計，比如把某層卷積改大一點，或者微調(diào)一下通道數(shù)。除非有特別 insight，不要自己亂設(shè)計新組件。超參上，learning rate 最重要，推薦了解 cosine learning rate 和 cyclic learning rate，其次是 batchsize 和 weight decay。當(dāng)你的丹還不錯的時候，可以試著做數(shù)據(jù)增廣和改損失函數(shù)錦上添花了。- Bag of Tricks for Image Classification with Convolutional Neural Networks，trick 合集 1。
- Must Know Tips/Tricks in Deep Neural Networks，trick 合集 2。
- 33條神經(jīng)網(wǎng)絡(luò)訓(xùn)練秘技，trick 合集 3。
- 26秒單GPU訓(xùn)練CIFAR10，工程實踐。
- Batch Normalization，雖然玄學(xué)，但是養(yǎng)活了很多煉丹師。
- Searching for Activation Functions，swish 激活函數(shù)。
https://www.zhihu.com/question/41631631/answer/859040970
訓(xùn)練技巧對深度學(xué)習(xí)來說是非常重要的，作為一門實驗性質(zhì)很強的科學(xué)，同樣的網(wǎng)絡(luò)結(jié)構(gòu)使用不同的訓(xùn)練方法訓(xùn)練，結(jié)果可能會有很大的差異。這里我總結(jié)了近一年來的煉丹心得，分享給大家，也歡迎大家補充指正。
下面幾種方式,隨便選一個,結(jié)果基本都差不多。但是一定要做。否則可能會減慢收斂速度，影響收斂結(jié)果，甚至造成Nan等一系列問題。下面的n_in為網(wǎng)絡(luò)的輸入大小，n_out為網(wǎng)絡(luò)的輸出大小，n為n_in或(n_in+n_out)*0.5http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdfHe初始化論文：https://arxiv.org/abs/1502.01852- uniform均勻分布初始化：
w = np.random.uniform(low=-scale, high=scale, size=[n_in,n_out]) - Xavier初始法，適用于普通激活函數(shù)(tanh,sigmoid)：scale = np.sqrt(3/n)
- He初始化，適用于ReLU：scale = np.sqrt(6/n)
- normal高斯分布初始化：
w = np.random.randn(n_in,n_out) * stdev # stdev為高斯分布的標(biāo)準(zhǔn)差，均值設(shè)為0 - Xavier初始法，適用于普通激活函數(shù) (tanh,sigmoid)：stdev = np.sqrt(n)
- He初始化，適用于ReLU：stdev = np.sqrt(2/n)
- svd初始化：對RNN有比較好的效果。參考論文：https://arxiv.org/abs/1312.6120
- zero-center ,這個挺常用的.
X -= np.mean(X, axis = 0) # zero-center
X /= np.std(X, axis = 0) # normalize
- 要做梯度歸一化,即算出來的梯度除以minibatch size
- clip c(梯度裁剪): 限制最大梯度,其實是value = sqrt(w1^2+w2^2….),如果value超過了閾值,就算一個衰減系系數(shù),讓value的值等于閾值: 5,10,15
- dropout對小數(shù)據(jù)防止過擬合有很好的效果,值一般設(shè)為0.5,小數(shù)據(jù)上dropout+sgd在我的大部分實驗中，效果提升都非常明顯.因此可能的話，建議一定要嘗試一下。dropout的位置比較有講究, 對于RNN,建議放到輸入->RNN與RNN->輸出的位置.關(guān)于RNN如何用dropout,可以參考這篇論文:http://arxiv.org/abs/1409.2329
- adam,adadelta等,在小數(shù)據(jù)上,我這里實驗的效果不如sgd, sgd收斂速度會慢一些，但是最終收斂后的結(jié)果，一般都比較好。如果使用sgd的話,可以選擇從1.0或者0.1的學(xué)習(xí)率開始,隔一段時間,在驗證集上檢查一下,如果cost沒有下降,就對學(xué)習(xí)率減半. 我看過很多論文都這么搞,我自己實驗的結(jié)果也很好. 當(dāng)然,也可以先用ada系列先跑,最后快收斂的時候,更換成sgd繼續(xù)訓(xùn)練.同樣也會有提升.據(jù)說adadelta一般在分類問題上效果比較好，adam在生成問題上效果比較好。
- 除了gate之類的地方,需要把輸出限制成0-1之外,盡量不要用sigmoid,可以用tanh或者relu之類的激活函數(shù).1. sigmoid函數(shù)在-4到4的區(qū)間里，才有較大的梯度。之外的區(qū)間，梯度接近0，很容易造成梯度消失問題。2. 輸入0均值，sigmoid函數(shù)的輸出不是0均值的。
- rnn的dim和embdding size,一般從128上下開始調(diào)整. batch size,一般從128左右開始調(diào)整.batch size合適最重要,并不是越大越好.
- word2vec初始化,在小數(shù)據(jù)上,不僅可以有效提高收斂速度,也可以可以提高結(jié)果.
- LSTM 的forget gate的bias,用1.0或者更大的值做初始化,可以取得更好的結(jié)果,來自這篇論文:http://jmlr.org/proceedings/papers/v37/jozefowicz15.pdf, 我這里實驗設(shè)成1.0,可以提高收斂速度.實際使用中,不同的任務(wù),可能需要嘗試不同的值.
- Batch Normalization據(jù)說可以提升效果，不過我沒有嘗試過，建議作為最后提升模型的手段，參考論文：Accelerating Deep Network Training by Reducing Internal Covariate Shift
- 如果你的模型包含全連接層（MLP），并且輸入和輸出大小一樣，可以考慮將MLP替換成Highway Network,我嘗試對結(jié)果有一點提升，建議作為最后提升模型的手段，原理很簡單，就是給輸出加了一個gate來控制信息的流動，詳細(xì)介紹請參考論文: http://arxiv.org/abs/1505.00387
- 來自@張馨宇的技巧：一輪加正則，一輪不加正則，反復(fù)進行。
Ensemble是論文刷結(jié)果的終極核武器,深度學(xué)習(xí)中一般有以下幾種方式- 不同的參數(shù),通過cross-validation,選取最好的幾組
- 同樣的參數(shù),模型訓(xùn)練的不同階段，即不同迭代次數(shù)的模型。
- 不同的模型,進行線性融合. 例如RNN和傳統(tǒng)模型.
作者：蕭瑟
https://www.zhihu.com/question/41631631/answer/94816420
1、一上來就自己動手寫模型。建議首先用成熟的開源項目及其默認(rèn)配置（例如 Gluon 對經(jīng)典模型的各種復(fù)現(xiàn)、各個著名模型作者自己放出來的代碼倉庫）在自己的數(shù)據(jù)集上跑一遍，在等程序運行結(jié)束的時間里仔細(xì)研究一下代碼里的各種細(xì)節(jié)，最后再自己寫或者改代碼。2、訓(xùn) RNN 不加 gradient clipping，導(dǎo)致訓(xùn)練一段時間以后 loss 突然變成 Nan。3、tying input & output embedding（就是詞向量層和輸出 softmax 前的矩陣共享參數(shù)，在語言模型或機器翻譯中常用）時學(xué)習(xí)率需要設(shè)置得非常小，不然容易 Nan。
4、在數(shù)據(jù)集很大的情況下，一上來就跑全量數(shù)據(jù)。建議先用 1/100、1/10 的數(shù)據(jù)跑一跑，對模型性能和訓(xùn)練時間有個底，外推一下全量數(shù)據(jù)到底需要跑多久。在沒有足夠的信心前不做大規(guī)模實驗。5、只喜歡漂亮的模型結(jié)構(gòu)，瞧不起調(diào)參數(shù)的論文/實驗報告，看論文時經(jīng)常不看超參數(shù)設(shè)置等細(xì)節(jié)。舉個例子，現(xiàn)在還有相當(dāng)多的人不知道 BERT 的激活函數(shù)是 GELU 而不是 transformer 原論文中的 ReLU。在自己沒有太多資源實驗的情況下，實驗報告類文章簡直是業(yè)界良心好不好！Regularizing and Optimizing LSTM Language Models（LSTM 的訓(xùn)練技巧）Massive Exploration of Neural Machine Translation Architectures（NMT 里各個超參的影響）Training Tips for the Transformer Model（訓(xùn)練 Transformer 時會發(fā)生的各種現(xiàn)象）RoBERTa: A Robustly Optimized BERT Pretraining Approach（BERT 預(yù)訓(xùn)練技巧，雖然跟大部分人沒啥關(guān)系）Training ImageNet in 1 Hour（大批量訓(xùn)練技巧）Bag of Tricks for Image Classification with Convolutional Neural Networks（各種訓(xùn)練技巧集大成）EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks（當(dāng)前對參數(shù)利用最有效的 CNN）有時受 batch size、sequence length 各種因素的影響，loss 很大（比如說好幾萬），對于這種數(shù)字人是沒有數(shù)感的，建議首先計算一下 per token loss（如果是多任務(wù)，可以每個任務(wù)單獨算；類似地，某些 CV 任務(wù)可以計算 per pixel loss），心里有點感覺。脫離損失函數(shù)的形式談學(xué)習(xí)率沒有意義（例如單是對 batch size 求和或者取平均這個差異就會使梯度差成百上千倍）。在確定初始學(xué)習(xí)率的時候，從一個很小的值（例如 1e-7）開始，然后每一步指數(shù)增大學(xué)習(xí)率（例如擴大1.05 倍）進行訓(xùn)練。訓(xùn)練幾百步應(yīng)該能觀察到損失函數(shù)隨訓(xùn)練步數(shù)呈對勾形，選擇損失下降最快那一段的學(xué)習(xí)率即可。7、Adam 可以解決一堆奇奇怪怪的問題（有時 loss 降不下去，換 Adam 瞬間就好了），也可以帶來一堆奇奇怪怪的問題（比如單詞詞頻差異很大，當(dāng)前 batch 沒有的單詞的詞向量也被更新；再比如Adam和L2正則結(jié)合產(chǎn)生的復(fù)雜效果）。用的時候要膽大心細(xì)，萬一遇到問題找各種魔改 Adam（比如 MaskedAdam, AdamW 啥的）搶救。8、subword 總是會很穩(wěn)定地漲點，只管用就對了。
這一條放在最后，是因為很多人不把它當(dāng)一回事兒?？赡苁怯X得這一條不需要寫代碼所以不重要？我見過太多人因為這條浪費時間了，所以專門強調(diào)一下。有些指標(biāo)是有滯后性的，需要等訓(xùn)練一段時間才開始動。很多人訓(xùn)練幾步看沒什么效果就把程序停掉開始 debug 了，但其實代碼毫無問題。如此反復(fù)好幾天甚至一兩周都在原地踏步，其實需要做的僅僅是讓程序自個兒安安靜靜地跑上幾個小時或者一天……https://www.zhihu.com/question/41631631/answer/862075836下載1：OpenCV-Contrib擴展模塊中文版教程
在「小白學(xué)視覺」公眾號后臺回復(fù)：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。下載2：Python視覺實戰(zhàn)項目52講在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學(xué)校計算機視覺。在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學(xué)習(xí)進階。交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~
