深度學(xué)習(xí)相關(guān)面試題
向AI轉(zhuǎn)型的程序員都關(guān)注了這個號???
人工智能大數(shù)據(jù)與深度學(xué)習(xí) ?公眾號：datayx
1.CNN的特點以及優(yōu)勢
改變?nèi)B接為局部連接，這是由于圖片的特殊性造成的（圖像的一部分的統(tǒng)計特性與其他部分是一樣的），通過局部連接和參數(shù)共享大范圍的減少參數(shù)值?？梢酝ㄟ^使用多個filter來提取圖片的不同特征（多卷積核）。
CNN使用范圍是具有局部空間相關(guān)性的數(shù)據(jù)，比如圖像，自然語言，語音
1.局部連接：可以提取局部特征。
2.權(quán)值共享：減少參數(shù)數(shù)量，因此降低訓(xùn)練難度（空間、時間消耗都少了）。
3.可以完全共享，也可以局部共享（比如對人臉，眼睛鼻子嘴由于位置和樣式相對固定，可以用和臉部不一樣的卷積核）
4.降維：通過池化或卷積stride實現(xiàn)。
5.多層次結(jié)構(gòu)：將低層次的局部特征組合成為較高層次的特征。不同層級的特征可以對應(yīng)不同任務(wù)。
2.deconv的作用
1.unsupervised learning：重構(gòu)圖像
2.CNN可視化：將conv中得到的feature map還原到像素空間，來觀察特定的feature map對哪些pattern的圖片敏感
3.Upsampling：上采樣。
3.dropout作用以及實現(xiàn)機(jī)制 (參考:https://blog.csdn.net/nini_coded/article/details/79302800)
1.dropout是指在深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練過程中，對于神經(jīng)網(wǎng)絡(luò)單元，按照一定的概率將其暫時從網(wǎng)絡(luò)中丟棄。注意是暫時，
對于隨機(jī)梯度下降來說，由于是隨機(jī)丟棄，故而每一個mini-batch都在訓(xùn)練不同的網(wǎng)絡(luò)。
2.dropout是一種CNN訓(xùn)練過程中防止過擬合提高效果的方法
3.dropout帶來的缺點是可能減慢收斂速度：由于每次迭代只有一部分參數(shù)更新，可能導(dǎo)致梯度下降變慢
4.測試時，需要每個權(quán)值乘以P
4.深度學(xué)習(xí)中有什么加快收斂/降低訓(xùn)練難度的方法：
1.瓶頸結(jié)構(gòu)
2.殘差
3.學(xué)習(xí)率、步長、動量
4.優(yōu)化方法
5.預(yù)訓(xùn)練
5.什么造成過擬合，如何防止過擬合
1.data agumentation
2.early stop
3.參數(shù)規(guī)則化
4.用更簡單模型
5.dropout
6.加噪聲
7.預(yù)訓(xùn)練網(wǎng)絡(luò)freeze某幾層
6.LSTM防止梯度彌散和爆炸
LSTM用加和的方式取代了乘積，使得很難出現(xiàn)梯度彌散。但是相應(yīng)的更大的幾率會出現(xiàn)梯度爆炸，但是可以通過給梯度加門限解決這一問題
7.為什么很多做人臉的Paper會最后加入一個Local Connected Conv?
在一些研究成果中，作者通過實驗表明：人臉在不同的區(qū)域存在不同的特征（眼睛／鼻子／嘴的分布位置相對固定），當(dāng)不存在全局的局部特征分布時，Local-Conv更適合特征的提取。
8.神經(jīng)網(wǎng)絡(luò)權(quán)值初始化方式以及不同方式的區(qū)別?
權(quán)值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均勻分布初始化（uniform）、xavier初始化、msra初始化、雙線性初始化（bilinear）
9.Convolution、 pooling、 Normalization是卷積神經(jīng)網(wǎng)絡(luò)中十分重要的三個步驟，分別簡述Convolution、 pooling和Normalization在卷積神經(jīng)網(wǎng)絡(luò)中的作用。
10.dilated conv(空洞卷積)優(yōu)缺點以及應(yīng)用場景
基于FCN的語義分割問題中，需保持輸入圖像與輸出特征圖的size相同。
若使用池化層，則降低了特征圖size,需在高層階段使用上采樣，由于池化會損失信息，所以此方法會影響導(dǎo)致精度降低；
若使用較小的卷積核尺寸，雖可以實現(xiàn)輸入輸出特征圖的size相同，但輸出特征圖的各個節(jié)點感受野小；
若使用較大的卷積核尺寸，由于需增加特征圖通道數(shù)，此方法會導(dǎo)致計算量較大；
所以，引入空洞卷積(dilatedconvolution),在卷積后的特征圖上進(jìn)行0填充擴(kuò)大特征圖size，這樣既因為有卷積核增大感受野，也因為0填充保持計算點不變。
11.判別模型和生成模型解釋
監(jiān)督學(xué)習(xí)方法又分生成方法（Generative approach）和判別方法（Discriminative approach），所學(xué)到的模型分別稱為生成模型（Generative Model）和判別模型（Discriminative Model）。
從概率分布的角度考慮，對于一堆樣本數(shù)據(jù)，每個均有特征Xi對應(yīng)分類標(biāo)記yi。
生成模型：學(xué)習(xí)得到聯(lián)合概率分布P(x,y)，即特征x和標(biāo)記y共同出現(xiàn)的概率，然后求條件概率分布。能夠?qū)W習(xí)到數(shù)據(jù)生成的機(jī)制。
判別模型：學(xué)習(xí)得到條件概率分布P(y|x)，即在特征x出現(xiàn)的情況下標(biāo)記y出現(xiàn)的概率。
數(shù)據(jù)要求：生成模型需要的數(shù)據(jù)量比較大，能夠較好地估計概率密度；而判別模型對數(shù)據(jù)樣本量的要求沒有那么多。
由生成模型可以得到判別模型，但由判別模型得不到生成模型。
12.如何判斷是否收斂
13.正則化方法以及特點
正則化方法包括：L1 regularization 、 L2 regularization 、 數(shù)據(jù)集擴(kuò)增 、 dropout 等
14.常用的激活函數(shù) (參考:https://blog.csdn.net/Yshihui/article/details/80540070)
15.1x1卷積的作用
1. 實現(xiàn)跨通道的信息交互和整合。1x1卷積核只有一個參數(shù)，當(dāng)它作用在多通道的feature map上時，相當(dāng)于不同通道上的一個線性組合，
實際上就是加起來再乘以一個系數(shù)，但是這樣輸出的feature map就是多個通道的整合信息了，能夠使網(wǎng)絡(luò)提取的特征更加豐富。
2. feature map通道數(shù)上的降維。降維這個作用在GoogLeNet和ResNet能夠很好的體現(xiàn)。舉個例子：假設(shè)輸入的特征維度為100x100x128，
卷積核大小為5x5（stride=1，padding=2），通道數(shù)為256，則經(jīng)過卷積后輸出的特征維度為100x100x256，卷積參數(shù)量為
128x5x5x256=819200。此時在5x5卷積前使用一個64通道的1x1卷積，最終的輸出特征維度依然是100x100x256，但是此時的卷積參數(shù)
量為128x1x1x64 + 64x5x5x256=417792，大約減少一半的參數(shù)量。
3. 增加非線性映射次數(shù)。1x1卷積后通常加一個非線性激活函數(shù)，使網(wǎng)絡(luò)提取更加具有判別信息的特征，同時網(wǎng)絡(luò)也能做的越來越深。
16.無監(jiān)督學(xué)習(xí)方法有哪些
強(qiáng)化學(xué)習(xí)、K-means 聚類、自編碼、受限波爾茲曼機(jī)
17.增大感受野的方法？
空洞卷積、池化操作、較大卷積核尺寸的卷積操作
18.目標(biāo)檢測領(lǐng)域的常見算法？
1.兩階段檢測器：R-CNN、Fast R-CNN、Faster R-CNN
2.單階段檢測器：YOLO、YOLO9000、SSD、DSSD、RetinaNet
19.回歸問題的評價指標(biāo)
1.平均絕對值誤差(MAE)
2.均方差(MSE)
20.卷積層和全連接層的區(qū)別
1.卷積層是局部連接，所以提取的是局部信息；全連接層是全局連接，所以提取的是全局信息；
2.當(dāng)卷積層的局部連接是全局連接時，全連接層是卷積層的特例；
21.反卷積的棋盤效應(yīng)及解決方案
圖像生成網(wǎng)絡(luò)的上采樣部分通常用反卷積網(wǎng)絡(luò)，不合理的卷積核大小和步長會使反卷積操作產(chǎn)生棋盤效應(yīng)
解決方案:
22.分類的預(yù)訓(xùn)練模型如何應(yīng)用到語義分割上
1.參考論文: Fully Convolutional Networks for Semantic Segmentation
23.SSD和YOLO的區(qū)別
24.交叉熵和softmax，還有它的BP
實踐部分
1.python中range和xrange有什么不同
兩者的區(qū)別是xrange返回的是一個可迭代的對象；range返回的則是一個列表，同時效率更高，更快。
2.python中帶類和main函數(shù)的程序執(zhí)行順序
1)對于? if __name__ == '__main__': 的解釋相關(guān)博客已經(jīng)給出了說明，意思就是當(dāng)此文件當(dāng)做模塊被調(diào)用時，不會從這里執(zhí)行，
因為此時name屬性就成了模塊的名字，而不是main。當(dāng)此文件當(dāng)做單獨執(zhí)行的程序運行時，就會從main開始執(zhí)行。
2)對于帶有類的程序，會先執(zhí)行類及類內(nèi)函數(shù)，或者其他類外函數(shù)。這里可以總結(jié)為，對于沒有縮進(jìn)的程序段，按照順序執(zhí)行。然后，才
到main函數(shù)。然后才按照main內(nèi)函數(shù)的執(zhí)行順序執(zhí)行。如果main內(nèi)對類進(jìn)行了實例化，那么執(zhí)行到此處時，只會對類內(nèi)成員進(jìn)行初始
化，然后再返回到main 函數(shù)中。執(zhí)行其他實例化之后對象的成員函數(shù)調(diào)用。
3.神經(jīng)網(wǎng)絡(luò)的參數(shù)量計算
4.計算空洞卷積的感受野
5.mAP的計算
6.Python tuple和list的區(qū)別
7.Python的多線程和多進(jìn)程，Python偽多線程，什么時候應(yīng)該用它
8.tensorflow while_loop和python for循環(huán)的區(qū)別，什么情況下for更優(yōu)？
while loop的循環(huán)次數(shù)不確定的情況下效率低，因為要不斷重新建圖
參考文獻(xiàn)
[1]?https://blog.csdn.net/u014722627/article/details/77938703
[2]?https://www.cnblogs.com/houjun/p/8535471.html
閱讀過本文的人還看了以下文章：
TensorFlow 2.0深度學(xué)習(xí)案例實戰(zhàn)
基于40萬表格數(shù)據(jù)集TableBank，用MaskRCNN做表格檢測
《基于深度學(xué)習(xí)的自然語言處理》中/英PDF
Deep Learning 中文版初版-周志華團(tuán)隊
【全套視頻課】最全的目標(biāo)檢測算法系列講解，通俗易懂！
《美團(tuán)機(jī)器學(xué)習(xí)實踐》_美團(tuán)算法團(tuán)隊.pdf
《深度學(xué)習(xí)入門：基于Python的理論與實現(xiàn)》高清中文PDF+源碼
python就業(yè)班學(xué)習(xí)視頻，從入門到實戰(zhàn)項目
2019最新《PyTorch自然語言處理》英、中文版PDF+源碼
《21個項目玩轉(zhuǎn)深度學(xué)習(xí)：基于TensorFlow的實踐詳解》完整版PDF+附書代碼
《深度學(xué)習(xí)之pytorch》pdf+附書源碼
PyTorch深度學(xué)習(xí)快速實戰(zhàn)入門《pytorch-handbook》
【下載】豆瓣評分8.1,《機(jī)器學(xué)習(xí)實戰(zhàn):基于Scikit-Learn和TensorFlow》
《Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》PDF+完整源碼
汽車行業(yè)完整知識圖譜項目實戰(zhàn)視頻(全23課)
李沐大神開源《動手學(xué)深度學(xué)習(xí)》，加州伯克利深度學(xué)習(xí)（2019春）教材
筆記、代碼清晰易懂！李航《統(tǒng)計學(xué)習(xí)方法》最新資源全套！
《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》最新2018版中英PDF+源碼
將機(jī)器學(xué)習(xí)模型部署為REST API
FashionAI服裝屬性標(biāo)簽圖像識別Top1-5方案分享
重要開源！CNN-RNN-CTC 實現(xiàn)手寫漢字識別
同樣是機(jī)器學(xué)習(xí)算法工程師，你的面試為什么過不了？
前海征信大數(shù)據(jù)算法：風(fēng)險概率預(yù)測
【Keras】完整實現(xiàn)‘交通標(biāo)志’分類、‘票據(jù)’分類兩個項目，讓你掌握深度學(xué)習(xí)圖像分類
VGG16遷移學(xué)習(xí)，實現(xiàn)醫(yī)學(xué)圖像識別分類工程項目
特征工程(二) :文本數(shù)據(jù)的展開、過濾和分塊
如何利用全新的決策樹集成級聯(lián)結(jié)構(gòu)gcForest做特征工程并打分？
Machine Learning Yearning 中文翻譯稿
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
python+flask搭建CNN在線識別手寫中文網(wǎng)站
中科院Kaggle全球文本匹配競賽華人第1名團(tuán)隊-深度學(xué)習(xí)與特征工程
不斷更新資源
深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、數(shù)據(jù)分析、python
?搜索公眾號添加：?datayx??
機(jī)大數(shù)據(jù)技術(shù)與機(jī)器學(xué)習(xí)工程
?搜索公眾號添加：?datanlp
長按圖片，識別二維碼