深度學習:方法及應用
序言
譯者序
深度學習是目前人工智能、機器學習領域異?；馃岬难芯糠较?，受到了學術界和工業(yè)界的高度關注，被《麻省理工學院技術評論》（MIT Technology Review）評為2013年十大突破性技術之首。深度學習已經在語音識別、圖像識別、自然語言處理等諸多領域取得了突破性進展，對學術界和工業(yè)界產生了深遠的影響。本書原著的作者——微軟研究院的鄧力博士和俞棟博士是最早將深度學習技術付諸于語音識別工業(yè)級實踐的專家，他們和深度學習專家多倫多大學Geoffrey Hinton教授合作，最早將深度神經網絡應用于大詞匯量連續(xù)語音識別領域中，使相對識別錯誤率降低了20%以上。
作為多年的導師和好朋友，兩位專家將這本書的中文翻譯任務交付給我，我倍感榮幸。此次中譯本是在忠于原著的基礎上進行翻譯的，既涉及深度學習的背景和基本概念，又涉及常用的模型與方法，同時包含深度學...
序言
譯者序
深度學習是目前人工智能、機器學習領域異?；馃岬难芯糠较?，受到了學術界和工業(yè)界的高度關注，被《麻省理工學院技術評論》（MIT Technology Review）評為2013年十大突破性技術之首。深度學習已經在語音識別、圖像識別、自然語言處理等諸多領域取得了突破性進展，對學術界和工業(yè)界產生了深遠的影響。本書原著的作者——微軟研究院的鄧力博士和俞棟博士是最早將深度學習技術付諸于語音識別工業(yè)級實踐的專家，他們和深度學習專家多倫多大學Geoffrey Hinton教授合作，最早將深度神經網絡應用于大詞匯量連續(xù)語音識別領域中，使相對識別錯誤率降低了20%以上。
作為多年的導師和好朋友，兩位專家將這本書的中文翻譯任務交付給我，我倍感榮幸。此次中譯本是在忠于原著的基礎上進行翻譯的，既涉及深度學習的背景和基本概念，又涉及常用的模型與方法，同時包含深度學習在不同領域中的應用。本書共有12章，具體內容包括：引言、深度學習的歷史、三類深度學習網絡、深度自編碼器、預訓練的深度神經網絡、深度堆疊網絡及其變種、語音和音頻處理中的應用、在語言模型和自然語言處理中的相關應用、信息檢索領域中的應用、在目標識別和計算機視覺中的應用、多模態(tài)和多任務學習中的典型應用、結論。
本書的翻譯除了受到原著作者的指導，也受到了張蓬副教授、陳小敏、呂航、丁闖、孫思寧、何長青、樊博、張弼弘、張彬彬、周祥增的幫助，在此表示感謝。同時感謝機械工業(yè)出版社的大力支持與推動。沒有他們的幫助，本書的翻譯是無法促成的。
由于深度學習技術是一個快速發(fā)展的方向，新的模型和應用層出不窮，加之本人學識有限以及中英文語言表達、術語翻譯上的差異，書中難免存在錯誤，還請廣大讀者指正與原諒。建議讀者在學習過程中和英文原著一起閱讀，并參考本書引用的參考文獻，以便提高學習和理解效果。
謝磊
原書序
“這本書對最前沿的深度學習方法及應用進行了全面的闡述，不僅包括自動語音識別(ASR)，還包括計算機視覺、語言建模、文本處理、多模態(tài)學習以及信息檢索。在深度學習這一領域，這是第一本，也是最有價值的一本書，能使讀者對這一領域進行廣泛而深入的學習。深度學習對信息處理的很多方面（尤其對語音識別）都具有重大的影響，甚至對整個科技領域的影響也不容忽視。因此，對于有意了解這一領域的學者，這本書是絕對不容錯過的?！?/p>
——Sadaoki Furui，芝加哥豐田技術研究院院長，日本東京工業(yè)大學教授
如前所述，深度學習指的是一類廣泛的機器學習技術和架構，其特點是采用多層的非線性信息處理方法，這種方法在本質上是分層的。根據(jù)這些結構和技術不同的應用領域，如合成／生成或識別／分類，我們可以大致把這些結構分為三類：
（1）無監(jiān)督或生成式學習的深度網絡針對模式分析和合成任務，用于在沒有目標類標簽信息的情況下捕捉觀測到的或可見數(shù)據(jù)的高階相關性。各種文獻中的無監(jiān)督特征或表達學習指的就是這一類深度網絡。當用于生成模式時，它也可以用來描述可見數(shù)據(jù)和其相關分類的聯(lián)合概率分布，此時它具有可利用的類別標簽，而且這些類別標簽被看作是可見數(shù)據(jù)的一部分。在后一種情況中，利用貝葉斯準則可以把生成式學習網絡轉換為判別式學習網絡。
（2）有監(jiān)督學習的深度網絡 直接提供用于模式分類目的的判別能力，它的特點是描述了可見數(shù)據(jù)條件下的類別后驗分布。對于這種有監(jiān)督的學習，目標類別標簽總是以直接或間接形式給出，所以它們也被稱作判別式深度網絡。
（3）混合深度網絡 目標是判別式模型，往往以生成式或無監(jiān)督深度網絡的結果作為重要輔助，可以通過更好地優(yōu)化和正則化類別（2）中的深度網絡來實現(xiàn)，也可以通過在對類別（1）中所述的深度生成式或無監(jiān)督深度網絡的參數(shù)進行估計時，使用判別式準則來實現(xiàn)。