【文末贈書】一部不止于技術(shù)的神經(jīng)機器翻譯“百科全書”

文末免費贈書活動,歡迎參與!
2022年7月,Meta(原Facebook)AI 發(fā)布了一個大規(guī)模機器翻譯模型NLLB-200,該模型在神經(jīng)網(wǎng)絡(luò)架構(gòu)上混合了稠密和稀疏神經(jīng)網(wǎng)絡(luò),參數(shù)規(guī)模達545億,在覆蓋202種語言、2440個語向的180億平行句對上進行訓(xùn)練,訓(xùn)練后的單一模型可支持所有覆蓋語言之間的的自動翻譯(即202X201=40602個語向的互譯)。
該模型的名字是英文No Language Left Behind的縮寫,體現(xiàn)了機器翻譯實現(xiàn)世界上所有語言互譯的美好愿景。

歷經(jīng)70載,機器翻譯進入深度學(xué)習(xí)驅(qū)動時代
機器翻譯誕生于二十世紀(jì)四五十年代,縱觀機器翻譯70多年的發(fā)展歷程,從最初的樸素統(tǒng)計模式,發(fā)展到基于規(guī)則的機器翻譯、統(tǒng)計機器翻譯,再到目前的深度學(xué)習(xí)驅(qū)動的神經(jīng)機器翻譯,不同技術(shù)范式在不同歷史時期各領(lǐng)風(fēng)騷。

(圖源:https://acutrans.com/top-10-most-commonly-spoken-languages-in-the-world/)
目前機器翻譯的主流技術(shù)范式——神經(jīng)機器翻譯——是一種基于神經(jīng)網(wǎng)絡(luò)的端到端機器翻譯模式。區(qū)別于前代的統(tǒng)計機器翻譯采用的多步驟級聯(lián)方式,神經(jīng)機器翻譯只需要輸入源語言句子,就能直接輸出目標(biāo)語言序列。
如下圖所示,其基本思想是利用神經(jīng)網(wǎng)絡(luò)對源語言進行編碼得到源語言的語義表示,然后根據(jù)該語義表示解碼生成目標(biāo)語言。這種端到端模式使模型可以一次性整體訓(xùn)練,既避免了傳統(tǒng)級聯(lián)方式的錯誤傳遞,也大大降低了模型訓(xùn)練和部署的煩瑣程度。

(來自書中圖4.1:神經(jīng)機器翻譯結(jié)構(gòu)示例)
時至今日,神經(jīng)機器翻譯已成為在線機器翻譯的主要引擎,每天以數(shù)千億單詞量的翻譯規(guī)模服務(wù)全世界各地用戶。
但即便如此,機器翻譯仍然存在諸多挑戰(zhàn)和難題。
一方面,全世界在使用的語言有幾千種,即使像NLLB這樣的大規(guī)模模型,目前也只能覆蓋200余種語言,占比不到已有語言的1/30,大量語言在機器翻譯版圖里仍然被“Left Behind”。
另一方面,神經(jīng)機器翻譯雖然顯著提升了譯文質(zhì)量,但仍然面臨魯棒性、可解釋性、廣域語境依賴性、多模態(tài)、資源稀缺等多種挑戰(zhàn)和開放問題。
《神經(jīng)機器翻譯:基礎(chǔ)、原理、實踐與進階》正是在這樣的背景中寫就的。


“百科全書”式內(nèi)容,展現(xiàn)神經(jīng)機器翻譯全景視圖
該書為實踐者總結(jié)已有技術(shù),為研究者梳理前沿進展,并站在機器翻譯歷史發(fā)展的角度,對比不同機器翻譯范式,希望讀者能從對比中窺見技術(shù)發(fā)展的內(nèi)在原因和規(guī)律,以此吸引更多機器翻譯愛好者為實現(xiàn)所有語言互譯的美好愿景添磚加瓦。
全書分為基礎(chǔ)篇、原理篇、實踐篇和進階篇,覆蓋神經(jīng)機器翻譯的基礎(chǔ)知識、經(jīng)典框架、原理技術(shù)、實踐方法與技巧,以及無監(jiān)督神經(jīng)機器翻譯、多語言神經(jīng)機器翻譯、語音與視覺多模態(tài)機器翻譯等前沿研究方向。
全書理論與實踐相結(jié)合,基礎(chǔ)與前沿相交映。


技術(shù)與短評雙主線敘事,不止于技術(shù)
除此之外,本書的一個特色是在每一章均附有一篇短評,針對相應(yīng)章節(jié)的主題,介紹和評論神經(jīng)機器翻譯技術(shù)背后的歷史、故事、思想、哲學(xué)、爭議和規(guī)范等。短評與全書內(nèi)容相交錯,使讀者對神經(jīng)機器翻譯技術(shù)不僅知其然,而且知其所以然。


本書適合高等院校計算機專業(yè)高年級本科生,以及人工智能、自然語言處理方向的研究生閱讀,也可供機器翻譯研究者、實踐者、使用者,以及機器翻譯行業(yè)的管理者、人工翻譯研究人員等對機器翻譯技術(shù)感興趣的讀者參考。

熊德意
天津大學(xué)智能與計算學(xué)部教授、博士生導(dǎo)師、自然語言處理實驗室負責(zé)人,天津大學(xué)“語言智能與技術(shù)”中外聯(lián)合研究中心主任,中譯語通-天津大學(xué)自然語言處理聯(lián)合實驗室主任、中譯語通人工智能首席科學(xué)家。
主要研究方向為自然語言處理,特別專注于機器翻譯、對話、問答、自然語言生成、常識推理、認知計算等方向的研究。在Computational Linguistics、IEEE TPAMI、AI、AAAI、ACL等國際著名期刊和會議上發(fā)表論文100余篇,在Springer出版英文專著一部。
獲得國家自然科學(xué)基金優(yōu)秀青年科學(xué)基金、國家重點研發(fā)計劃“政府間國際科技合作創(chuàng)新合作”重點專項、英國皇家學(xué)會牛頓高級學(xué)者基金等資助。
獲得新加坡資訊通信研究院2008年年度研究貢獻獎、北京市科學(xué)技術(shù)獎二等獎、中文信息學(xué)會“錢偉長中文信息處理科學(xué)技術(shù)獎-漢王青年創(chuàng)新獎”一等獎等獎項。
曾是亞洲自然語言處理聯(lián)合會AFNLP干事、新加坡中文與東方語文信息處理學(xué)會理事會成員,目前是中國中文信息學(xué)會理事。擔(dān)任IALP 2012&2021程序委員會共同主席,CWMT 2017程序委員會共同主席,歐盟多國聯(lián)合項目QTLeap咨詢專家,ACL、EMNLP、NAACL、COLING等多個知名國際會議領(lǐng)域主席,以及TACL和ARR的Action Editor等。

李良友
華為諾亞方舟實驗室研究員、機器翻譯團隊負責(zé)人。在歐盟瑪麗居里項目資助下,于2017年獲得都柏林城市大學(xué)計算機博士學(xué)位。
主要研究方向為自然語言處理,特別專注于機器翻譯相關(guān)技術(shù)領(lǐng)域的研發(fā)。在ACL、EMNLP等多個國際著名會議和期刊上發(fā)表論文10余篇,并擔(dān)任ACL、EMNLP等國際會議領(lǐng)域主席和會議審稿人。

張檬
華為諾亞方舟實驗室研究員。于2018年獲得清華大學(xué)計算機科學(xué)與技術(shù)系博士學(xué)位。
主要研究方向為機器翻譯和跨語言自然語言處理。在ACL、EMNLP、AAAI、TASLP等國際著名會議和期刊上發(fā)表論文10余篇。
曾獲中國中文信息學(xué)會優(yōu)秀博士學(xué)位論文提名獎。擔(dān)任ACL、EMNLP、AAAI、IJCAI等多個知名國際會議審稿人。
活動
本次為大家免費寄送 紙質(zhì)正版圖書! 8月25日22點結(jié)束并開獎。參與方法:
1、文末點 在看 !
2、公眾號后臺、或者掃以下碼,回復(fù) 168 ,參與抽獎!
粉絲專享六折優(yōu)惠
感興趣的小伙伴可以掃碼或點擊閱讀原文
