Jeff Dean萬字長文：2020谷歌10大領(lǐng)域AI技術(shù)發(fā)展

Jeff Dean發(fā)了一篇幾萬字長文，回顧了這一年來谷歌在各個(gè)領(lǐng)域的成就與突破，并展望了2021年的工作目標(biāo)。

?

「當(dāng)我20多年前加入谷歌的時(shí)候，只想弄清楚如何真正開始使用電腦在網(wǎng)絡(luò)上提供高質(zhì)量和全面的信息搜索服務(wù)。時(shí)間快進(jìn)到今天，當(dāng)面對更廣泛的技術(shù)挑戰(zhàn)時(shí)，我們?nèi)匀挥兄瑯拥目傮w目標(biāo)，那就是組織全世界的信息，使其普遍可獲取和有用。

?

2020年，隨著世界被冠狀病毒重塑，我們看到了技術(shù)可以幫助數(shù)十億人更好地交流，理解世界和完成任務(wù)。我為我們所取得的成就感到驕傲，也為即將到來的新的可能性感到興奮?！?/span>

?

Google Research 的目標(biāo)是解決一系列長期而又重大的問題，從預(yù)測冠狀病毒疾病的傳播，到設(shè)計(jì)算法、自動翻譯越來越多的語言，再到減少機(jī)器學(xué)習(xí)模型中的偏見。

本文涵蓋了今年的關(guān)鍵亮點(diǎn)。

COVID-19的影響給人們的生活帶來了巨大的損失，世界各地的研究人員和開發(fā)人員聯(lián)合起來開發(fā)工具和技術(shù)，以幫助公共衛(wèi)生官員和政策制定者理解和應(yīng)對這場流行病。

?

蘋果和谷歌在2020年合作開發(fā)了暴露通知系統(tǒng)(ENS) ，這是一種支持藍(lán)牙的隱私保護(hù)技術(shù)，如果人們暴露在其他檢測呈陽性的人群中，可以通知他們。

?

ENS 補(bǔ)充了傳統(tǒng)的接觸者追蹤工作，并由50多個(gè)國家、州和地區(qū)的公共衛(wèi)生當(dāng)局部署，以幫助遏制感染的傳播。

?

在流感大流行的早期，公共衛(wèi)生官員表示，他們需要更全面的數(shù)據(jù)來對抗病毒的快速傳播。我們的社區(qū)流動性報(bào)告，提供了對人口流動趨勢的匿名追蹤，不僅幫助研究人員了解政策的影響，如居家指令和社會距離，同時(shí)還進(jìn)行了經(jīng)濟(jì)影響的預(yù)測。

?

?

我們自己的研究人員也探索了用這種匿名數(shù)據(jù)來預(yù)測COVID-19的傳播，用圖神經(jīng)網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)的基于時(shí)間序列的模型。

?

冠狀病毒疾病搜索趨勢癥狀允許研究人員探索時(shí)間或癥狀之間的聯(lián)系，比如嗅覺缺失---- 嗅覺缺失有時(shí)是病毒的癥狀之一。為了進(jìn)一步支持更廣泛的研究社區(qū)，我們推出了谷歌健康研究應(yīng)用程序，以提供公眾參與研究的方式。

?

圖：COVID-19搜索趨勢正在幫助研究人員研究疾病傳播和癥狀相關(guān)搜索之間的聯(lián)系

?

谷歌的團(tuán)隊(duì)正在為更廣泛的科學(xué)界提供工具和資源，這些科學(xué)界正在努力解決病毒對健康和經(jīng)濟(jì)的影響。

?

圖：一個(gè)模擬新冠病毒擴(kuò)散的時(shí)空圖

?

我們還致力于幫助識別皮膚疾病，幫助檢測老年黃斑變性(在美國和英國是導(dǎo)致失明的主要原因，在全世界是第三大致盲原因) ，以及潛在的新型非侵入性診斷(例如，能夠從視網(wǎng)膜圖像中檢測出貧血的跡象)。

?

圖：深度學(xué)習(xí)模型從視網(wǎng)膜圖像中量化血紅蛋白水平。血紅蛋白水平是檢測貧血的一項(xiàng)指標(biāo)

?

今年，同樣的技術(shù)如何可以窺視人類基因組，也帶來了令人興奮的演示。谷歌的開源工具DeepVariant，使用卷積神經(jīng)網(wǎng)絡(luò)基因組測序數(shù)據(jù)識別基因組變異，并在今年贏得了FDA的4個(gè)類別中的3個(gè)類別的最佳準(zhǔn)確性的挑戰(zhàn)。丹納-法伯癌癥研究所領(lǐng)導(dǎo)的一項(xiàng)研究使用同樣的工具，在2367名癌癥患者中，將導(dǎo)致前列腺癌和黑色素瘤的遺傳變異的診斷率提高了14% 。

?

機(jī)器學(xué)習(xí)能幫助我們更好地了解環(huán)境，并幫助人們在日常生活中以及在災(zāi)難情況下做出有用的預(yù)測。

?

對于天氣和降水預(yù)報(bào)，像 NOAA 的 HRRR 這樣基于計(jì)算物理的模型一直占據(jù)著主導(dǎo)地位。然而，我們已經(jīng)能夠證明，基于ML的預(yù)報(bào)系統(tǒng)能夠以更好的空間分辨率預(yù)測當(dāng)前的降水量(“西雅圖的本地公園是不是在下雨? ”而不僅僅是“西雅圖在下雨嗎? ”)它能夠產(chǎn)生長達(dá)8小時(shí)的短期預(yù)報(bào)，比 HRRR 準(zhǔn)確得多，并且能夠以更高的時(shí)間和空間分辨率更快地計(jì)算預(yù)報(bào)。

?

?

我們還開發(fā)了一種改進(jìn)的技術(shù)，稱為 HydroNets，它使用一個(gè)神經(jīng)網(wǎng)絡(luò)來建模真實(shí)的河流系統(tǒng)，以更準(zhǔn)確地了解上游水位對下游洪水的相互作用，做出更準(zhǔn)確的水位預(yù)測和洪水預(yù)報(bào)。利用這些技術(shù)，我們已經(jīng)將印度和孟加拉國的洪水警報(bào)覆蓋范圍擴(kuò)大了20倍，幫助在25萬平方公里內(nèi)更好地保護(hù)了2億多人。

?

機(jī)器學(xué)習(xí)繼續(xù)為提高可訪問性提供了驚人的機(jī)會，因?yàn)樗梢詫W(xué)會將一種感官輸入轉(zhuǎn)化為其他輸入。舉個(gè)例子，我們發(fā)布了 Lookout，一個(gè) Android 應(yīng)用程序，可以幫助視力受損的用戶識別包裝食品，無論是在雜貨店還是在他們家的廚房櫥柜里。

?

?

Lookout 背后的機(jī)器學(xué)習(xí)系統(tǒng)演示了一個(gè)功能強(qiáng)大但緊湊的機(jī)器學(xué)習(xí)模型，可以在有近200萬個(gè)產(chǎn)品的手機(jī)上實(shí)時(shí)完成這一任務(wù)。

?

同樣，使用手語交流的人很難使用視頻會議系統(tǒng)，因?yàn)榧词顾麄冊谑终Z，基于音頻的揚(yáng)聲器檢測系統(tǒng)也檢測不到他們在主動說話。為視頻會議開發(fā)實(shí)時(shí)自動手語檢測，我們提出了一種實(shí)時(shí)手語檢測模型，并演示了如何利用該模型為視頻會議系統(tǒng)提供一種識別手語者為主動說話者的機(jī)制。

?

2020年，我們與 FlyEM 團(tuán)隊(duì)合作，發(fā)布了果蠅半腦連接體，這是一種大型突觸分辨率圖譜的大腦連接，重建使用大規(guī)模機(jī)器學(xué)習(xí)模型應(yīng)用于高分辨率電子顯微鏡成像的腦組織。這些連接體信息將幫助神經(jīng)科學(xué)家進(jìn)行各種各樣的研究，幫助我們更好地理解大腦是如何運(yùn)作的。

?

為了更好地理解語言模型的行為，我們開發(fā)了語言可解釋性工具(LIT) ，這是一個(gè)可以更好地解釋語言模型的工具包，使得交互式探索和分析語言模型的決策成為可能。

?

我們開發(fā)了在預(yù)訓(xùn)練語言模型中測量性別相關(guān)性的技術(shù)，以及在谷歌翻譯中減少性別偏見的可擴(kuò)展技術(shù)。

?

為了幫助非專業(yè)人員解釋機(jī)器學(xué)習(xí)結(jié)果，我們擴(kuò)展了2019年引入的 TCAV 技術(shù)，現(xiàn)在提供了一套完整而充分的概念。我們可以說“毛”和“長耳朵”是“兔子”預(yù)測的重要概念。通過這項(xiàng)工作，我們還可以說，這兩個(gè)概念足以充分解釋預(yù)測; 您不需要任何其他概念。

?

?

概念瓶頸模型是一種技術(shù)，通過訓(xùn)練模型，使其中一層與預(yù)先定義的專家概念(例如，“骨刺呈現(xiàn)” ，或“翅膀顏色” ，如下所示)保持一致，然后再對任務(wù)做出最終預(yù)測，這樣我們不僅可以解釋這些概念，還可以動態(tài)地打開/關(guān)閉這些概念。

?

?

更好地理解語言是我們今年看到相當(dāng)大進(jìn)展的一個(gè)領(lǐng)域。谷歌和其他公司在這個(gè)領(lǐng)域的大部分工作現(xiàn)在都依賴于transformer，這是一種特殊風(fēng)格的神經(jīng)網(wǎng)絡(luò)模型，最初是為了解決語言問題而開發(fā)的(但是越來越多的證據(jù)表明，它們對圖像、視頻、語音、蛋白質(zhì)折疊以及其他各種各樣的領(lǐng)域也很有用)。

?

在2020年，我們描述了 Meena，一個(gè)對話機(jī)器人，可以聊任何事情。

?

?