圖神經(jīng)網(wǎng)絡(luò)(GNN)的前沿應(yīng)用!
雖然 ChatGPT 或生成式 AI 的擴(kuò)散模型等 AI 大模型在過(guò)去幾個(gè)月中備受關(guān)注，但圖神經(jīng)網(wǎng)絡(luò) （GNN） 一直在迅速發(fā)展。在過(guò)去的幾年里，GNN已經(jīng)悄悄地成為大量令人興奮的新成就背后的黑馬，這些成就從純粹的學(xué)術(shù)研究突破到了積極大規(guī)模部署生產(chǎn)中。
Uber、谷歌、阿里巴巴、Pinterest、Twitter等公司已經(jīng)在其一些核心產(chǎn)品中轉(zhuǎn)向基于GNN的方法，與以前最先進(jìn)的AI架構(gòu)相比，這些方法表現(xiàn)出了實(shí)質(zhì)性的性能改進(jìn)。
盡管問題的類型各不相同，其基礎(chǔ)數(shù)據(jù)集也存在差異，但所有這些突破都使用GNN的單一統(tǒng)一框架來(lái)運(yùn)作其核心。這表明了一種潛在的視角轉(zhuǎn)變：圖結(jié)構(gòu)數(shù)據(jù)提供了一個(gè)通用而靈活的框架，用于描述和分析任何可能的實(shí)體集及其相互交互。
本文將回顧 GNN 的一些極具影響力的應(yīng)用并深入探討圖機(jī)器學(xué)習(xí)的原理及優(yōu)勢(shì)。
一、介紹
圖數(shù)據(jù)在世界上無(wú)處不在： 任何由實(shí)體和它們之間的關(guān)系組成的系統(tǒng)都可以表示為圖。 盡管過(guò)去十年的深度學(xué)習(xí)算法在自然語(yǔ)言處理、計(jì)算機(jī)視覺和語(yǔ)音識(shí)別等領(lǐng)域取得了突出的進(jìn)步，但由于它們能夠通過(guò)非線性層從數(shù)據(jù)中提取高級(jí)特征，大多數(shù)深度學(xué)習(xí)架構(gòu)都是專門為歐幾里得結(jié)構(gòu)化數(shù)據(jù)量身定制的，例如表格數(shù)據(jù)、圖像、文本、 和音頻，而圖形數(shù)據(jù)在很大程度上被忽略了。
傳統(tǒng)的人工智能方法被設(shè)計(jì)為從由某種“剛性”結(jié)構(gòu)編碼的對(duì)象中提取信息。例如，圖像通常被編碼為固定大小的二維像素網(wǎng)格，而文本則被編碼為一維的單詞序列（或“標(biāo)記”）。另一方面，以圖形結(jié)構(gòu)化的方式表示數(shù)據(jù)可能會(huì)揭示從這些實(shí)體及其關(guān)系的更高維表示中出現(xiàn)的有價(jià)值的信息。
不幸的是，圖形的高度靈活性的代價(jià)是設(shè)計(jì)能夠?qū)W習(xí)該數(shù)據(jù)并跨不同領(lǐng)域泛化的同構(gòu)框架的復(fù)雜性。在過(guò)去的二十年中，人們?yōu)槟軌虼笠?guī)模處理圖形數(shù)據(jù)的人工智能系統(tǒng)提出了各種方法，但這些進(jìn)步通常與開發(fā)它們的特定案例和設(shè)置有關(guān)。
近年來(lái)，一個(gè)相對(duì)較小的高級(jí)深度學(xué)習(xí)研究人員社區(qū)在展示如何最好地將不同領(lǐng)域的各種數(shù)據(jù)問題轉(zhuǎn)換為圖問題方面取得了長(zhǎng)足的進(jìn)步，其中圖神經(jīng)網(wǎng)絡(luò)及其一些變體已被證明在各種深度學(xué)習(xí)任務(wù)中優(yōu)于主流方法。事實(shí)上，GNN已成為解決許多完全不同且看似不相關(guān)的領(lǐng)域中現(xiàn)實(shí)問題的重要工具，例如藥物發(fā)現(xiàn)、推薦系統(tǒng)、流量預(yù)測(cè)等等，在這些領(lǐng)域中，更傳統(tǒng)和特定案例的方法都失敗了。
GNN目前在更廣泛的人工智能研究領(lǐng)域中扮演什么角色？讓我們來(lái)看看一些數(shù)字，這些數(shù)字揭示了GNN如何在研究界看到驚人的崛起。
二、人工智能研究領(lǐng)域的圖神經(jīng)網(wǎng)絡(luò)
GNN迅速確立自己作為任何圖結(jié)構(gòu)學(xué)習(xí)的一般范式的一個(gè)不可忽視的意義是，該領(lǐng)域的任何新改進(jìn)都將在廣泛的領(lǐng)域中傳播進(jìn)步。在過(guò)去的幾年里，世界各地的學(xué)術(shù)和行業(yè)研究人員對(duì)這一主題的關(guān)注都經(jīng)歷了爆炸式增長(zhǎng)，這并不奇怪。
如果我們查看過(guò)去 3 年公認(rèn)的 ICLR 和 NeurIPS 研究出版物，我們可以初步了解這一令人印象深刻的增長(zhǎng)，這兩個(gè)主要的年度會(huì)議專注于前沿 AI 研究。我們發(fā)現(xiàn)，圖神經(jīng)網(wǎng)絡(luò)一詞每年都位居前 3 名。
最近的一項(xiàng)文獻(xiàn)計(jì)量研究系統(tǒng)地分析了這一研究趨勢(shì)，揭示了涉及 GNN 的已發(fā)表研究呈指數(shù)級(jí)增長(zhǎng)，2017-2019 年期間年均增長(zhǎng) +447%?！?021 年人工智能狀況報(bào)告》進(jìn)一步確認(rèn)，圖神經(jīng)網(wǎng)絡(luò)是人工智能研究出版物中的關(guān)鍵詞，“從 2019 年到 2020 年，使用量增幅最大”。
我 們還可以通過(guò)觀察圖神經(jīng)網(wǎng)絡(luò)在不同應(yīng)用領(lǐng)域的影響來(lái)研究圖神經(jīng)網(wǎng)絡(luò)的多功能性。 下圖旨在說(shuō)明GNN論文在22個(gè)類別中的分布情況。
正如我們所看到的，GNN 在 AI 研究中取得了令人矚目的增長(zhǎng)，其影響分布在截然不同的領(lǐng)域。現(xiàn)在讓我們看一下其中的一些用例，并了解GNN如何在那里產(chǎn)生（可量化的）影響。
三、圖神經(jīng)網(wǎng)絡(luò)：應(yīng)用
圖神經(jīng)網(wǎng)絡(luò)已成為最近許多激動(dòng)人心的項(xiàng)目背后的關(guān)鍵組成部分！讓我們仔細(xì)看看一些示例以及將 GNN 應(yīng)用于生產(chǎn)的效果。
提升推薦系統(tǒng)（Uber 和 Pinterest）
Uber Eats 優(yōu)食的團(tuán)隊(duì)開發(fā)了一款送餐應(yīng)用程序，最近開始將圖形學(xué)習(xí)技術(shù)引入推薦系統(tǒng)，為應(yīng)用程序提供支持，旨在顯示最有可能吸引個(gè)人用戶的食物。鑒于在此類環(huán)境中處理的圖表規(guī)模很大（Uber Eats 優(yōu)食是全球 500 多個(gè)城市的 320,000 多家餐廳的門戶），圖神經(jīng)網(wǎng)絡(luò)是一個(gè)非常有吸引力的選擇。事實(shí)上，正如我們將在下一篇文章中看到的那樣，GNN 只需要固定數(shù)量的參數(shù)，這些參數(shù)不依賴于輸入圖的大小，這使得學(xué)習(xí)可以擴(kuò)展到大型圖。
在推薦菜肴和餐廳模型的第一次測(cè)試中，該團(tuán)隊(duì)報(bào)告說(shuō)，與現(xiàn)有的生產(chǎn)模型相比，在平均倒數(shù)排名、Precision@K和 NDCG 等關(guān)鍵指標(biāo)上，性能提升了 20% 以上。在將 GNN 模型集成到 Uber Eats 優(yōu)食推薦系統(tǒng)（其中包含其他非基于圖形的特征）后，開發(fā)人員觀察到與現(xiàn)有的生產(chǎn)基線模型相比，AUC 從 78% 躍升至 87%，后來(lái)對(duì)影響的分析表明，基于 GNN 的特征是迄今為止整個(gè)推薦模型中最有影響力的特征。
Pinterest 是一個(gè)可視化發(fā)現(xiàn)引擎，它作為一個(gè)社交網(wǎng)絡(luò)運(yùn)行，用戶在其中與鏈接到基于 Web 的資源的視覺書簽（稱為圖釘）進(jìn)行交互。該平臺(tái)為用戶提供了將圖釘組織到主題集合（稱為板）中的能力。“Pinterest 圖”包含 20 億個(gè)圖釘、10 億個(gè)板和超過(guò) 180 億條邊緣，代表了一個(gè)豐富而復(fù)雜的視覺生態(tài)系統(tǒng)，對(duì)理解用戶行為和偏好具有潛在意義。
Pinterest 目前正在積極部署 PinSage，這是一個(gè)由 GNN 提供支持的推薦系統(tǒng)，可以擴(kuò)展到 Pinterest 圖表上運(yùn)行。PinSage能夠以新穎的方式預(yù)測(cè)用戶感興趣的視覺概念可以映射到他們可能吸引的新事物。
為了衡量其準(zhǔn)確性，研究團(tuán)隊(duì)根據(jù)其他最先進(jìn)的基于內(nèi)容的深度學(xué)習(xí)基線（基于視覺或注釋嵌入方法的最近鄰）評(píng)估了PinSage的性能，并使用以下兩個(gè)關(guān)鍵指標(biāo)進(jìn)行推薦任務(wù)：
-
命中率 – 直接衡量算法提出的建議包含與查詢相關(guān)的項(xiàng)目的概率。
- 平均倒數(shù)排名 （MRR） – 衡量相關(guān)結(jié)果接近搜索結(jié)果頂部的程度。
下一代交通預(yù)測(cè)算法（谷歌地圖）
圖神經(jīng)網(wǎng)絡(luò)的另一個(gè)極具影響力的應(yīng)用來(lái)自DeepMind的一組研究人員，他們展示了如何將GNN應(yīng)用于交通地圖，以提高預(yù)計(jì)到達(dá)時(shí)間（ETA）的準(zhǔn)確性。這個(gè)想法是使用 GNN 來(lái)學(xué)習(xí)交通網(wǎng)絡(luò)的表示，這些表示可以捕獲網(wǎng)絡(luò)的底層結(jié)構(gòu)及其動(dòng)態(tài)。 該系統(tǒng)已經(jīng)被谷歌地圖在全球幾個(gè)主要城市大規(guī)模部署，新方法大大降低了查詢預(yù)計(jì)到達(dá)時(shí)間時(shí)負(fù)面用戶結(jié)果的比例（與之前在生產(chǎn)中部署的方法相比，準(zhǔn)確率提高了50%）。
新的GNN驅(qū)動(dòng)的藥物發(fā)現(xiàn)算法（麻省理工學(xué)院實(shí)驗(yàn)室）
也許人工智能方法在制藥領(lǐng)域最近最著名的應(yīng)用之一來(lái)自麻省理工學(xué)院的一個(gè)研究項(xiàng)目，該項(xiàng)目后來(lái)發(fā)表在著名的科學(xué)期刊《細(xì)胞》上。 目標(biāo)是使用人工智能模型通過(guò)學(xué)習(xí)分子的圖形表示來(lái)預(yù)測(cè)分子的抗生素活性，從而捕獲它們潛在的抗生素活性。在這種情況下，選擇用圖表編碼信息是非常自然的，因?yàn)榭股乜梢员硎緸樾》肿訄D，其中節(jié)點(diǎn)是原子，邊緣對(duì)應(yīng)于它們的化學(xué)鍵。 人工智能模型從這些數(shù)據(jù)中學(xué)習(xí)，以預(yù)測(cè)受某些理想條件影響的最有前途的分子，隨后這些預(yù)測(cè)在實(shí)驗(yàn)室中得到測(cè)試和驗(yàn)證，從而幫助生物學(xué)家從數(shù)十億個(gè)可能的候選者中確定要分析的分子的優(yōu)先級(jí)。 
基于擴(kuò)散的蛋白質(zhì)設(shè)計(jì)生成式人工智能（貝克實(shí)驗(yàn)室）
蛋白質(zhì)設(shè)計(jì)的目標(biāo)是創(chuàng)造具有所需特性的蛋白質(zhì)，并且可以通過(guò)（通常是高成本的）實(shí)驗(yàn)方法來(lái)完成，這些方法允許研究人員通過(guò)直接操縱蛋白質(zhì)的氨基酸序列來(lái)設(shè)計(jì)新的蛋白質(zhì)。新蛋白質(zhì)的設(shè)計(jì)具有巨大的潛在應(yīng)用，例如開發(fā)新藥、酶或材料。貝克實(shí)驗(yàn)室最近將圖神經(jīng)網(wǎng)絡(luò)和擴(kuò)散技術(shù)相結(jié)合，創(chuàng)建了一個(gè)名為RosettaFoldDiffusion（RFDiffusion）的人工智能系統(tǒng)，該系統(tǒng)已被證明能夠設(shè)計(jì)滿足自定義約束的蛋白質(zhì)結(jié)構(gòu)。人工智能模型通過(guò)E（n）等變圖神經(jīng)網(wǎng)絡(luò)運(yùn)行，這是一種特殊的GNN，專門設(shè)計(jì)用于處理具有剛性運(yùn)動(dòng)對(duì)稱性（例如空間中的平移、旋轉(zhuǎn)和反射）的數(shù)據(jù)結(jié)構(gòu)，并被微調(diào)為去噪器，即擴(kuò)散模型。
RFDiffusion 于 2022 年 11 月發(fā)布，是一個(gè)高度復(fù)雜的系統(tǒng)，能夠處理蛋白質(zhì)設(shè)計(jì)中的大量特定任務(wù)，因此已針對(duì)各種指標(biāo)和基準(zhǔn)進(jìn)行了測(cè)試。結(jié)果顯示，與最先進(jìn)的競(jìng)爭(zhēng)對(duì)手相比，RFDiffusion解決了100%的基準(zhǔn)問題（25個(gè)中的23個(gè)），在設(shè)計(jì)蛋白質(zhì)結(jié)構(gòu)基序的支架時(shí)，RFDiffusion解決了100%的基準(zhǔn)問題（25個(gè)中的23個(gè)），并在設(shè)計(jì)蛋白質(zhì)結(jié)合劑方面取得了18%的成功率 - 這個(gè)問題被稱為蛋白質(zhì)設(shè)計(jì)中的“重大挑戰(zhàn)”。此外，RFDiffusion 的實(shí)驗(yàn)成功率從 5 倍到 214 倍不等，具體取決于靶蛋白。 該領(lǐng)域的一些專家認(rèn)為，RFDiffusion可能是“這十年來(lái)與AlphaFold一起在結(jié)構(gòu)生物學(xué)領(lǐng)域取得的最大進(jìn)步”之一，這一進(jìn)步在很大程度上依賴于圖神經(jīng)網(wǎng)絡(luò)的最新進(jìn)展。