LLM性能最高60%提升！谷歌ICLR 2024力作：讓大語言模型學(xué)會「圖的語言」

---

  新智元報道  

編輯：Mindy

【新智元導(dǎo)讀】圖是組織信息的一種有用方式，但LLMs主要是在常規(guī)文本上訓(xùn)練的。谷歌團(tuán)隊找到一種將圖轉(zhuǎn)換為LLMs可以理解的格式的方法，顯著提高LLMs在圖形問題上超過60%的準(zhǔn)確性。

在計算機(jī)科學(xué)領(lǐng)域，圖形結(jié)構(gòu)由節(jié)點(diǎn)（代表實體）和邊（表示實體之間的關(guān)系）構(gòu)成。

圖無處不在。

互聯(lián)網(wǎng)本身就像是一張龐大的網(wǎng)絡(luò)圖，甚至搜索引擎所使用的知識也是以圖的形式進(jìn)行組織和呈現(xiàn)。

但由于LLMs主要在常規(guī)文本上訓(xùn)練，并沒有圖的結(jié)構(gòu)，將圖轉(zhuǎn)化為LLMs能理解的文本是一項非常復(fù)雜的任務(wù)。

在ICLR 2024上，一支來自谷歌的團(tuán)隊探索了如何將圖形數(shù)據(jù)轉(zhuǎn)換為適合LLMs理解的形式。

論文地址：https://openreview.net/pdf?id=IuXR1CCrSi

使用兩種不同的方法將圖形編碼為文本，并將文本和問題反饋給LLM的過程

他們還創(chuàng)造了一個名為GraphQA的基準(zhǔn)，用于研究不同的圖推理問題解決方法，并演示了如何以一種讓LLM能夠解決圖形相關(guān)問題的方式來表述圖相關(guān)問題。

使用正確的方法，使得LLMs在圖形任務(wù)上最高得以提升60%的性能。

GraphOA：一場對LLMs的「考試」

首先，谷歌團(tuán)隊設(shè)計了GraphQA基準(zhǔn)測試，它可以被看作是一門考試，旨在評估LLM針對特定于圖形問題的能力。

GraphOA通過使用多種類型的圖表，確保廣度和連接數(shù)量的多樣性，以尋找LLMs在處理圖形時可能存在的偏差情況，并使整個過程更接近LLMs在實際應(yīng)用中可能遇到的情況。

使用GraphIQA對LLMs進(jìn)行推理的框架

雖然任務(wù)很簡單，比如檢查邊是否存在、計算節(jié)點(diǎn)或者邊的數(shù)量等等，但這些任務(wù)都需要LLMs理解節(jié)點(diǎn)和邊之間的關(guān)系，對于更復(fù)雜的圖形推理至關(guān)重要。

同時，團(tuán)隊還探索了如何將圖轉(zhuǎn)換為LLMs可以處理的文本，比如解決了如下兩個關(guān)鍵問題：

節(jié)點(diǎn)編碼：我們?nèi)绾伪硎締蝹€節(jié)點(diǎn)？節(jié)點(diǎn)可以包括簡單整數(shù)、常用名稱（人名、字符）和字母。

邊緣編碼：我們?nèi)绾蚊枋龉?jié)點(diǎn)之間的關(guān)系？方法可以包括括號符號、短語（如「是朋友」）和符號表示（如箭頭）。

最終，研究人員通過系統(tǒng)地結(jié)合各種節(jié)點(diǎn)和邊的編碼方式，產(chǎn)生了像下圖中展示的那些函數(shù)。

圖形編碼函數(shù)的例子

LLMs表現(xiàn)怎么樣呢？

研究團(tuán)隊在GraphOA上進(jìn)行了三個關(guān)鍵實驗：

1. 測試LLMs處理圖形任務(wù)的能力
2. 測試LLMs的大小對性能的影響
3. 測試不同圖形形狀對性能的影響

在第一個實驗中，LLMs表現(xiàn)平平，在大多數(shù)基本任務(wù)上，LLMs的表現(xiàn)并不比隨機(jī)猜測好多少。

但編碼方式顯著影響結(jié)果，如下圖所示，在大多數(shù)情況下，「incident」編碼在大多數(shù)任務(wù)中表現(xiàn)出色。選擇合適的編碼函數(shù)可以極大的提高任務(wù)的準(zhǔn)確度。

基于不同任務(wù)準(zhǔn)確度的各種圖編碼器函數(shù)的比較

在第二個測試中，研究人員在不同大小的模型上測試了相同的圖形任務(wù)。

就結(jié)論而言，在圖形推理任務(wù)中，規(guī)模更大的模型表現(xiàn)更好，

然而有趣的是，在「邊存在性」任務(wù)（確定圖中兩個節(jié)點(diǎn)是否相連）中，規(guī)模并不像其他任務(wù)那么重要。

即使是最大的LLM在循環(huán)檢查問題上（確定圖中是否存在循環(huán)）也無法始終擊敗簡單的基線解決方案。這表明LLMs在某些圖任務(wù)上仍有改進(jìn)的空間。

模型容量對PaLM 2-XXS、XS、S和L的圖推理任務(wù)的影響

在第三個測試中，對于圖形結(jié)構(gòu)是否會影響LMMs解決問題的能力，研究人員通過GraphOA生成不同結(jié)構(gòu)的圖形進(jìn)行分析。

GraphQA不同圖形生成器生成的圖形示例。ER、BA、SBM和SFN分別是Erd?s-Rényi、Barabási-Albert、隨機(jī)塊模型和無標(biāo)度網(wǎng)絡(luò)。

結(jié)果得出，圖的結(jié)構(gòu)對LLMs的性能有很大影響。

例如，在一個詢問循環(huán)是否存在的任務(wù)中，LLMs在緊密相連的圖形中表現(xiàn)出色（這里循環(huán)很常見），但在路徑圖中表現(xiàn)不佳（循環(huán)從不發(fā)生）。

但同時提供一些混合樣本有助于LLMs適應(yīng)，比如在循環(huán)檢測任務(wù)中，研究人員在提示中添加了一些包含循環(huán)和一些不包含循環(huán)的示例作為少樣本學(xué)習(xí)的例子，通過這種方式提高了LLMs的性能。

在不同的圖任務(wù)上比較不同的圖生成器。主要觀察結(jié)果是，圖結(jié)構(gòu)對LLM的性能有顯著影響。ER、BA、SBM和SFN分別指的是Erd?s-Rényi、Barabási-Albert、隨機(jī)塊模型和無標(biāo)度網(wǎng)絡(luò)。

這僅僅是讓LLMs理解圖的開始

在論文中，谷歌團(tuán)隊初步探索了如何將圖形最佳地表示為文本，以便LLMs能理解他們。

在正確編碼技術(shù)的幫助下，顯著提高了LLMs在圖形問題上的準(zhǔn)確性（從大約5%到超過60%的改進(jìn)）。

同時也確定了三個主要的影響因子，分別為圖形轉(zhuǎn)換為文本的編碼方式、不同圖形的任務(wù)類型、以及圖形的疏密結(jié)構(gòu)。

這僅僅是讓LLMs理解圖的開始。在新基準(zhǔn)測試GraphQA的幫助下，期待進(jìn)一步研究，探索LLMs的更多可能性。

參考資料：

https://blog.research.google/2024/03/talk-like-graph-encoding-graphs-for.html