?? ? ? ?? ? ? ?

蒙特卡洛樹搜索

?

每一個動作都可能是非常高級的，比如「找出買曲別針最便宜的方式」 ，但得益于語言的靈活性，我們可以用簡短的token序列來描述非常復雜的想法。

?

一旦智能體決定了一個行動，為了實際執(zhí)行這些抽象行動，這個行動可以使用語言模型分解成更小的子目標，比如「找出亞馬遜上最便宜的曲別針」 ，類似于層次強化學習。

根據(jù)模型的能力和動作的抽象程度，甚至可以將動作分解成一個詳細的指令列表。我們也可以將智能體的狀態(tài)表示為自然語言。

?

由于智能體狀態(tài)只是觀測值的壓縮表示，因此我們可以讓語言模型對任何觀測值的重要信息進行匯總，以表示其自身的內(nèi)部世界狀態(tài)。語言模型也可以用來周期性地刪除(即忘記)狀態(tài)中的信息，以便為更多的觀測留出空間。

?

這樣我們就能得到一個系統(tǒng)，它可以從外部世界傳遞觀測信息，花一些時間思考該做什么，并用自然語言輸出一個動作。

?

打頭的是一個輸入模塊，可以將各種觀測轉(zhuǎn)換為與當前智能體狀態(tài)相關的摘要文本。例如，網(wǎng)頁、聲音、圖像都可以想辦法轉(zhuǎn)換為文本并映射到智能體的狀態(tài)。

?

最后，為了讓模型在現(xiàn)實世界真正發(fā)揮作用，可以再次使用語言模型將自然語言翻譯成代碼、 shell 命令、按鍵序列等許多可能的方式。

?

像輸入一樣，有無數(shù)種不同的方法來解決輸出問題，哪一種方法是最好要看你的具體使用場景了，最重要的是，可以從純文本智能體中獲得各種形式的輸入和輸出。

? ? ? ?

一個輸入模塊的示例，該模塊采用截圖輸入與當前智能體狀態(tài)相結合的方式，將圖片信息轉(zhuǎn)換為智能體的觀測。

?

當然，這更像一個思想實驗

上文所描述的，更像是一個思想實驗，而不是明天將要發(fā)生的事情。

?

這種方法在很大程度上依賴于一個主要假設——更大的未來模型將具有更好的世界建模能力。然而，這可能是我們有史以來最接近AGI的機會：現(xiàn)在有了一條通往 AGI 的具體路徑。

?

這個路徑聽上去不那么「扯淡」，未來能否實現(xiàn)讓我們拭目以待。

參考：

https://leogao.dev/2019/10/27/The-Difficulties-of-Text-Generation-with-Autoregressive-Language-Models/