新智元報(bào)道

來(lái)源：Google AI

編輯：小勻、LQ

【新智元導(dǎo)讀】近年來(lái)，多人在線(xiàn)游戲越來(lái)越流行，全世界有數(shù)百萬(wàn)玩家。隨著這種游戲的大規(guī)模流行，玩家對(duì)游戲設(shè)計(jì)者的要求也越來(lái)越高，玩家都喜歡精心設(shè)計(jì)的游戲，畢竟，只用一個(gè)策略就能擊敗所有人的游戲也沒(méi)什么意思。

為了設(shè)計(jì)出積極的游戲體驗(yàn)，游戲設(shè)計(jì)師通常會(huì)反復(fù)調(diào)整游戲:

通過(guò)測(cè)試玩家的數(shù)千次測(cè)試進(jìn)行壓力測(cè)試；
整合反饋并重新設(shè)計(jì)游戲；
重復(fù)步驟1和步驟2，直到玩家和游戲開(kāi)發(fā)者都滿(mǎn)意為止。

但是這個(gè)過(guò)程不僅費(fèi)時(shí)，而且并不總是完美，游戲越復(fù)雜，細(xì)微的缺陷越容易被漏掉。

游戲角色越多，并且相互關(guān)聯(lián)的技能也很多的時(shí)候，就越難達(dá)到平衡。

Google AI提出了一種利用機(jī)器學(xué)習(xí)(ML)來(lái)調(diào)整游戲達(dá)到平衡的方法，通過(guò)把模型訓(xùn)練成游戲測(cè)試玩家，并在數(shù)字紙牌游戲原型 Chimera 上演示，我們之前已經(jīng)展示了該原型作為 ML生成藝術(shù)的試驗(yàn)平臺(tái)。

通過(guò)使用訓(xùn)練有素的代理程序運(yùn)行數(shù)以百萬(wàn)計(jì)的模擬來(lái)收集數(shù)據(jù)，這種基于ML的游戲測(cè)試方法使游戲設(shè)計(jì)者能夠更有效地設(shè)計(jì)更有趣、更平衡、更符合最初想法的游戲效果。

數(shù)字紙牌游戲原型Chimera

Chimera的開(kāi)發(fā)過(guò)程大量依賴(lài)機(jī)器學(xué)習(xí)。對(duì)于游戲本身，經(jīng)過(guò)特定目標(biāo)的規(guī)則設(shè)計(jì)，以增加可能性使得傳統(tǒng)的手工AI很難玩轉(zhuǎn)游戲。

Chimera圍繞著chimera（喀邁拉，古希臘故事中獅頭、羊身、蛇尾的吐火怪物）展開(kāi)，怪獸混搭，玩家的目標(biāo)是加強(qiáng)和進(jìn)化。這個(gè)游戲的目標(biāo)是擊敗對(duì)手的chimera。游戲設(shè)計(jì)的關(guān)鍵點(diǎn)有:

玩家可以:

怪獸：攻擊或被攻擊
咒語(yǔ)/法術(shù)：產(chǎn)生特效

怪獸被召喚到有限的生物群落中，這些生物群落被實(shí)際放置在游戲空間上。每個(gè)怪獸都有自己喜歡的群落，如果被放置在錯(cuò)誤的群落或容量過(guò)大的群落上，會(huì)重復(fù)受到傷害。

玩家控制一個(gè)單個(gè)chimera，chimera一開(kāi)始是基本的「蛋」?fàn)顟B(tài)，可以通過(guò)吸收怪獸進(jìn)行進(jìn)化和強(qiáng)化。為此，玩家還必須獲得一定數(shù)量的鏈接能量，而鏈接能量是由各種游戲機(jī)制產(chǎn)生的。

當(dāng)玩家成功將對(duì)方chimera的健康值降至0時(shí)，游戲結(jié)束。

Chimera怎么玩

作為一種具有較大狀態(tài)空間又不完美信息卡片游戲，Chimera對(duì)于ML模型來(lái)說(shuō)是一個(gè)學(xué)習(xí)難度很高的游戲，當(dāng)設(shè)計(jì)目標(biāo)要建立一個(gè)相對(duì)簡(jiǎn)單的模型時(shí)，尤其如此。我們使用了一種受AlphaGo等早期對(duì)弈代理所使用的方法啟發(fā)的方法，其中卷積神經(jīng)網(wǎng)絡(luò)（CNN）被訓(xùn)練成預(yù)測(cè)給定任意對(duì)弈狀態(tài)時(shí)的獲勝概率。

在訓(xùn)練了一個(gè)初始模型之后，Google AI設(shè)置了一個(gè)代理來(lái)對(duì)抗它自己，迭代收集游戲數(shù)據(jù)，然后用這些數(shù)據(jù)來(lái)訓(xùn)練一個(gè)新的代理。隨著每次迭代，訓(xùn)練數(shù)據(jù)的質(zhì)量提高了，代理人玩游戲的能力也提高了。

隨著訓(xùn)練的進(jìn)行，ML代理對(duì)最好的手工AI的表現(xiàn)。最初的ML代理（0版本）隨機(jī)挑選動(dòng)作。

對(duì)于模型將接收到的作為輸入的實(shí)際游戲狀態(tài)表示，實(shí)驗(yàn)發(fā)現(xiàn)向 CNN 傳遞一個(gè)可以獲得最佳性能的「圖片」編碼，擊敗所有基準(zhǔn)程序代理和其他類(lèi)型的網(wǎng)絡(luò)(例如完全連接)。所選擇的模型架構(gòu)足夠小，可以在合理的時(shí)間內(nèi)在 CPU 上運(yùn)行，這允許操作人員下載模型重量，并使用 Unity Barracuda 在 Chimera 游戲客戶(hù)機(jī)上運(yùn)行代理。

一個(gè)用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的游戲狀態(tài)表示的例子

除了為游戲AI做決策外，我們還使用該模型來(lái)顯示玩家在游戲過(guò)程中的估計(jì)獲勝概率

平衡Chimera

這種方法使我們能夠模擬出比真實(shí)玩家在相同時(shí)間跨度內(nèi)所能玩的數(shù)以百萬(wàn)計(jì)的游戲。在收集了表現(xiàn)最好的代理所玩的游戲的數(shù)據(jù)后，我們分析了結(jié)果，以發(fā)現(xiàn)我們所設(shè)計(jì)的兩種玩家卡牌之間的不平衡。

首先，「回避鏈接基因」卡組（the Evasion Link Gen deck）由有能力的法術(shù)和怪獸組成，這些法術(shù)和怪獸可以產(chǎn)生額外的鏈接能量，用于進(jìn)化玩家的Chimera。它還包含了使怪獸能夠躲避攻擊的法術(shù)。

相比之下，傷害-治愈卡組則包含了實(shí)力不一的怪獸與專(zhuān)注于治療和造成輕微傷害的法術(shù)。雖然我們?cè)O(shè)計(jì)的這兩套卡組實(shí)力相當(dāng)，但在與傷害-封印卡組對(duì)戰(zhàn)時(shí)，閃避-鏈接-元卡組有60%的時(shí)間是贏的。

當(dāng)我們收集了與生物群落、怪獸、法術(shù)和Chimera進(jìn)化相關(guān)的各種數(shù)據(jù)時(shí)，有兩點(diǎn)立刻跳了出來(lái)。

1 在進(jìn)化Chimera方面有明顯的優(yōu)勢(shì)，在大多數(shù)游戲中，特工贏得了比對(duì)手更多的Chimera進(jìn)化。然而，每場(chǎng)比賽的平均進(jìn)化次數(shù)并沒(méi)有達(dá)到試驗(yàn)的預(yù)期。為了讓它更多地成為一個(gè)核心游戲機(jī)制，我們希望增加整體的平均進(jìn)化次數(shù)，同時(shí)保持其使用的戰(zhàn)略性。

2 T-Rex怪獸過(guò)于強(qiáng)大。它的出現(xiàn)與勝利有很強(qiáng)的相關(guān)性，而且模型總是會(huì)扮演T-Rex，而不考慮召喚到不正確或過(guò)度擁擠的生物群落的懲罰。

根據(jù)這些見(jiàn)解，我們對(duì)游戲進(jìn)行了一些調(diào)整。為了強(qiáng)調(diào)Chimera進(jìn)化是游戲的核心機(jī)制，我們將進(jìn)化一個(gè)Chimera所需的鏈接能量從3降低到1。我們還為T(mén)-Rex生物增加了一個(gè) 「冷卻」期，使其從任何行動(dòng)中恢復(fù)的時(shí)間增加了一倍。

用更新后的規(guī)則重復(fù)我們的「自我游戲」訓(xùn)練程序，我們觀察到這些變化將游戲推向了預(yù)期的方向--每局游戲的平均進(jìn)化次數(shù)增加了，T-Rex的優(yōu)勢(shì)也逐漸消失。

一個(gè)平衡前后T-Rex影響力的例子對(duì)比。這些圖表呈現(xiàn)了當(dāng)一個(gè)卡組發(fā)起特定的法術(shù)互動(dòng)（例如，使用 "閃避 "法術(shù)使T-Rex受益）時(shí)贏得（或失去）的游戲數(shù)量。左：在改動(dòng)之前，T-Rex在每一個(gè)被考察的指標(biāo)中都有很強(qiáng)的影響力--最高的存活率，最有可能被無(wú)視懲罰而召喚，勝利時(shí)吸收的怪獸最多。右圖。變化后，T -Rex的力量大為減少。

通過(guò)削弱T-Rex，我們成功降低了回避連環(huán)元卡組對(duì)超強(qiáng)怪獸的依賴(lài)。即便如此，兩套卡組的勝率依然是60/40，而不是50/50。仔細(xì)查看各個(gè)游戲日志后發(fā)現(xiàn)，游戲的策略性往往不如我們所希望的那樣。再次搜索我們收集到的數(shù)據(jù)，我們又發(fā)現(xiàn)了幾個(gè)需要改變的地方。

首先，我們?cè)黾恿穗p方玩家的起始健康值以及治療法術(shù)可以補(bǔ)充的健康量。這是為了鼓勵(lì)更長(zhǎng)時(shí)間的游戲，讓更多不同的策略蓬勃發(fā)展。特別是，這使得傷害-治愈卡組能夠存活足夠長(zhǎng)的時(shí)間來(lái)利用其治療策略。為了鼓勵(lì)正確的召喚和戰(zhàn)略性生物群落的放置，我們?cè)黾恿爽F(xiàn)有的將怪獸打入不正確或過(guò)度擁擠的生物群落的懲罰。最后，我們通過(guò)小范圍的屬性調(diào)整，縮小了最強(qiáng)和最弱怪獸之間的差距。

新的調(diào)整到位，我們得出了這兩張卡牌的最終游戲平衡性統(tǒng)計(jì)。

結(jié)論

通常情況下，在一個(gè)新的游戲原型中發(fā)現(xiàn)不平衡性可能需要幾個(gè)月的游戲測(cè)試。但通過(guò)這種方法，我們不僅能夠發(fā)現(xiàn)潛在的不平衡，還能在幾天內(nèi)引入調(diào)整來(lái)緩解它們。我們發(fā)現(xiàn)，一個(gè)相對(duì)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)足以在與人類(lèi)和傳統(tǒng)游戲AI的競(jìng)爭(zhēng)中達(dá)到高水平的性能。這些代理可以以更多的方式被利用，例如用于指導(dǎo)新玩家或發(fā)現(xiàn)意外的策略。我們希望這項(xiàng)工作能夠激發(fā)更多探索機(jī)器學(xué)習(xí)在游戲開(kāi)發(fā)中的可能性。

參考資料：

https://ai.googleblog.com

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

Google AI：AlphaGo啟發(fā)，教你用ML擊敗對(duì)手的chimera

新智元報(bào)道

數(shù)字紙牌游戲原型Chimera

Chimera怎么玩

平衡Chimera