欧美激情视频一区二区,影音先锋男人网站,jizz4国产精品,污污污18禁,黄色视频h,在线超鹏牛,91亚洲电影,大鸡吧操小骚逼视频

來(lái)源：機(jī)器之心

過(guò)去三年，DeepMind 和瑞士洛桑聯(lián)邦理工學(xué)院 EPFL 一直在進(jìn)行一個(gè)神秘的項(xiàng)目：用強(qiáng)化學(xué)習(xí)控制核聚變反應(yīng)堆內(nèi)過(guò)熱的等離子體，如今它已宣告成功。

DeepMind研究科學(xué)家David Pfau在論文發(fā)表后感嘆道：「為了分享這個(gè)時(shí)刻我已經(jīng)等了很久，這是第一次在核聚變研究設(shè)備上進(jìn)行深度強(qiáng)化學(xué)習(xí)的演示！」

可控核聚變、強(qiáng)人工智能、腦機(jī)接口是人類科技發(fā)展的幾個(gè)重要方向，有關(guān)它們何時(shí)可以實(shí)現(xiàn)，科學(xué)家們的說(shuō)法永遠(yuǎn)是「還需幾十年」——面臨的挑戰(zhàn)太多，手頭的方法卻很有限。

那么用人工智能去控制核聚變，是不是一個(gè)有前途的方向？這個(gè)問(wèn)題可能需要由提出 AlphaGo 的 DeepMind 來(lái)回答了。

最近，EPFL 和 DeepMind 使用深度強(qiáng)化學(xué)習(xí)控制托卡馬克裝置等離子體的研究登上了《自然》雜志。

論文地址：https://www.nature.com/articles/s41586-021-04301-9

首先，我們來(lái)思考一個(gè)問(wèn)題：為什么要用人工智能控制核聚變？

托卡馬克是一種用于容納核聚變反應(yīng)的環(huán)形容器，其內(nèi)部呈現(xiàn)出一種特殊的混亂狀態(tài)。氫原子在極高的溫度下被擠壓在一起，產(chǎn)生比太陽(yáng)表面還熱的、旋轉(zhuǎn)的、翻滾的等離子體。找到控制和限制等離子體的方法將是釋放核聚變潛力的關(guān)鍵，而后者被認(rèn)為是未來(lái)幾十年清潔能源的源泉。

在這一點(diǎn)上，科學(xué)原理似乎是說(shuō)得通的，剩下的就是工程挑戰(zhàn)。參與該研究的瑞士等離子體中心（SPC）主任 Ambrogio Fasoli 表示：「我們需要能夠加熱這個(gè)裝置，并保持足夠長(zhǎng)的時(shí)間，以便我們從中吸取能量?！?/span>

在同樣由聚變驅(qū)動(dòng)的恒星中，僅依靠引力質(zhì)量就足以將氫原子拉到一起并克服它們的相反電荷。在地球上，科學(xué)家們改為使用強(qiáng)大的磁線圈來(lái)限制核聚變反應(yīng)，將其推到所需的位置。這些線圈必須仔細(xì)控制，以防止等離子體接觸容器本身：這會(huì)損壞容器壁并減慢聚變反應(yīng)。?

但每次研究人員想要改變等離子體的配置并嘗試不同的形狀，以產(chǎn)生更多的能量或更純凈的等離子體時(shí)，都需要大量的工程和設(shè)計(jì)工作。傳統(tǒng)的系統(tǒng)是由計(jì)算機(jī)控制的，基于模型和模擬，但 Fasoli 表示傳統(tǒng)方法「復(fù)雜且不一定能起到優(yōu)化的作用」。

DeepMind 控制團(tuán)隊(duì)負(fù)責(zé)人 Martin Riedmiller 表示：「人工智能，特別是強(qiáng)化學(xué)習(xí)，特別適合解決托卡馬克中控制等離子體的復(fù)雜問(wèn)題?！笵eepMind 在論文中詳細(xì)介紹了所提的可以自主控制等離子體的 AI。

技術(shù)概覽

DeepMind 提出的模型架構(gòu)如下圖所示，該方法具有三個(gè)階段：

第一階段：設(shè)計(jì)者為實(shí)驗(yàn)指定目標(biāo)，可能伴隨著隨時(shí)間變化的控制目標(biāo)；
第二階段：深度 RL 算法與托卡馬克模擬器交互，以找到接近最優(yōu)的控制策略來(lái)滿足指定目標(biāo)；
第三階段：以神經(jīng)網(wǎng)絡(luò)表示的控制策略直接在托卡馬克硬件上實(shí)時(shí)運(yùn)行（零樣本）。

圖 1：控制器設(shè)計(jì)架構(gòu)（controller design architecture）的各組件示意圖。

在第一階段，實(shí)驗(yàn)?zāi)繕?biāo)由一組目標(biāo)指定，這些目標(biāo)包含不同的期望特性。特性范圍包括位置和等離子體電流的基本穩(wěn)定，以及多個(gè)時(shí)變目標(biāo)的復(fù)雜組合。然后，這些目標(biāo)被組合成一個(gè)獎(jiǎng)勵(lì)函數(shù)，在每個(gè)時(shí)間步驟中為狀態(tài)分配一個(gè)標(biāo)量質(zhì)量度量。該獎(jiǎng)勵(lì)函數(shù)還懲罰控制策略，讓其不會(huì)達(dá)到終端狀態(tài)。至關(guān)重要的是，精心設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)將被最低限度地指定，從而為學(xué)習(xí)算法提供最大的靈活性以達(dá)到預(yù)期的結(jié)果。

在第二階段，高性能 RL 算法通過(guò)與環(huán)境交互來(lái)收集數(shù)據(jù)并找到控制策略，如圖 1a、b 所示。該研究使用的模擬器具有足夠的物理保真度來(lái)描述等離子體形狀和電流的演變，同時(shí)保持足夠低的計(jì)算成本來(lái)學(xué)習(xí)。具體來(lái)說(shuō)，該研究基于自由邊界等離子體演化（free-boundary plasma-evolution ）模型，對(duì)等離子體狀態(tài)在極向場(chǎng)線圈電壓的影響下的演化進(jìn)行建模。

RL 算法使用收集到的模擬器數(shù)據(jù)來(lái)找到關(guān)于指定獎(jiǎng)勵(lì)函數(shù)的最優(yōu)策略。由于演化等離子體狀態(tài)的計(jì)算要求，模擬器的數(shù)據(jù)速率明顯低于典型 RL 環(huán)境的數(shù)據(jù)速率。該研究通過(guò)最大后驗(yàn)策略優(yōu)化 (MPO) 來(lái)克服數(shù)據(jù)不足問(wèn)題。MPO 支持跨分布式并行流的數(shù)據(jù)收集，并以高效的方式進(jìn)行學(xué)習(xí)。

在第三階段，控制策略與相關(guān)的實(shí)驗(yàn)控制目標(biāo)綁定到一個(gè)可執(zhí)行文件中，使用量身定制的編譯器（10 kHz 實(shí)時(shí)控制），最大限度地減少依賴性并消除不必要的計(jì)算。這個(gè)可執(zhí)行文件是由托卡馬克配置變量（TCV）控制框架加載的（圖 1d）。每個(gè)實(shí)驗(yàn)都從標(biāo)準(zhǔn)的等離子體形成程序（plasma-formation procedures）開(kāi)始，其中傳統(tǒng)控制器維持等離子體的位置和總電流。在預(yù)定時(shí)間里，稱為「handover」，控制切換到控制策略，然后啟動(dòng) 19 個(gè) TCV 控制線圈，將等離子體形狀和電流轉(zhuǎn)換為所需的目標(biāo)。訓(xùn)練完成后將不會(huì)進(jìn)一步調(diào)整網(wǎng)絡(luò)權(quán)值，換句話說(shuō)，從模擬到硬件實(shí)現(xiàn)了零樣本遷移。

基本功能演示

該研究在 TCV 實(shí)驗(yàn)中展示了所提架構(gòu)在控制目標(biāo)上的能力。首先他們展示了對(duì)等離子體平衡基本質(zhì)量的精確控制?？刂撇呗孕阅苋鐖D 2 所示。所有任務(wù)都成功執(zhí)行，跟蹤精度低于期望的閾值。結(jié)果表明 RL 體系架構(gòu)能夠在放電實(shí)驗(yàn)的所有相關(guān)階段進(jìn)行精確的等離子體控制。

圖 2：等離子體電流、垂直穩(wěn)定性、位置與形狀控制的演示。

控制演示

接下來(lái)，該研究展示了所提架構(gòu)為科學(xué)研究生成復(fù)雜配置的能力。結(jié)果如圖 3 所示：

圖 3 控制演示。

全新多域等離子體演示

最后展示了架構(gòu)在探索全新等離子配置方面的強(qiáng)大功能。DeepMind 測(cè)試了「液滴」（droplets）的控制，這是一種在容器內(nèi)部同時(shí)存在兩個(gè)獨(dú)立等離子體的配置。通過(guò)提出的方法，DeepMind 簡(jiǎn)單地調(diào)整了模擬切換狀態(tài)，以考慮來(lái)自單軸等離子體的不同切換條件，并定義一個(gè)獎(jiǎng)勵(lì)函數(shù)以保持每個(gè)液滴組件的位置穩(wěn)定，同時(shí)增加域等離子體電流。

圖 4：整個(gè) 200 毫米控制窗口內(nèi)對(duì) TCV 上兩個(gè)獨(dú)立液滴的持續(xù)控制演示。

未來(lái)展望

總而言之，隨著聚變反應(yīng)堆變得越來(lái)越大，與 DeepMind 展開(kāi)合作或許是最關(guān)鍵的。盡管物理學(xué)家已經(jīng)很好地掌握了如何通過(guò)傳統(tǒng)方法控制小型托卡馬克中的等離子體，但隨著科學(xué)家們嘗試令核電站規(guī)模的版本可行，挑戰(zhàn)只會(huì)更多。該領(lǐng)域正取得緩慢但穩(wěn)定的進(jìn)展。?

上周，位于英國(guó)牛津郡的歐洲聯(lián)合環(huán)狀反應(yīng)堆（JET）項(xiàng)目取得了突破，創(chuàng)造了從聚變實(shí)驗(yàn)中提取能量的新紀(jì)錄，在 5 秒時(shí)間內(nèi)產(chǎn)生了 59 兆焦耳的能量。與此同時(shí)，位于法國(guó)的國(guó)際熱核聚變實(shí)驗(yàn)反應(yīng)堆（ITER）國(guó)際合作項(xiàng)目正在建設(shè)當(dāng)中，預(yù)計(jì)將于 2025 年啟動(dòng)并成為世界上最大的實(shí)驗(yàn)性聚變反應(yīng)堆。

圣地亞哥能源研究中心的副研究科學(xué)家 Dmitri Orlov 表示，「托卡馬克裝置越復(fù)雜，性能越高，就越需要通過(guò)越來(lái)越高的可靠性和準(zhǔn)確性來(lái)控制更多數(shù)量?！笰I 控制的托卡馬克裝置可以通過(guò)優(yōu)化，以控制熱量從反應(yīng)中轉(zhuǎn)移到容器壁上，并防止破壞性的「等離子體不穩(wěn)定性」。反應(yīng)堆本身可以重新設(shè)計(jì)，以利用強(qiáng)化學(xué)習(xí)所提供的更嚴(yán)格控制。

最終，Ambrogio Fasoli 認(rèn)為，與 DeepMind 的合作可以讓研究人員突破界限，加速通往聚變能量的漫長(zhǎng)旅程。人工智能將賦能我們探索人類無(wú)法探索的東西，因?yàn)槲覀兛梢允褂米约翰桓颐半U(xiǎn)的控制系統(tǒng)來(lái)達(dá)到目標(biāo)?！溉绻覀兇_定自己有一個(gè)控制系統(tǒng)，讓我們接近極限但不會(huì)超出極限，則實(shí)際上可以用來(lái)探索那些不存在的可能性?！?/span>

參考鏈接：

https://www.wired.com/story/deepmind-ai-nuclear-fusion/

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

史上首次，強(qiáng)化學(xué)習(xí)算法控制核聚變登上Nature：DeepMind讓人造太陽(yáng)向前一大步

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

史上首次，強(qiáng)化學(xué)習(xí)算法控制核聚變登上Nature：DeepMind讓人造太陽(yáng)向前一大步

史上首次，強(qiáng)化學(xué)習(xí)算法控制核聚變登上Nature：DeepMind讓人造太陽(yáng)向前一大步