最新調(diào)查：AI大模型的兩大難題，要靠“綠色計算”來解決？

在深度學習時代，尤其是隨著大型語言模型（LLMs）的出現(xiàn)，大多數(shù)研究人員的注意力都集中在追求新的最先進（SOTA）結(jié)果上，使得模型規(guī)模和計算復雜性不斷增加。

對高計算能力的需求帶來了更高的碳排放，也阻礙了資金有限的中小型公司和研究機構(gòu)的參與，從而破壞了研究的公平性。

為了應對 AI 在計算資源和環(huán)境影響方面的挑戰(zhàn)，綠色計算（Green Computing）已成為一個熱門研究課題。

近日，螞蟻集團攜手國內(nèi)眾多高校和研究機構(gòu)共同發(fā)布一項調(diào)查報告，系統(tǒng)地概述了綠色計算所使用的技術(shù)，并提出了一個綠色計算框架，其中包括以下四個關(guān)鍵組成部分：

• 綠色衡量指標（Measures of Greenness）：衡量智能系統(tǒng)所需計算資源的關(guān)鍵因素和方法。常見的測量指標包括直接指標，如運行時間、電力消耗和模型大小，也包括間接指標，如碳排放。
  
  
• 節(jié)能 AI（Energy-Efficient AI）：優(yōu)化 AI 模型整個生命周期的節(jié)能方法，包括模型設計、訓練、推理，還包括針對大型語言模型的優(yōu)化技術(shù)，從而減少訓練和推理的功耗。
  
  
• 節(jié)能計算系統(tǒng)（Energy-Efficient Computing Systems）：優(yōu)化計算系統(tǒng)資源消耗的技術(shù)，包括集群資源調(diào)度、分區(qū)和數(shù)據(jù)管理優(yōu)化。
  
  
• 可持續(xù)性 AI 應用（AI for Sustainability）：采用 AI 來提高可持續(xù)性的應用，包括用于環(huán)境效益（用于環(huán)境的綠色計算）和提高工程效率（用于工程的綠色計算）的應用。環(huán)境綠色計算包括利用衛(wèi)星成像 CV 監(jiān)測空氣污染排放和碳封存估計等應用，工程綠色計算包括優(yōu)化數(shù)據(jù)庫安全加密等。
  
  

該研究指出，“這一新的研究方向有可能解決資源限制和 AI 發(fā)展之間的沖突?！?/span>

相關(guān)研究論文以“On the Opportunities of Green Computing: A Survey”為題，已發(fā)表在預印本網(wǎng)站 arXiv 上。

https://arxiv.org/abs/2311.00447

從眾多 AI 算法的訓練和推理案例中，模型大小、參數(shù)調(diào)優(yōu)和訓練數(shù)據(jù)成為影響計算資源的三大主要因素。在這基礎(chǔ)上，該研究總結(jié)了六種常見的“環(huán)保性”測量方法，包括運行時間、模型大小、FPO/FLOPS（浮點運算操作數(shù)）、硬件功耗、能源消耗以及碳排放。

用于跟蹤“環(huán)保性”測量的工具包括 tfprof、綠色算法、CodeCarbon、Carbontracker 以及自動 AI 模型環(huán)保性跟蹤工具包。

在圖像分類、目標檢測和其他 AI 任務中，一些傳統(tǒng)的深度學習神經(jīng)網(wǎng)絡模型，如 LeNet、VGG、GoogleNet 等，雖然取得了不錯的性能，但卻需要過多的計算資源。因此，該研究提出使用 Depth-wise Separable Convolution、Fire Convolution、Flattened Convolution 以及Shrinked Convolution 等方法來解決這一問題。

此外，在開發(fā)基于圖數(shù)據(jù)的神經(jīng)網(wǎng)絡方面，該研究還提出了 ImprovedGCN，其中包含 GCN 的主要必要組成部分。另外，該研究還推薦了另外一種神經(jīng)網(wǎng)絡——SeHGNN，用于匯總預先計算的鄰近表示，降低了復雜性，避免了在每個訓練周期中重復聚合鄰近頂點的冗余操作。

在時間序列分類方面，目前常用的集成學習方法需要大量計算資源。為此，研究建議使用LightTS 和 LightCTS 兩種方法來解決這個問題。

另外，Transformer 是一個強大的序列模型，但隨著序列長度的增加，其需要的時間和內(nèi)存呈指數(shù)級增長。自注意力（Self-Attention）類型的網(wǎng)絡在處理長序列時需要大量內(nèi)存和計算資源。為此，研究建議使用 Effective Attention 以及 EdgeBERT 和 R2D2 兩種模型來應對這一挑戰(zhàn)。

除了特定神經(jīng)網(wǎng)絡組件的設計，還有一些通用策略可以用于高效的神經(jīng)網(wǎng)絡結(jié)構(gòu)設計，例如低秩模塊策略、靜態(tài)參數(shù)共享、動態(tài)網(wǎng)絡和超級網(wǎng)絡等策略。這些策略可以無縫地集成到任何參數(shù)化結(jié)構(gòu)中。

在模型訓練方面，研究總結(jié)了有效訓練范式、訓練數(shù)據(jù)效率以及超參數(shù)優(yōu)化三個方面的方法。為了實現(xiàn)綠色 AI，降低神經(jīng)網(wǎng)絡的能源消耗，可以采用模型剪枝、低秩分解、量化和蒸餾等有效方法。

在節(jié)能計算系統(tǒng)方面，研究簡要介紹了包括優(yōu)化云數(shù)據(jù)庫資源利用、硬件和軟件協(xié)同設計等多方面的解決方案，這些原則也同樣適用于數(shù)據(jù)分析領(lǐng)域，包括利用混合查詢優(yōu)化和機器學習等技術(shù)，以提高處理過程的能源效率。

值得注意的是，綠色計算強調(diào)的是 AI 不僅在其自身的開發(fā)和運行中應具備能源效率，還應積極參與各種綠色應用領(lǐng)域，以解決環(huán)境和可持續(xù)性挑戰(zhàn)。

研究指出，AI 能夠有效地從監(jiān)測數(shù)據(jù)、遙感數(shù)據(jù)和氣象數(shù)據(jù)中提取有用信息，其中涵蓋了空氣污染監(jiān)測、碳封存估算、碳價格預測等眾多領(lǐng)域，從而為決策和行動提供指導。

目前，盡管綠色計算已經(jīng)在能源效率和碳減排方面取得成功，但計算資源仍然成為產(chǎn)業(yè)增長的瓶頸。為此，該研究提出了一些未來研究方向，包括在模型評估中加入“綠色度”測量，制定廣泛接受的綠色度評估框架，探索更小但更高效的語言模型，以及鼓勵更多工業(yè)應用以降低對環(huán)境的影響。

另外，研究指出，綠色計算的未來將依賴于學術(shù)界、產(chǎn)業(yè)界和政府的共同努力，以實現(xiàn)環(huán)境可持續(xù)性和 AI 效率的平衡發(fā)展。政策支持、創(chuàng)新合作和最佳實踐分享將是推動這一領(lǐng)域進一步發(fā)展的關(guān)鍵。