原文來源：學術頭條

圖片來源：由無界 AI生成

當前，人工智能（AI）已廣泛應用於眾多領域，包括計算機視覺、自然語言處理、時間序列分析和語音合成等。

在深度學習時代，尤其是隨着大型語言模型（LLMs）的出現，大多數研究人員的注意力都集中在追求新的最先進（SOTA）結果上，使得模型規模和計算複雜性不斷增加。

對高計算能力的需求帶來了更高的碳排放，也阻礙了資金有限的中小型公司和研究機構的參与，從而破壞了研究的公平性。

為了應對 AI 在計算資源和環境影響方面的挑戰，綠色計算（Green Computing）已成為一個熱門研究課題。

近日，螞蟻集團攜手國內眾多高校和研究機構共同發布一項調查報告，系統地概述了綠色計算所使用的技術，並提出了一個綠色計算框架，其中包括以下四個關鍵組成部分：

• 綠色衡量指標（Measures of Greenness）：衡量智能系統所需計算資源的關鍵因素和方法。常見的測量指標包括直接指標，如運行時間、電力消耗和模型大小，也包括間接指標，如碳排放。
• 節能 AI（Energy-Efficient AI）：優化 AI 模型整個生命周期的節能方法，包括模型設計、訓練、推理，還包括針對大型語言模型的優化技術，從而減少訓練和推理的功耗。
• 節能計算系統（Energy-Efficient Computing Systems）：優化計算系統資源消耗的技術，包括集群資源調度、分區和數據管理優化。
• 可持續性 AI 應用（AI for Sustainability）：採用 AI 來提高可持續性的應用，包括用於環境效益（用於環境的綠色計算）和提高工程效率（用於工程的綠色計算）的應用。環境綠色計算包括利用衛星成像 CV 監測空氣污染排放和碳封存估計等應用，工程綠色計算包括優化數據庫安全加密等。

該研究指出，“這一新的研究方向有可能解決資源限制和 AI 發展之間的衝突。”

相關研究論文以“On the Opportunities of Green Computing: A Survey”為題，已發表在預印本網站 arXiv 上。

論文鏈接：

https://arxiv.org/abs/2311.00447

從眾多 AI 算法的訓練和推理案例中，模型大小、參數調優和訓練數據成為影響計算資源的三大主要因素。在這基礎上，該研究總結了六種常見的“環保性”測量方法，包括運行時間、模型大小、FPO/FLOPS（浮點運算操作數）、硬件功耗、能源消耗以及碳排放。

用於跟蹤“環保性”測量的工具包括 tfprof、綠色算法、CodeCarbon、Carbontracker 以及自動 AI 模型環保性跟蹤工具包。

在圖像分類、目標檢測和其他 AI 任務中，一些傳統的深度學習神經網絡模型，如 LeNet、VGG、GoogleNet 等，雖然取得了不錯的性能，但卻需要過多的計算資源。因此，該研究提出使用 Depth-wise Separable Convolution、Fire Convolution、Flattened Convolution 以及Shrinked Convolution 等方法來解決這一問題。

此外，在開發基於圖數據的神經網絡方面，該研究還提出了 ImprovedGCN，其中包含 GCN 的主要必要組成部分。另外，該研究還推薦了另外一種神經網絡——SeHGNN，用於匯總預先計算的鄰近表示，降低了複雜性，避免了在每個訓練周期中重複聚合鄰近頂點的冗餘操作。

在時間序列分類方面，目前常用的集成學習方法需要大量計算資源。為此，研究建議使用LightTS 和 LightCTS 兩種方法來解決這個問題。

另外，Transformer 是一個強大的序列模型，但隨着序列長度的增加，其需要的時間和內存呈指數級增長。自注意力（Self-Attention）類型的網絡在處理長序列時需要大量內存和計算資源。為此，研究建議使用 Effective Attention 以及 EdgeBERT 和 R2D2 兩種模型來應對這一挑戰。

除了特定神經網絡組件的設計，還有一些通用策略可以用於高效的神經網絡結構設計，例如低秩模塊策略、靜態參數共享、動態網絡和超級網絡等策略。這些策略可以無縫地集成到任何參數化結構中。

在模型訓練方面，研究總結了有效訓練範式、訓練數據效率以及超參數優化三個方面的方法。為了實現綠色 AI，降低神經網絡的能源消耗，可以採用模型剪枝、低秩分解、量化和蒸餾等有效方法。

在節能計算系統方面，研究簡要介紹了包括優化雲數據庫資源利用、硬件和軟件協同設計等多方面的解決方案，這些原則也同樣適用於數據分析領域，包括利用混合查詢優化和機器學習等技術，以提高處理過程的能源效率。

值得注意的是，綠色計算強調的是 AI 不僅在其自身的開發和運行中應具備能源效率，還應積极參与各種綠色應用領域，以解決環境和可持續性挑戰。

研究指出，AI 能夠有效地從監測數據、遙感數據和氣象數據中提取有用信息，其中涵蓋了空氣污染監測、碳封存估算、碳價格預測等眾多領域，從而為決策和行動提供指導。

目前，儘管綠色計算已經在能源效率和碳減排方面取得成功，但計算資源仍然成為產業增長的瓶頸。為此，該研究提出了一些未來研究方向，包括在模型評估中加入“綠色度”測量，制定廣泛接受的綠色度評估框架，探索更小但更高效的語言模型，以及鼓勵更多工業應用以降低對環境的影響。

另外，研究指出，綠色計算的未來將依賴於學術界、產業界和政府的共同努力，以實現環境可持續性和 AI 效率的平衡發展。政策支持、創新合作和最佳實踐分享將是推動這一領域進一步發展的關鍵。