院士的話

如何實現低能耗人工智能計算?

人工智能的發展歷程中，一個重要的推動因素是對人類神經系統的研究。通過對視覺皮層、聽覺系統以及其他神經系統的深入研究，科學家們得以理解和模擬大腦處理信息的方式，這些研究成果為構建更先進的人工智能算法提供了理論基礎。然而，盡管人工智能在許多方面已經取得了顯著的進步，但在能耗效率上卻遠遜于人腦。相關研究表明，完成特定任務的人工智能計算系統的能耗大約是人腦處理相同任務能耗的數千倍。這種巨大的能源消耗不僅限制了人工智能的應用范圍，也對環境產生了負面影響。

因此，發展低能耗的人工智能成為了科研人員的緊迫任務。未來，人工智能的發展借鑒生物神經系統高效節能的信息處理方式，通過模仿大腦的神經網絡結構和突觸傳遞機制，開發出能夠像人腦一樣在極低能耗下運行的人工智能系統。這樣的類腦技術將有可能帶來一場人工智能的革命。發展低能耗人工智能計算不僅是解決當前算力瓶頸和環境問題的關鍵，也將推動人工智能走向千行百業，真正改變我們的生活和社會。

錢德沛

中國科學院院士，北京航空航天大學教授

01

何為人工智能？

人工智能（ArtifcialIntelligence，AI）是一門研究如何使計算機能夠模擬和執行人類智能任務的科學和技術領域。它致力于開發能夠感知、理解、學習、推理、決策和與人類進行交互的智能系統。1956年8月在美國的達特茅斯夏季人工智能研究計劃中首次提出并確立了人工智能這一研究領域。因此1956年被普遍認為是人工智能元年，但人工智能真正為大眾普遍關注是在2010年前后，當神經網絡終于被明確證明是非常有效的機器學習架構時。研究人員通過學習人類視覺神經系統，發現卷積神經網絡能夠解決機器視覺問題；通過學習人類大腦的獎勵機制，發現了強化學習的方法從而大幅提升機器學習效率。要進一步了解人工智能，就要了解機器學習、深度學習、神經網絡這些術語。

從視覺神經網絡到機器視覺

人類一直渴望機器能像人一樣擁有智能。機器“看懂這個世界”即機器視覺，就是計算機接收到視覺信息如圖片、視頻、文字并能夠進行識別、分類、分析的智能處理過程。哈佛大學的大衛·休伯爾和托斯坦·維厄瑟爾是兩位神經生物學家，他們因在貓的視覺系統的研究成果獲得了1981年的諾貝爾生理學或醫學獎。他們發現視覺信號是通過幾層神經元傳遞后呈現的結果。在初級視覺皮層中，每個神經元僅連接到視野的一小部分區域，這些神經元被稱為簡單細胞。在下一層，即視覺皮層中，其他單元集成了上一層激活的信息，使得視覺對象即使在視野中稍微移動，視覺系統也能保持圖像的呈現，這些單元被稱為復雜細胞。這種由簡單探測器（簡單細胞）被“總結”來創建更復雜探測器（復雜細胞）的機制遍布整個人類視覺系統。最終這種結構和機制成為卷積神經網絡模型的基礎。

▲卷積神經網絡架構

（引自：Yann LeCun論文：Gradient-based learning applied to document recognition）

卷積神經網絡的架構如圖所示，它是計算機視覺最經典的架構，它模擬人類視覺神經元的感受野，將輸入的圖像分割為像素點矩陣，通過卷積運算和滑動窗口完成輸入信息的特征學習，具有非常高的視覺識別、分類和檢測性能，被廣泛應用于自動駕駛、人臉識別、自助超市等場景。

02

人工智能大模型高能耗的挑戰

全球綠色可持續發展目標

今年聯合國氣候大會指出，全球碳排放量自2019年以來持續上升，盡管全球在減少溫室氣體排放方面取得了一些進展，但仍不足以實現巴黎協定的溫度目標。2015年簽署《巴黎協定》時，預計到2030年的溫室氣體排放量將增加16%，而如今預計的增加幅度為3%。然而，到2030年溫室氣體排放仍需分別下降28%和42%，才能達到《巴黎協定》的氣溫上升2°C 和1.5°C的限制。能源是溫室氣體排放的主要來源，目前占全球二氧化碳排放量的86%。報告呼吁所有國家加速低碳經濟發展的轉型，擁有更大能力和排放責任的國家需要采取更具雄心的行動。

大模型高能耗的挑戰

人工智能模型的訓練和推理是實現人工智能應用的關鍵環節。訓練的過程可以類比為人類的學習過程，需要花費時間和精力來理解和掌握知識；推理可以類比為人類的決策過程，是利用已有的知識進行判斷和決策。

人工智能模型訓練能耗巨大。根據斯坦福人工智能研究所（HAI）發布的《2023年人工智能指數報告》，OpenAI的GPT-3完成訓練耗電量高達1287兆瓦時（1 兆瓦時=1000千瓦時），大約相當于120個美國家庭1年的用電量。而這僅僅是訓練人工智能模型的電力消耗。

▲全球承諾排放量示意圖

（引自《Emissions?Gap?Report?2023》）

03

如何應對人工智能的高能耗問題

低能耗人工智能是指在保證性能的同時，降低人工智能計算平臺的功耗。隨著人工智能技術的廣泛應用，越來越多的設備開始搭載人工智能算法，而這也使得這些設備的電量消耗不斷增加。因此，如何降低人工智能的能耗，延長設備的續航時間，成為了當前亟待解決的問題。

更高效的數據

數據被視為AI系統的基石，是機器學習算法進行訓練和學習的“燃料”，現階段先進的大模型進行參數訓練時，常采用依賴于海量數據的粗獷式計算方式，造成大量計算資源和存儲空間浪費。相比于“數海戰術”，足量的優質數據更能為AI系統提供全面的、準確的訓練信息，使算法在面對未知的情況時能夠做出準確且具有魯棒性的決策。為了適應AI算法的小樣本訓練和學習，可以通過數據清洗、數據預處理、特征工程等對原始數據進行有效改造，將數據轉化為高價值資源，為低能耗AI的開發及優化提供有力支持。

▲數據優化示意圖

優化算法

在人工智能領域，算法是人工智能技術的核心，也是能耗的重要組成部分。隨著“百模大戰”競爭的不斷加劇，頂級的NLP模型參數已經高達上千億，訓練使用的高性能加速卡增長到了約4000張，所帶來的功耗和成本需求更是驚人。因此，在不降低模型性能的前提下，針對特定應用場景，需要根據數據特性和任務需求，探索算法創新和超參調優，減少模型的復雜度和計算量，進行精細的優化和設計。好的算法可以更好地匹配訓練數據，有效挖掘特征信息，更好的理解數據的本質和規律，顯著縮短模型訓練的時間。模型在推理部署前進行量化和壓縮，使模型在運行時更加高效和穩定，進一步降低能源消耗。

硬件提升

算力是模型算法利用數據進行訓練和推理的硬件底座，如深度學習算法的計 算任務通常具有海量數據、復雜計算、高度并行等特性，需要計算單元和存儲單元高效協同工作，快速完成大規模數據的并發計算和模型的參數優化。相比于中央處理器，圖形處理器有更多的計算單元和線程以及更大的內存和帶寬，適合人工智能模型的訓練和推理。如美國英偉達公司的A100GPU是2020年5月正式發布的，采用7納米制程技術，在AI算力方面比前代產品V100有顯著提升；2022年3月正式發布H100 GPU，采用4納米制程技術，并且在AI算力和高帶寬內存等方面比前代產品有顯著提升。如圖7所示的性能對比。另一種專門用于加速神經網絡推理階段的定制ASIC，如Google的張量處理單元，Google在2021 年5月發布了第四代張量處理單元TPUv4i。這是用于加速機器學習特別是深度學習。

▲Nvidia的GPU?A100和H100性能對比圖

（引自Datasheet?of?NVIDIA?H100?Tensor?Core?GPU）

04

總結

智能計算將逐步成為主流計算方式，低能耗是人工智能走進千行百業、千家萬戶的必然途徑。解決人工智能產業的高耗能問題，將促進全社會數智化轉型，助力實現高質量發展、碳達峰與碳中和的發展目標。智能計算將逐步成為主流計算方式，低能耗是人工智能走進千行百業、千家萬戶的必然途徑。解決人工智能產業的高耗能問題，將促進全社會數智化轉型，助力實現高質量發展、碳達峰與碳中和的發展目標。

下期小編還會給大家帶來其他前沿科技的解讀內容，歡迎讀者朋友們持續關注我們！

圖文內容來源于：

《面向未來的科技——2023重大科學問題、工程技術難題和產業技術問題解讀》

微信號｜大美科學

07-05熱文

06-26熱文