導語：

2025年2月，蘭德公司發布《通用人工智能的五大國家安全難題》（Artificial General Intelligence’s Five Hard National Security Problems）報告。報告指出，通用人工智能（AGI）的出現存在可能性，美國國家安全界需要嚴肅對待這一議題。然而，AGI的發展軌跡及其突破性影響，乃至后AGI時代的世界格局，都深陷巨大的不確定性中。這種不確定性對戰略決策者和政策制定者構成嚴峻挑戰，他們既要預判通向AGI過程中可能出現的風險與機遇，又需規劃AGI實現后的應對策略。

圖源：RAND

本報告提煉出AGI對美國國家安全的五大戰略性挑戰：

（1）顛覆性武器系統的涌現；

（2）權力格局的系統性重構；

（3）非專業主體掌握大規模殺傷性技術；

（4）具備能動性的人工實體；

（5）全球穩定體系的失衡。

當前政策界對AGI的討論常陷入觀點割裂狀態，各方對優先關注領域和資源分配方向存在顯著分歧。值得注意的是，某些應對特定挑戰的方案可能與其他領域的風險防控形成沖突，甚至產生系統性疏漏。本文提出的五大挑戰框架旨在實現雙重目標：建立統一的風險評估話語體系，構建戰略選擇的評估基準，從而為政策辯論提供結構化分析工具。

背景

紅線

1938年，德國物理學家分裂了原子，全世界的物理學家都為之驚嘆。這一科學突破為創造歷史上最具破壞性的軍事能力提供了一條清晰的技術途徑。正如阿爾伯特·愛因斯坦在給美國總統富蘭克林·羅斯福的一封信中解釋的那樣，在大量鈾中，一個原子的核裂變可以引起核連鎖反應，從而產生“威力極大的炸彈”，這使得美國開始了原子彈競賽。

最近在前沿生成式人工智能模型方面取得的突破使許多人斷言，人工智能將對國家安全產生同樣的影響，也就是說，它將如此強大，以至于第一個實現它的實體將擁有重大的、也許是不可逆轉的軍事優勢。與愛因斯坦的信類似，在現代社會，人們開始呼吁美國政府在全國范圍內做出巨大努力，確保美國在特定國家之前獲得具有決定性意義的人工智能奇跡武器（wonder weapon）。

問題在于，前沿的生成式人工智能模型還沒有到原子分裂的那一刻，還沒有顯示出從科學進步到奇跡武器的清晰技術路徑。當曼哈頓計劃啟動時，美國政府清楚地知道它正在建造的能力能做什么。下一代人工智能模型的能力尚不明確。

目前，推動政府在全國范圍內開展大規模項目以研發奇跡武器的動力還不存在。但這并不意味著美國政府應該袖手旁觀。美國的國家安全戰略應認真對待世界領先的人工智能實驗室正處于開發AGI的風口浪尖這一不確定但技術上可信的可能性，以及它們將繼續取得進展直至跨越這一未知和潛在門檻的相對確定性。

AGI將在各種認知任務中產生人類水平甚至超人水平的智能，這是可信的；我們有理由認為它可以實現。因此，它為美國的國家安全戰略帶來了獨特的機遇和潛在的威脅。報告將這些問題提煉為五個難題。AGI可能導致這五個問題的任何組合：

1.通過突然出現具有決定性意義的奇跡武器，實現重大的先發優勢

2.引起系統性變化，改變全球力量平衡

3.賦予非專業人員開發大規模毀滅性武器的能力

4.導致出現擁有能動性的人造實體，威脅全球安全

5.增加戰略不穩定性

固有的不確定性??

紅線

美國和全球領先的人工智能實驗室都在緊追AGI。人工智能實驗室主要依靠經驗性的“縮放定律”，即模型性能與計算量成正比，不斷加大對訓練模型所需的計算量的投入。新一代人工智能前沿模型（包括ChatGPT-4、Gemini和Claude3.5）中每個模型的訓練運行都依賴于數億美元的計算。算法的改進（如OpenAI的o1推理功能）和相關技術領域的進步（如符號推理）為實現AGI的突破提供了互補途徑。盡管尚未取得實質性的商業成功，但領先的人工智能實驗室正在建立自己的戰備庫，并積極追求到2027年耗資10億美元或更多的模型。

目前還不清楚性能是否會隨著計算量的增加而不斷提高。如果會，那么尚不清楚AGI的門檻是什么，是否能通過這種方法實現技術突破。AGI出現的速度和潛在進展，以及后AGI時代的未來構成，都籠罩在一片不確定性之中。專家們激烈地爭論著：

這項技術是即將問世還是還需要幾十年的時間？

向AGI狀態的過渡是一個離散的事件還是一個漸進的過程？

AGI會帶來一個人人富足的未來，還是一個權力掌握在少數人手中、以稀缺為特征的未來？

更不確定的是，開發前沿人工智能模型的技術人員可能直到真正跨越了AGI能力的臨界點，才知道臨界點在哪里。其中一些不確定性可以通過進一步的研究和經驗來解決，但有些不確定性可能實際上無法及時解決，從而無法為戰略和政策的制定提供依據。

一方面，人工智能末日論者大多相信，AGI的出現會給人類帶來滅頂之災，因此一些人呼吁在AGI毀滅人類之前停止一切進展，另一些人則呼吁美國在特定國家能夠摧毀全球秩序之前加快發展。另一方面，懷疑論者比比皆是，他們斷言，在當前的技術范式下，AGI根本不可行，因為前沿的人工智能模型并不了解物理世界。

在技術層面上，100億美元的訓練運行所產生的模型，其性能與現有的前沿人工智能模型相比沒有邊際增長。或者，模型可以實現遞歸自我改進能力，在不增加人類投入的情況下增強自身能力，從而實現某種超人智能的爆炸。

在通往AGI的道路上以及在后AGI世界中存在的不確定性，可能導致未來十年出現多個戰略機會窗口，使政策制定者面臨不止一個可能的拐點。考慮到這一系列似是而非的結果，任何針對單一模式過度優化的安全戰略都是高風險的。核心問題不是預測未來將如何發展，而是確定美國政府在技術和地緣政治不確定的情況下應采取哪些措施。

五個問題??

紅線

蘭德公司領導了一項倡議，旨在為美國解決AGI潛在出現對國家安全的影響奠定知識基礎。該倡議在政策制定者、私營部門和研究機構之間形成了一個充滿活力的知識社區，同時在蘭德公司內部也擁有一些自足的能量。美國國家安全的五大難題清單就是該倡議的產物，其中包括各種探索性研究、游戲、研討會和會議。在有關AGI的許多討論中，政策制定者和分析師們對其中哪些問題值得現在就投入資源和關注，以及需要付出怎樣的機會成本意見不一，爭論不休。這些問題在領域上存在重疊，可能并不代表決策者在AGI出現的時代可能需要考慮的全部問題。

然而，我們已經注意到，推動一個問題取得進展的建議可能會破壞另一個問題的進展，甚至完全忽略另一個問題。因此，它們可以作為評估替代戰略的標準。提出這五個棘手的國家安全問題是為了推動有關人工智能戰略的討論，提供一種共同語言來交流人工智能在國家安全中的風險和機遇。

（一）AGI可能會通過突然出現決定性的奇跡武器而帶來顯著的先發優勢

設想在未來，AGI推動了一種技術突破，為開發一種奇跡武器或系統開辟了一條清晰的道路，這種武器或系統可通過以下方式帶來巨大的軍事優勢。

1.識別和利用對手網絡防御中的漏洞，創造出可能被稱為精彩的首次網絡攻擊，使報復性網絡攻擊完全失效。

2.模擬復雜場景，高精度預測結果，大幅改進軍事行動的規劃和執行。

3.開發高度先進的自主武器系統，提供軍事主導權。

人工智能還可能削弱軍事優勢，例如制造一種戰爭迷霧機器，提供不可信的戰場信息。這種先發優勢可能會破壞關鍵戰區的軍事力量平衡，帶來一系列擴散風險，并加速技術競賽態勢。

一個國家從AGI中獲得顯著的先發優勢反映了最雄心勃勃的假設：AGI的突然出現帶來認知性能的大幅提升、對國家安全的極端影響以及快速的機構采用。然而，這些假設都是對未知概率的高后果事件的假設。因此，審慎的規劃要求美國不要假定奇跡武器即將出現，而是要考慮這種破壞性武器可能出現的條件，并要求美國做好定位，以便在這種情況出現時搶占先機。

（二）AGI可能會導致國家權力工具或國家競爭力的社會基礎發生系統性轉變，從而改變全球力量的平衡

歷史表明，技術突破很少會產生對軍事平衡或國家安全產生直接決定性影響的奇跡武器。除了核武器等罕見的例子外，文化和程序因素是一個機構采用技術能力的驅動力，比率先實現科技突破更具影響力。隨著美國、盟國和競爭對手的軍隊開始接觸并采用AGI，它可能會提升影響軍事競爭關鍵組成部分的各種能力，從而打破軍事平衡，如隱藏與發現、精確與大規模、集中與分散的指揮和控制。

此外，AGI可能會破壞國家競爭力的社會基礎，從而可能危及民主。例如，AGI可能會被用來通過先進的宣傳技術操縱公眾輿論，從而威脅民主決策。此外，AGI系統的復雜性和不可預測性可能會超過監管框架，從而難以有效管理其使用，破壞機構的有效性。

AGI還可以通過創造新發現的源泉，大規模提升生產力或科學水平，從而導致經濟的系統性轉變。例如，自動化工人可以迅速取代各行各業的勞動力，導致國民生產總值飆升，但工資卻因工作崗位減少而崩潰。如此規模和速度的勞動破壞可能引發社會動蕩，威脅到民族國家的生存。

此外，正如Anthropic公司首席執行官達里奧·阿莫代（Dario Amodei）最近所言，強大的人工智能可以治愈癌癥和傳染病。那些能夠更好地利用和管理這種經濟和科學變革的國家，在未來可能會大大擴大影響力。無論AGI本身是否能創造出奇跡武器，AGI對其他國家權力工具的影響都會對全球權力態勢產生極大的破壞性影響，無論是好是壞。

（三）AGI可能賦予非專家開發大規模殺傷性武器的能力

基礎模型之所以被譽為提高勞動生產率的福音，很大程度上是因為它們可以加快新手的學習曲線，使非專家的表現更上一層樓。然而，這種加速的知識增長既適用于惡意任務，也適用于有用任務。基礎模型能夠清楚地闡明非專家開發危險武器的一些具體步驟，如具有高度致命性和傳播性的病原體或毒性網絡惡意軟件，從而擴大了有能力制造此類威脅的行為者范圍。

迄今為止，大多數基礎模型尚未證明有能力提供公共互聯網上尚未提供的信息，但基礎模型有能力充當惡意導師，將復雜的方法提煉成非專家可以理解的指令，并協助用戶規避開發武器的禁令。這種威脅可能會在開發AGI之前就顯現出來；正如OpenAI自己對其o1模型的安全評估所顯示的那樣，風險正在增加。

當然，知道如何制造大規模殺傷性武器并不等于真的能制造出來。將知識轉化為武器開發的離散形式，例如掌握技術先進的制造流程，存在著實際挑戰。在某些情況下，例如核武器，這些可以大大降低武器研發成功的實際風險，甚至可能降至零。但相關領域的技術發展正在降低這些執行障礙。

例如，獲取、編輯和合成病毒基因組越來越容易，成本也越來越低。人工智能體與物理世界的互動越來越多；它們可以將比特轉換為分子，并在云實驗室中物理合成化學制劑。鑒于這些發展，大幅擴大擁有知識并嘗試開發此類武器的行為者范圍是一個值得防范的明顯挑戰。

（四）AGI可能會表現為具有威脅全球安全的能動性的人工實體

AGI發展最有害的影響之一可能是，隨著人類對技術的依賴性越來越強，人類的能動性也會受到侵蝕。隨著AGI控制越來越復雜和關鍵的系統，它們可能會以對人類有益的方式優化關鍵基礎設施，但也可能以人類無法完全理解的方式優化關鍵基礎設施。

目前，用于識別戰場上軍事目標的狹義人工智能就存在這種問題，由于缺乏時間或能力確認，人類操作員可能需要相信這些目標是準確的。隨著人工智能變得越來越強大和無處不在，人類將越來越依賴人工智能為決策提供信息，從而模糊了人類與機器決策之間的界限，并可能削弱人類的能動性。

單一的AGI或人工智能體群也可能成為世界舞臺上的演員。考慮一下具有高級計算機編程能力的AGI，由于設計了互聯網連接或使用了側信道攻擊，它能夠打破常規，在網絡空間與世界互動。它可以擁有超越人類控制的能力，自主運行，并做出具有深遠影響的決定。例如，AGI可充當代理力量，類似伊朗的抵抗軸心，其非正式關系旨在保護行為者免于問責。即使在責任明確的情況下，AGI也可能出現偏差，即運行方式與其人類設計者或操作者的意圖不符，造成無意傷害。它可能會過度優化狹義的目標，例如，實施滾動停電以提高能源分配網絡的成本效益。OpenAI在其最新的人工智能o1中提高了對錯位風險的評分，因為它“有時會在測試過程中用儀器偽造對齊”，故意提供錯誤信息欺騙用戶。

在極端情況下，可能會出現失控的情況，即AGI為實現其預期目標而激勵機器抵制關閉，從而與人類的努力背道而馳。著名人工智能專家約書亞·本吉奧（Yoshua Bengio）指出：

“這聽起來像是科幻小說，但卻是合理而真實的計算機科學。”

出足夠的能動性，從而在全球舞臺上被視為實際上的獨立角色。

（五）在通往AGI的道路上以及在擁有AGI的世界中，可能存在不穩定性

無論AGI最終能否實現，隨著各國和各公司競相爭奪這一變革性技術的主導權，對AGI的追求可能會帶來一段不穩定時期。這種競爭可能會導致緊張局勢加劇，讓人聯想起核軍備競賽，從而使對優勢的追求有可能引發沖突，而不是阻止沖突。

在這種岌岌可危的環境中，各國對AGI的可行性和帶來先發優勢的潛力的看法可能變得與技術本身一樣重要。行動的風險閾值不僅取決于實際能力，還取決于對手的認知能力和意圖。誤讀或誤判就像冷戰時期人們擔心的那樣，可能會引發先發制人的戰略或軍備集結，從而破壞全球安全。下圖總結了這些問題以及普遍存在的不確定性問題。

通用人工智能的五大國家安全難題。

制定強有力的戰略??

紅線

美國的人工智能戰略目的是在人工智能技術堆棧的核心組件方面保持對特定國家的技術領先地位。這一提升美國技術競爭力的戰略在很大程度上為美國應對可能出現的人工智能做好了準備。然而，如果半導體出口管制沒有得到有效執行，特定國家的半導體產業能夠在適當的時候迎頭趕上，或者可以通過計算密集度較低的技術實現AGI，那么將計算作為確保國家競爭優勢的重要指標可能是一種脆弱的戰略。

美國的政策還鼓勵安全開發前沿的人工智能模型，以避免人工智能誤用、錯位或失控造成災難性后果。美國新成立的人工智能安全研究所已經開始運行，重點關注人工智能安全，評估非國家行為者試圖利用前沿人工智能模型開發生物武器或新型網絡惡意軟件的風險。

美國當前的戰略還包括一系列無悔方案，以應對AGI的潛在出現，這些方案在任何替代性未來下都是明智的。這些方案包括投資于科學、技術、工程和數學教育以及勞動力發展；提高對技術及其應用現狀的態勢感知；保護容易被競爭對手竊取或破壞的前沿人工智能模型權重；以及進一步促進人工智能安全和調整研究。

最后，美國政府正在推動建立一個由美國主導的全球技術生態系統，在這個生態系統中可以開展AGI研究。

這些建設性步驟有助于保持美國的技術優勢，而無需考慮具體的最終狀態。與此同時，這些措施不足以應對顛覆性技術突破的前景，如AGI的潛在出現及其帶來的獨特問題。

要想維持現狀，就必須相信，當AGI發展中的不確定性揭示出機遇和挑戰時，美國能夠有效應對。然而，美國政府在避免美國或外國公司追求AGI所帶來的技術意外方面準備不足，更不用說管理AGI破壞全球權力動態和全球安全的潛力了。

美國也沒有做好充分準備，在不出現大范圍失業和隨之而來的社會動蕩的情況下，實現AGI所帶來的宏大經濟效益。如果在未來幾年內，一家領先的人工智能實驗室宣布，其即將推出的模型有能力一鍵生產出相當于100萬名計算機程序員的計算機程序，其能力不亞于最頂尖的百分之一人類程序員，那么美國政府會怎么做呢？攻防型網絡動力學對國家安全的影響是深遠的。同樣深遠的還有將這種能力引入勞動力市場所帶來的經濟影響。

任何在不確定的未來制定路線的明智戰略，都應隨著事態的發展和不確定因素的減少而進行調整。為了使政府能夠迅速做出調整，應在需要時提前制定高風險政策選擇的戰略規劃，并考慮到執行機制。備選方案可包括確保或加快美國在追求AGI方面的技術領先地位的方法，以及應對AGI帶來的安全挑戰的應急計劃。美國政府還應考慮AGI后的未來，并參與情景演練，以預測對國家安全的影響。這包括：

（1）分析軍事力量態勢和經濟破壞的潛在變化；

（2）制定政策以減輕這兩方面的影響。

隨著人工智能能力從科幻領域過渡到科學事實，美國政府不應在發現和應對機遇與挑戰方面姍姍來遲。積極的規劃將使美國政府在條件允許的情況下做出比2025年初更果斷的反應。

在思考AGI對全球安全的影響時，人類正處于一個潛在變革時代的前沿，類似于工業革命的黎明。AGI的出現不僅預示著一場技術革命，也預示著地緣政治格局的深刻變化，需要重新調整國家安全模式。當我們在這片不確定的領域上航行時，美國應采取一種既有預見性又有適應性的戰略，認識到AGI的雙重性，它既是一種希望，也是一種危險。

*文章來源于公眾號“啟元洞見”

編輯/寂谷

審校/流景

IPP公共關系與傳播中心

排版 | 周浩鍇

審閱 | 劉 深?

終審｜劉金程

劉少山：Manus和DeepSeek只是開端｜IPP訪談

鄭永年×黃鎧×袁曉輝×劉磊×劉少山：人工智能社會的機遇與挑戰

從DeepSeek突圍，看AI領域趕超策略

關于IPP

華南理工大學公共政策研究院（IPP）是一個獨立、非營利性的知識創新與公共政策研究平臺。IPP圍繞中國的體制改革、社會政策、中國話語權與國際關系等開展一系列的研究工作，并在此基礎上形成知識創新和政策咨詢協調發展的良好格局。IPP的愿景是打造開放式的知識創新和政策研究平臺，成為領先世界的中國智庫。