Google DeepMind 周三發表了一篇詳盡的論文，介紹了其對 AGI 的安全方法。AGI 的粗略定義是能夠完成人類所能完成的任何任務的人工智能。

AGI 在人工智能領域是一個頗具爭議的話題，反對者認為它不過是一個白日夢。其他人，包括Anthropic 等大型人工智能實驗室，警告說它即將到來，如果不采取措施實施適當的保護措施，可能會造成災難性的危害。

DeepMind 的這份長達 145 頁的論文由 DeepMind 聯合創始人 Shane Legg 共同撰寫，論文預測 AGI 將于 2030 年問世，并可能導致作者所說的“嚴重傷害”。論文并沒有具體定義這一點，但給出了“生存風險”這一“永久摧毀人類”的危言聳聽的例子。

“我們預計在本世紀末之前，將開發出一種超凡的 AGI，”作者寫道。“超凡的 AGI 是一種系統，能夠在廣泛的非物理任務上與至少 99% 的熟練成年人相匹配，包括學習新技能等元認知任務。”

首先，該論文將 DeepMind 對 AGI 風險緩解的處理與 Anthropic 和 OpenAI 的處理進行了對比。論文稱，Anthropic 不太重視“穩健的訓練、監控和安全”，而 OpenAI 則過于看好“自動化”一種被稱為對齊研究的 AI 安全研究形式。

這篇論文還對超級人工智能（能夠比任何人類都更好地完成工作的人工智能）的可行性表示懷疑。（OpenAI最近聲稱，它正在將其目標從 AGI 轉向超級智能。）如果沒有“重大的架構創新”，DeepMind 的作者們并不相信超級智能系統會很快出現——如果有的話。

不過，該論文確實認為，當前的范式將實現“遞歸式人工智能改進”：一個正反饋循環，其中人工智能進行自己的人工智能研究以創建更復雜的人工智能系統。作者斷言，這可能非常危險。

從總體上看，該論文提出并提倡開發技術來阻止不良行為者訪問假設的 AGI，提高對 AI 系統行為的理解，并“強化”AI 可以行動的環境。它承認許多技術還處于萌芽階段，存在“未解決的研究問題”，但警告不要忽視可能即將出現的安全挑戰。

作者寫道：“AGI 的變革性質既可能帶來令人難以置信的好處，也可能帶來嚴重的危害。因此，為了負責任地構建 AGI，前沿人工智能開發人員必須積極規劃以減輕嚴重危害。”

然而，一些專家不同意該論文的前提。

非營利組織 AI Now Institute 的首席人工智能科學家 Heidy Khlaaf 認為 AGI 的概念定義過于模糊，無法“進行嚴格的科學評估”。另一位人工智能研究員、阿爾伯塔大學助理教授 Matthew Guzdial 表示，他認為遞歸人工智能改進目前并不現實。

Guzdial 說：“遞歸改進是智能奇點論證的基礎，但我們從未見過任何證據證明它有效。”

牛津大學研究技術與監管的研究員桑德拉·沃赫特 (Sandra Wachter) 認為，更現實的擔憂是人工智能通過“不準確的輸出”來強化自身：“隨著互聯網上生成式人工智能輸出的激增以及真實數據的逐漸取代，模型現在正在從充斥著虛假信息或幻覺的輸出中學習。目前，聊天機器人主要用于搜索和尋找真相。這意味著我們一直面臨著被灌輸虛假信息并相信它們的風險，因為它們以非常令人信服的方式呈現。”

盡管 DeepMind 的論文可能很全面，但它似乎不太可能解決關于 AGI 到底有多現實的爭論——以及最需要關注的人工智能安全領域。