新智元報(bào)道

編輯：Aeneas KingHZ

【新智元導(dǎo)讀】牛津大學(xué)教授新研究，未來(lái)AI的增長(zhǎng)率足以在不到10年的時(shí)間里，推動(dòng)相當(dāng)于100年的技術(shù)進(jìn)步。AI變革或?qū)⑼耆嵏踩祟惿鐣?huì)！

未來(lái)，AI研究的發(fā)展速度將比人類快500倍，10年內(nèi)就能推動(dòng)100年的技術(shù)進(jìn)步！

牛津教授Will MacAskill等人最近的這篇博文，對(duì)未來(lái)提出了許多驚人的預(yù)測(cè)。

在他們看來(lái)，即便AI沒(méi)能實(shí)現(xiàn)「遞歸自我改進(jìn)」，即便算力的擴(kuò)展陷入停滯，即便算法效率提升的速度放緩，AI的發(fā)展增速仍足以在不到10年的時(shí)間內(nèi)，推動(dòng)相當(dāng)于100年的技術(shù)進(jìn)步。

而且根據(jù)他的預(yù)測(cè)，未來(lái)AI還將高速發(fā)展——

訓(xùn)練算力還有約1萬(wàn)倍的增長(zhǎng)空間；推理算力能保持1000倍增長(zhǎng)；未來(lái)10年AI訓(xùn)練算力×算法效率×推理算力的乘積，將增長(zhǎng)1000億倍(1011倍)！

而到了20年后，AI的技術(shù)研發(fā)實(shí)力總體上將和人類相當(dāng)。

之后，AI還會(huì)繼續(xù)發(fā)展，全面超越人類智能總和，而人類將面臨前所未有的難題！

比如，新型的大規(guī)模殺傷性武器、AI賦能的專制政權(quán)等等，所以，現(xiàn)在我們就得為AGI做好準(zhǔn)備，應(yīng)對(duì)智能爆炸可能帶來(lái)的各種令人迷失的方向。

十年內(nèi)，比人類聰明得多的AI就將出現(xiàn)

在接下來(lái)的十年內(nèi)，我們很有可能會(huì)看到比人類聰明得多的AI。

如今的推理模型，已經(jīng)讓我們窺見了這一雛形。

那么，結(jié)果是非黑即白的嗎？要么我們未能對(duì)齊 AI，導(dǎo)致人類永久失去權(quán)力；要么我們成功對(duì)齊AI，然后利用它解決所有其他問(wèn)題。

并非如此。

能有意義地替代人類研究勞動(dòng)力的AI的發(fā)展，可能會(huì)推動(dòng)非常迅速的技術(shù)進(jìn)步，將數(shù)十年的科學(xué)、技術(shù)和智力發(fā)展壓縮到幾年甚至幾個(gè)月。

醫(yī)學(xué)的進(jìn)步，會(huì)大幅延長(zhǎng)我們的壽命，豐富的物質(zhì)，會(huì)讓每個(gè)人都活得如同今天的億萬(wàn)富翁。

但一系列危險(xiǎn)，也如影隨形：誰(shuí)將控制超級(jí)智能，誰(shuí)就會(huì)將人類接管。

還有一個(gè)新問(wèn)題會(huì)出現(xiàn)：AI能力已經(jīng)與人類相當(dāng)后，人類還需要花多少精力，去研究AI？

假設(shè)AI能力已經(jīng)與人類相當(dāng)，由于電力限制，進(jìn)一步擴(kuò)大訓(xùn)練規(guī)模已不再可能，并且不存在軟件反饋循環(huán)。

此外，可以假設(shè)計(jì)算推理的增長(zhǎng)和效率提升比當(dāng)前速度減緩約30%。

在此情景下，AI研究的工作量在達(dá)到人類水平后的十年內(nèi)，仍將平均每年以5倍的速度擴(kuò)展。

十年內(nèi)，AI幫人類實(shí)現(xiàn)一個(gè)世紀(jì)的進(jìn)步！

在最激進(jìn)的設(shè)想，可以假設(shè)集體AI能力很快就能達(dá)到與人類相當(dāng)，同時(shí)在擴(kuò)大訓(xùn)練規(guī)模和推理計(jì)算方面仍有很大的提升空間，并且AI自動(dòng)化進(jìn)行AI研發(fā)確實(shí)會(huì)形成一個(gè)軟件反饋循環(huán)。

牛津教授的簡(jiǎn)單模型表明，AI研究大約1000倍的增長(zhǎng)，將導(dǎo)致在十年內(nèi)產(chǎn)生超過(guò)一個(gè)世紀(jì)的技術(shù)進(jìn)步！

保守起見，可以假設(shè)圍繞物理實(shí)驗(yàn)和資本的復(fù)雜性，意味著我們實(shí)際上需要在 10年內(nèi)進(jìn)一步增加10倍的認(rèn)知研究努力 —— 即10000倍的增長(zhǎng)。

但當(dāng)前的趨勢(shì)表明，在十年內(nèi)，一旦AI達(dá)到人類水平，我們將獲得AI研究能力的數(shù)千億倍增長(zhǎng)（如果計(jì)算規(guī)模停止擴(kuò)展，甚至算法效率改進(jìn)有所放緩）到百萬(wàn)兆倍增長(zhǎng)（如果我們得到一個(gè)積極的軟件反饋循環(huán)）。

因此，如果我們繼續(xù)擴(kuò)大AI規(guī)模，而沒(méi)有集體同意減緩速度，那么十年內(nèi)實(shí)現(xiàn)一個(gè)世紀(jì)的技術(shù)進(jìn)步似乎是可能的！

甚至，更加驚人的加速也極有可能實(shí)現(xiàn)。

AI讓科技提速10倍

想想過(guò)去100年的技術(shù)進(jìn)步，試想如果這些進(jìn)展發(fā)生在十年里會(huì)怎樣：

從第一次跨太平洋飛行到登月，僅僅四個(gè)月；

從曼哈頓計(jì)劃到廣島長(zhǎng)崎爆炸原子彈，僅僅三個(gè)月。

現(xiàn)在，設(shè)想一下在沒(méi)有AI的情況下，100年后也就是2125年，你希望能看到的科學(xué)、知識(shí)和技術(shù)方面的所有進(jìn)步。

然后想象一下，只要10年，有生之年這些都實(shí)現(xiàn)了！

牛津大學(xué)的哲學(xué)家和作家William MacAskill認(rèn)為，AI能極大推進(jìn)技術(shù)的進(jìn)步：

即使沒(méi)有軟件反饋循環(huán)（即「遞歸式自我改進(jìn)」），即使算力的擴(kuò)展陷入停滯，算法效率提升的速度放緩，AI的發(fā)展增速仍然足夠快，能夠在不到10年的時(shí)間內(nèi)推動(dòng)相當(dāng)于100年的技術(shù)進(jìn)步。

趨勢(shì)看起來(lái)很明顯。

2019年的時(shí)候，當(dāng)時(shí)最厲害的語(yǔ)言模型連話都說(shuō)不利索。可到2023年初，語(yǔ)言模型不僅能流利地回答各種問(wèn)題，而且掌握的常識(shí)比地球上任何人都要多得多。

在2023年初，在解答科學(xué)問(wèn)題時(shí)，頂尖模型表現(xiàn)甚至還不如瞎猜。可如今不一樣了，它們的表現(xiàn)已經(jīng)比博士級(jí)別的專家還要出色。

上千人集體預(yù)測(cè)：AGI將在2030年來(lái)臨。

AI的算力每年增加30倍

目前，訓(xùn)練的算力和算法主導(dǎo)了AI的進(jìn)步：

訓(xùn)練算力：自2010年以來(lái)，訓(xùn)練運(yùn)行所使用的最大算力每年增加約4.5倍。

訓(xùn)練算法效率：根據(jù)當(dāng)前趨勢(shì)，訓(xùn)練模型所需的物理算力每年減少大約3倍。

把兩個(gè)因素結(jié)合起來(lái)了，是衡量「有效訓(xùn)練算力」的標(biāo)準(zhǔn)——

即在沒(méi)有任何算法創(chuàng)新的情況下，為了達(dá)到相同的模型性能，所需增加的原始算力。

預(yù)訓(xùn)練的有效訓(xùn)練算力每年增加超過(guò)10倍。

此外，在工具使用、提示方法、合成數(shù)據(jù)、創(chuàng)造性的生成和選擇答案的方式以及各種其他方面，研究人員引入了「訓(xùn)練后增強(qiáng)」。

Anthropic非正式估計(jì)，訓(xùn)練后增強(qiáng)目前每年提供3倍的效率提升。

因此，就最先進(jìn)的AI模型能力而言，相當(dāng)于訓(xùn)練算力每年增長(zhǎng)超過(guò)30倍。

隨著訓(xùn)練規(guī)模越來(lái)越大，越來(lái)越好，AI模型質(zhì)的進(jìn)步也在不斷涌現(xiàn)，表現(xiàn)形式微妙而令人驚訝。

為什么AI總體上能比人類聰明？

目前，全球的整體研發(fā)投入增長(zhǎng)緩慢，年增長(zhǎng)率不到5%。

然而，AI在認(rèn)知?jiǎng)趧?dòng)方面的增長(zhǎng)速度，比人類快了足足500倍。

這種趨勢(shì)很可能會(huì)持續(xù)，直到AI的認(rèn)知能力超越所有人類。

AI研發(fā)效能和人類認(rèn)知研發(fā)效能增長(zhǎng)速度比較

所以，一旦AI的認(rèn)知?jiǎng)趧?dòng)總量開始與人類的認(rèn)知?jiǎng)趧?dòng)總量相當(dāng)，整體認(rèn)知?jiǎng)趧?dòng)的增長(zhǎng)率將大幅上升，從而加速技術(shù)進(jìn)步。

這并不是白日做夢(mèng)：運(yùn)行效率的提升和可用推理算力的增加，能讓「AI總量」增長(zhǎng)約25倍/年。

推理效率：有效訓(xùn)練算力大約翻倍時(shí)，相應(yīng)的推理成本大致減半，目前有效訓(xùn)練算力每年增加約10倍。

推理算力：用于推理的算力增長(zhǎng)速度大約2.5倍/年。

這些變化意味著，不僅是最先進(jìn)的AI，而是所有的AI，性能會(huì)得到明顯提升。

假設(shè)當(dāng)前趨勢(shì)繼續(xù)發(fā)展，直到AI與人類科研投入大致持平。

假如AI研究員的有效數(shù)量與人類研究員數(shù)量相當(dāng)，技術(shù)研發(fā)效能的增長(zhǎng)速度會(huì)受到什么影響？

不妨假設(shè)訓(xùn)練進(jìn)步完全等于推理效率提升，而更多的推理計(jì)算完全用于運(yùn)行更多的AI。

現(xiàn)在已經(jīng)看到，推理效率大致與有效訓(xùn)練算力同步提升，每年約增長(zhǎng)10倍，推理算力每年至少增加2.5倍。

因此，如果繼續(xù)維持當(dāng)前趨勢(shì)，直到AI研發(fā)效能與人類科研投入相當(dāng)，AI研發(fā)效能估計(jì)將繼續(xù)以每年至少25倍的速度增長(zhǎng)。

即便如此，這也低估了AI研發(fā)效能的增長(zhǎng)率。

至少，并沒(méi)有考慮到超越人類水平的AI能力提升時(shí)，AI研發(fā)效能會(huì)增長(zhǎng)得有多快。

為了理解這一點(diǎn)，不妨看一下人類研究員： 在大腦體積和文憑上，他們的差異相對(duì)較小。

但在某些領(lǐng)域，杰出的研究員的生產(chǎn)力可能是同行的數(shù)百倍。

還沒(méi)有考慮來(lái)自訓(xùn)練后增強(qiáng)每年提升3倍有效訓(xùn)練算力，這能讓年增長(zhǎng)率從25倍提高到75倍。

結(jié)合考慮，AI研發(fā)效能的增長(zhǎng)率可能遠(yuǎn)超這一數(shù)字。

AI究竟還有多大進(jìn)步空間？

規(guī)模化和效率提升的趨勢(shì)，還能持續(xù)多久？

訓(xùn)練算力方面：規(guī)模最大的訓(xùn)練任務(wù)還有約1萬(wàn)倍的增長(zhǎng)空間（很可能在未來(lái)十年內(nèi)實(shí)現(xiàn)）。

之后由于電力等因素，很難再增長(zhǎng)。即便突破電力限制，芯片產(chǎn)能、數(shù)據(jù)稀缺性和硬件延遲也將成為新的天花板。

訓(xùn)練算法效率：如果保持算力擴(kuò)張與效率提升的現(xiàn)有比例，訓(xùn)練算法效率還能提升1000倍。

這意味著有效訓(xùn)練算力在未來(lái)十年將比現(xiàn)在增長(zhǎng)1000萬(wàn)倍——相當(dāng)于每年約5倍的有效算力提升，低于目前每年≥10倍的增長(zhǎng)速度。

推理算力方面：合理推測(cè)同期推理算力也將實(shí)現(xiàn)1萬(wàn)倍增長(zhǎng)，保持每年2.5倍的增速。

保守估計(jì)，若AI進(jìn)步僅依賴規(guī)模擴(kuò)張而不突破其他維度，測(cè)算規(guī)模上限可推知AI研發(fā)效能：

未來(lái)十年AI總體研發(fā)效能（訓(xùn)練算力×算法效率×推理算力的乘積）將增長(zhǎng)1000億倍(1011)，年均增速略超10倍。

哪怕十年內(nèi)在物理層面遭遇瓶頸，但算法的進(jìn)步卻可能大幅提速。

因?yàn)锳I模型自身，可能會(huì)促使軟件技術(shù)顯著改進(jìn)，包括AI算法、數(shù)據(jù)處理、訓(xùn)練后強(qiáng)化等。

這將催生出更強(qiáng)大的AI，進(jìn)而推動(dòng)算法進(jìn)一步發(fā)展，形成軟件反饋循環(huán)，使AI能力持續(xù)提升，而無(wú)需額外的物理資源投入。

不過(guò)，并非必然會(huì)出現(xiàn)軟件反饋循環(huán)。

多數(shù)新技術(shù)充其量只是提升研究員生產(chǎn)力的手段，難以驅(qū)動(dòng)自我維持式的進(jìn)步。從理論上講，AI也可能面臨類似狀況。

即便「數(shù)字機(jī)器學(xué)習(xí)（ML）研究員」能夠取代人類研究員，進(jìn)展仍可能放緩：第一代數(shù)字ML研究員或許能讓下一代AI研究員的表現(xiàn)翻倍，可第二代可能僅提升1.5倍，依此類推。

最終，進(jìn)步只是短暫性的，而且隨時(shí)間逐漸速度還在下降。

要實(shí)現(xiàn)快速且持續(xù)的發(fā)展，投入翻倍至少產(chǎn)出需要翻倍，且需重復(fù)多次。

然而，根據(jù)對(duì)軟件領(lǐng)域經(jīng)驗(yàn)估算顯示，認(rèn)知投入（研發(fā)效能）翻倍，通常能使軟件性能或效率提升超過(guò)一倍。因此，有理由認(rèn)為，由AI驅(qū)動(dòng)的軟件反饋循環(huán)，極有可能推動(dòng)AI性能與效率加速提升。

當(dāng)然，反饋循環(huán)無(wú)法無(wú)限加速，軟件反饋循環(huán)最終必然趨于飽和。

但當(dāng)前算法效率，遠(yuǎn)未達(dá)到理論上限。

據(jù)計(jì)算，大語(yǔ)言模型（LLM）的學(xué)習(xí)效率，約為人類的十萬(wàn)分之一（基于成年人大腦的計(jì)算能力），且這一上限很可能遠(yuǎn)超人類大腦的效率。

所以，若能成功構(gòu)建軟件反饋循環(huán)，AI能力在十年內(nèi)，或許能讓有效訓(xùn)練算力增長(zhǎng)至100萬(wàn)倍，實(shí)現(xiàn)約一萬(wàn)億倍（1012）的有效訓(xùn)練算力增長(zhǎng)，或者使推理計(jì)算與有效訓(xùn)練計(jì)算的乘積增長(zhǎng)至101?，即每年增長(zhǎng)約40倍。

無(wú)論怎樣，推理算力與有效訓(xùn)練算力的乘積，至少會(huì)以600倍的速度增長(zhǎng)，遠(yuǎn)超人類認(rèn)知?jiǎng)趧?dòng)對(duì)技術(shù)進(jìn)步的貢獻(xiàn)，且仍有極大的提升潛力。

20年后，AI與人類平起平坐

在未來(lái)二十年內(nèi)，AI研發(fā)投入量將等于人力研發(fā)投入。

這意味著AI系統(tǒng)可以共同執(zhí)行幾乎所有與研究相關(guān)的認(rèn)知工作。

而這些工作，以前只有人類能完成。

由于規(guī)模化驅(qū)動(dòng)了如此大的進(jìn)步，甚至可能在未來(lái)十年，AI就接近人類認(rèn)知，在規(guī)模擴(kuò)展遇電力和其他實(shí)際限制之前。

而即使在規(guī)模化顯著放緩之后，算法進(jìn)展仍然可能推動(dòng)AI繼續(xù)前進(jìn)。

無(wú)論如何，AI與人類在認(rèn)知上平等，可能只是幾年之遙。

為了驗(yàn)證這一點(diǎn)，可以直接看看AI能力的提升情況。

在博士級(jí)科學(xué)問(wèn)題的基準(zhǔn)測(cè)試GPQA上，GPT-4的表現(xiàn)僅略優(yōu)于隨機(jī)猜測(cè)。18個(gè)月后，最好的推理模型已經(jīng)超越了博士級(jí)專家。

不同模型在博士級(jí)GPQA Diamond基準(zhǔn)測(cè)試上的準(zhǔn)確率

這種迅猛的發(fā)展，極有可能催生出超越人類頂尖研究者能力的AI，而且?guī)缀醺采w所有關(guān)鍵認(rèn)知領(lǐng)域。

未來(lái)五年內(nèi)，即便訓(xùn)練算力擴(kuò)展不能達(dá)成目標(biāo)，預(yù)訓(xùn)練算法效率的提升、后訓(xùn)練增強(qiáng)技術(shù)的進(jìn)步、推理效率的提高以及推理算力的增長(zhǎng)，仍將推動(dòng)AI研究不斷向前，突破物理擴(kuò)展受限和訓(xùn)練數(shù)據(jù)不足的阻礙。

所以，雖然難以確切預(yù)估時(shí)間，但在未來(lái)幾年，AI極有可能達(dá)到甚至超越人類頂尖研究水平。

AI研究總量指數(shù)級(jí)增長(zhǎng)

一旦超越了人類頂尖研究水平，AI的總體研究能力將呈指數(shù)級(jí)增長(zhǎng)。

可以想象，最初或許會(huì)出現(xiàn)約十萬(wàn)名相當(dāng)于人類專家級(jí)別的AI研究員。

其中，多數(shù)可能專注于優(yōu)化下一代AI，或投身于其他回報(bào)豐厚的科技領(lǐng)域。

隨著有效計(jì)算能力的提升和推理算力的增加，認(rèn)知投入可能會(huì)成倍增長(zhǎng)，迅速超越約一千萬(wàn)在職人類研究員。

繼而超過(guò)全球八十億人口的認(rèn)知總和。此后，總體能力還將持續(xù)翻倍增長(zhǎng)。

實(shí)際上，特定領(lǐng)域的AI應(yīng)用早已展現(xiàn)出超越新增人類研究員的推動(dòng)作用。

例如，谷歌DeepMind的AlphaFold，已預(yù)測(cè)出超過(guò)2億種新蛋白質(zhì)結(jié)構(gòu)。

對(duì)于人類而言，哪怕有100萬(wàn)的研究員，要耗時(shí)多年做實(shí)驗(yàn)才能完成。

而且，通用型AI不會(huì)局限于人類研究員技能，還會(huì)不斷開拓創(chuàng)新。

AI能比人類強(qiáng)多少？

這取決于兩個(gè)關(guān)鍵變量：當(dāng)前AI能力距人類水平的差距，以及持續(xù)快速提升的整體潛力空間。

保守預(yù)測(cè)：在達(dá)到人類水平后十年內(nèi)，AI研發(fā)效能將保持年均5倍增速。

假設(shè)AI能力在達(dá)到人類水平時(shí)，訓(xùn)練算力已因能源限制無(wú)法繼續(xù)擴(kuò)張，且不存在軟件自我迭代的正反饋循環(huán)。同時(shí)，推斷算力增長(zhǎng)與算法效率提升速度較當(dāng)前放緩約30%。

激進(jìn)預(yù)測(cè)：AI集體能力將短期內(nèi)達(dá)到人類水平，但滿足2個(gè)假設(shè)條件：

1. 擴(kuò)展空間充足：訓(xùn)練算力與推理算力仍存在巨大提升空間

2. 正反饋循環(huán)形成：AI自動(dòng)化研發(fā)切實(shí)產(chǎn)生軟件自我迭代效應(yīng)

人類岔路口

一般來(lái)說(shuō)，技術(shù)進(jìn)步使生活變得更好、更輕松。

但它也常常帶來(lái)重大挑戰(zhàn)，比如：核武器、監(jiān)控技術(shù)、氣候變化、工廠化養(yǎng)殖的恐怖。

而且錯(cuò)失了很多彌補(bǔ)的機(jī)會(huì)，就像當(dāng)初對(duì)待核能那樣。

也就是說(shuō)，技術(shù)帶來(lái)了許多「重大挑戰(zhàn)」：人類進(jìn)步道路上的岔路口。

由AI驅(qū)動(dòng)的技術(shù)變革將帶來(lái)許多新的重大挑戰(zhàn)。

首先，部分人可能會(huì)指揮AI幫助他們獲取并鞏固特權(quán)。

AI還可能賦能或扭曲集體推理。

AI說(shuō)服力超群，可能找到并傳播病毒式的觀念，或?qū)μ釂?wèn)者提供「為達(dá)目的，不擇手段」的馬基雅維利式建議。

更有可能的是，AI將增強(qiáng)人類的推理能力：

超級(jí)智能ASI，可以指導(dǎo)人做出最重要的決策；
AI超級(jí)預(yù)言家，則能讓人對(duì)未來(lái)有更清晰的預(yù)見。

確保真正利用AI幫助人類做出更好的決策，將是在加速技術(shù)變革時(shí)期做出正確決策的關(guān)鍵。

還將面臨如何與AI系統(tǒng)共存的問(wèn)題，而且AI系統(tǒng)很快會(huì)超過(guò)全球總?cè)丝?/strong>。

同時(shí)，也會(huì)有關(guān)于如何治理外太空的問(wèn)題——如何管理在太陽(yáng)系內(nèi)爭(zhēng)奪資源的競(jìng)爭(zhēng)，甚至如何去開拓新的恒星？

在AGI出現(xiàn)后，這一切變得更加容易。

AI進(jìn)步可能帶來(lái)的收益是驚人的：物質(zhì)上的豐盈，今天的億萬(wàn)富翁都會(huì)嫉妒。

這提供了目前就可以達(dá)成的協(xié)議，使每個(gè)人的生活都比現(xiàn)在更好——

這樣每個(gè)人都能分得這塊巨大的未來(lái)蛋糕。

如果抓住這個(gè)機(jī)會(huì)，AI可以在協(xié)調(diào)、保護(hù)和民主方面為人類提供有意義的幫助。

AI甚至可以自動(dòng)化政策分析和良好判斷，幫助我們更好地思考其他挑戰(zhàn)。

但是，如果能夠讓超級(jí)智能與人類對(duì)齊，難道不能利用它解決其他問(wèn)題嗎？難道我們可以推遲準(zhǔn)備嗎？

在許多情況下，這是正確的。

但并不總是如此，原因有三：

1. 在擁有對(duì)齊的超級(jí)智能來(lái)幫助人類之前，許多挑戰(zhàn)就已經(jīng)出現(xiàn)了。

2. 一些機(jī)會(huì)窗口會(huì)提前關(guān)閉。

3. 需要確保超級(jí)智能能在正確的時(shí)間，給正確的人提供幫助。

參考資料：

https://www.forethought.org/research/preparing-for-the-intelligence-explosion

https://x.com/willmacaskill/status/1899488909433741673