“往事不要再提，人生已多風(fēng)雨。”如果關(guān)注近期因?yàn)镈eepSeek引發(fā)的各種討論，李彥宏的耳邊或許會(huì)響起張國榮的這首《當(dāng)愛已成往事》。

但愛可以是往事，AI不行。在全球新一輪科技敘事里，它是繞不開的絕對(duì)主角。以至于百度，2010年就投身人工智能，算得上率全球之先的科技公司，不可避免地被反復(fù)提及。相比榮光，更“刺眼”的是那些“錯(cuò)過”。

比如，機(jī)靈的網(wǎng)友發(fā)現(xiàn)，DeepSeek北京辦公室的樓上就是百度的投資部門——簡直就是百度AI對(duì)外印象的縮影：起了個(gè)大早趕了個(gè)晚集，就是差那么一點(diǎn)兒。另一個(gè)更遺憾的事實(shí)最早被曝光出來是在去年的11月份，最近又在社交媒體廣泛傳播：讓OpenAI打通任督二脈的Scaling Law是百度發(fā)現(xiàn)的。

和“定律”擦肩而過

最早曝出這事的是Anthropic創(chuàng)始人Dario Amodei。這位仁兄曾是OpenAI副總裁，因?yàn)閷?duì)GPT安全性的擔(dān)憂，和妹妹共同創(chuàng)立了Anthropic，并推出了對(duì)標(biāo)ChatGPT的聊天機(jī)器人Claude。

他透露，自己2014年和吳恩達(dá)在百度共事的時(shí)候，就觀察到，通過增加網(wǎng)絡(luò)層數(shù)、訓(xùn)練時(shí)間和數(shù)據(jù)量，模型的表現(xiàn)會(huì)顯著提升。

這項(xiàng)研究最終被寫到了2017年百度發(fā)表的一篇論文《Deep Learning Scaling Is Predictable, Empirically》里，通過大規(guī)模實(shí)證研究，揭示了深度學(xué)習(xí)模型的泛化誤差和模型大小與訓(xùn)練集規(guī)模之間存在可預(yù)測(cè)的冪律關(guān)系。

遺憾的是，這篇論文更多地是在描述Scaling現(xiàn)象，沒有明確將它作為定律來包裝。直到3年后，因?yàn)镺penAI的那篇《Scaling Laws for Neural Language Models》，Scaling Law才被廣泛認(rèn)同，Dario Amodei恰好是作者之一。

塵封的往事就此打開。吳恩達(dá)，當(dāng)年在谷歌大腦項(xiàng)目里讓神經(jīng)網(wǎng)絡(luò)看了一周YouTube視頻，學(xué)會(huì)了識(shí)別貓咪，翻開了深度學(xué)習(xí)嶄新的一面。2013年，他受邀到百度分享人工智能，后來和Robin吃了一頓長達(dá)三小時(shí)的午餐，決定加入百度。

據(jù)說當(dāng)時(shí)打動(dòng)他的有三點(diǎn)，優(yōu)秀的人才，海量的數(shù)據(jù)和最強(qiáng)大的基礎(chǔ)架構(gòu)。事實(shí)也證明，當(dāng)時(shí)的百度在人工智能的投入上下了極大的決心，比如加入百度后吳恩達(dá)很快就訂購了1000個(gè)GPU，并在24小時(shí)內(nèi)得到，在谷歌可能要花費(fèi)幾周甚至幾個(gè)月時(shí)間。

谷歌大腦成為百度大腦，也成為當(dāng)年硅谷熱議的話題。

全球四大AI巨頭之一

吳恩達(dá)加入后，很快就有6位在人工智能領(lǐng)域頂級(jí)的學(xué)者通過郵件表達(dá)了加入百度的意愿。在硅谷，吳恩達(dá)負(fù)責(zé)百度人工智能實(shí)驗(yàn)室，廣納賢才。Dario Amodei就是吳恩達(dá)帶來的，他又找了一個(gè)斯坦福的實(shí)習(xí)生Jim Fan，如今是英偉達(dá)高級(jí)科學(xué)家。

其實(shí)早在吳恩達(dá)前，李彥宏就覬覦了人工智能三巨頭之一的Geoffrey Hinton。2012年他看到了一篇關(guān)于深度卷積神經(jīng)網(wǎng)絡(luò)的論文《ImageNet Classification with Deep Convolutional Neural Networks》，決定要把作者拉到百度。

數(shù)月后，百度、微軟和谷歌來了一場(chǎng)拍賣，李彥宏拍板4400萬美元邀請(qǐng)Hinton加入百度，最后Hinton決定留在美國，加入了谷歌。

不難發(fā)現(xiàn)，在2013年前后，作為曾經(jīng)世界頂尖的自然語言處理專家，李彥宏帶領(lǐng)百度在人工智能領(lǐng)域展現(xiàn)了足夠的雄心壯志和獨(dú)到眼光。

后來的數(shù)年里，在吳恩達(dá)等人的帶領(lǐng)下，百度確實(shí)成了全球有影響力的人工智能巨頭。他們開發(fā)了世界上第一個(gè)支持GPU&CPU的并行深度學(xué)習(xí)平臺(tái)PaddlePaddle（飛槳），繼谷歌之后推出了開源的深度學(xué)習(xí)平臺(tái)，同時(shí)在語音技術(shù)、自動(dòng)駕駛等方面提出了全球領(lǐng)先的解決方案。

當(dāng)時(shí)，吳恩達(dá)在接受媒體采訪時(shí)就表示，人工智能很多創(chuàng)新都是由中國率先提出的，只不過傳到美國之后被世界所認(rèn)知。

現(xiàn)在回頭去看，Scaling Law也算是典型案例之一。

2016年，《財(cái)富》雜志把百度與谷歌、微軟和Facebook并稱為全球四大AI巨頭。

一場(chǎng)四萬人的失戀

一年后，百度推出了全球首個(gè)自動(dòng)駕駛開放平臺(tái)，李彥宏坐在一輛自動(dòng)駕駛汽車?yán)锷狭宋瀛h(huán)，因?yàn)椴⒕€問題吃到了一張罰單，留下了“無人駕駛罰單已經(jīng)來了，無人車量產(chǎn)還會(huì)遠(yuǎn)嗎”的豪言。

主導(dǎo)這次經(jīng)典亮相的，是“硅谷最有權(quán)勢(shì)的華人”陸奇。那會(huì)兒他加入百度沒多久。

華人科技圈里，很少人能像陸奇一樣擁有絕好的口碑。作為領(lǐng)導(dǎo)，工程師們會(huì)穿著“我曾與陸奇一起工作”的T恤表達(dá)感謝；作為手下，他成了微軟CEO薩蒂亞·納德拉最為信賴的人之一，做到了執(zhí)行副總裁這一華人在外資科技公司的最高職位。

他是李彥宏20多年的好友，兩人一度每年夏天都會(huì)見上一面。李彥宏也斷斷續(xù)續(xù)挖了他10年，直到2017年。離開微軟前，比爾·蓋茨曾親自挽留他并許諾“百度能給你什么，我都給你”。陸奇的回答是：你不能給我“中國”。

來到百度后，陸奇迅速對(duì)百度的業(yè)務(wù)、人員做出了一系列大調(diào)整，喊出了All in AI的口號(hào)，百度內(nèi)部多數(shù)員工對(duì)此給出了很高的評(píng)價(jià)和期待。然而，陸奇在百度的職業(yè)生涯在一年后戛然而止，留給百度員工“一場(chǎng)四萬人的失戀”。

在宣布離職的內(nèi)部交流會(huì)上，他感謝了管理層的信任，再次強(qiáng)調(diào)“人工智能將徹底地改變世界”。

陸奇走后不久，李彥宏參加極客大會(huì)，強(qiáng)調(diào)自己從來沒有說過“All in AI”。更準(zhǔn)確來說，他強(qiáng)調(diào)了百度大部分資源會(huì)投入到搜索和信息流等相對(duì)活性的業(yè)務(wù)上。在外界看來，這是百度在人工智能的探索上踩了一腳剎車。

這會(huì)是Scaling最終沒能被百度發(fā)展成為Law的一大原因嗎？

向左向右向前看

但在2018年前后，經(jīng)歷了2016年的AlpahGo，沉寂了一段時(shí)間的人工智能正在醞釀新的機(jī)會(huì)。2017年，在谷歌工作的8位程序員經(jīng)過數(shù)月的合作，創(chuàng)造了一種處理語言的架構(gòu)Transformer，成為如今大模型的架構(gòu)底座。

而百度同一年發(fā)表的關(guān)于Scaling的論文，采用的是LSTM架構(gòu)。如果百度用了Transformer，事情的走向會(huì)有所不同嗎？

可以用來參考的，是大洋彼岸另一個(gè)科技巨頭谷歌。2018年，基于Transformer架構(gòu)他們推出大模型Bert，能夠讓機(jī)器更好地理解上下文。谷歌很快將它應(yīng)用到了搜索業(yè)務(wù)里，讓機(jī)器更懂用戶說了什么，提升搜索結(jié)果的相關(guān)性。

就是在同一年，OpenAI同樣基于Transformer發(fā)布了GPT-1，主打的是處理生成任務(wù)，能夠讓機(jī)器根據(jù)已有文本進(jìn)行連貫的后續(xù)內(nèi)容生成，翻開了人工智能發(fā)展嶄新的一頁。

對(duì)谷歌而言，Bert是基于對(duì)搜索體驗(yàn)優(yōu)化而出現(xiàn)的正常的技術(shù)演進(jìn)，也是大公司慣常采用的“延續(xù)性創(chuàng)新”；瞄準(zhǔn)AGI的OpenAI希望創(chuàng)造一個(gè)全新的AI工具。目標(biāo)不同，結(jié)果自然不同。

但相比谷歌，陸奇離職的“蝴蝶效應(yīng)”或許成為一個(gè)躲不開的變量。很難不去想象一個(gè)符合邏輯的演繹：如果2018年底陸奇還在百度，面對(duì)GPT-1的誕生，他會(huì)不會(huì)跟10多年的好友、OpenAI的創(chuàng)始人阿爾特曼來一次詳談，然后成為Scaling Law的中國先行者，帶領(lǐng)百度AI走上不一樣的道路？

歷史無法假設(shè)，但可以復(fù)盤。就像DeepSeek故事里的另一個(gè)主角OpenAI，如果延續(xù)開源政策，是否會(huì)借助全球智慧擁有更多創(chuàng)新？在大量功勛老臣和核心骨干離職之后，如何再保持創(chuàng)新能力？當(dāng)手握足夠多的資源，是否會(huì)陷入創(chuàng)新者的窘境？

某種程度上，昔日的百度和如今的OpenAI站在了同一個(gè)漩渦里。

但無論如何，作為一家在AI領(lǐng)域持續(xù)投入10年的企業(yè)，百度對(duì)行業(yè)的貢獻(xiàn)已經(jīng)超過了公司本身。尤其是在無人駕駛領(lǐng)域，百度幾乎幫中國的智能駕駛產(chǎn)業(yè)鏈培養(yǎng)了最核心的一批技術(shù)創(chuàng)業(yè)者和工程師，為中國智能汽車的全面崛起奠定了人才基礎(chǔ)。

只是這些都是“回頭看”的往事，身為一號(hào)位的李彥宏需要也只能繼續(xù)向前看。就像《約翰·克里斯朵夫》里說的：“向前，向前，永遠(yuǎn)不要停。”

這也是陸奇少年時(shí)最喜歡的一本小說。

文 | 梁應(yīng)杰

VIEW MORE

@杭州四小龍：閃耀的“東方神秘力量” >>

@無人機(jī)“極客捕手” >>

@機(jī)器人“普羅米修斯” >>

@“大模型界的拼多多”要刺破英偉達(dá)泡沫？>>