新智元報(bào)道

編輯：Aeneas 好困

【新智元導(dǎo)讀】「一位頂尖科學(xué)家，有數(shù)千億美元的資源，卻仍然能把Meta搞砸了！」最近，圈內(nèi)對(duì)LeCun的埋怨和批評(píng)，似乎越來越壓不住了。有人批評(píng)說，Meta之所以潰敗，LeCun的教條主義就是罪魁禍?zhǔn)住５獿eCun卻表示，自己嘗試了20年自回歸預(yù)測(cè)，徹底失敗了，所以如今才給LLM判死刑！

憑借著GPT/o系列、Gemini 2.5、Claude的強(qiáng)大能力，OpenAI、谷歌、Anthropic紛紛在AI大戰(zhàn)中各領(lǐng)風(fēng)騷。

唯獨(dú)Meta，沒有走在前沿。

Llama 4自發(fā)布以來種種拉跨的表現(xiàn)，讓Meta在某種程度上淪為了業(yè)內(nèi)的「笑柄」。甚至有離職研究者都特意在簡(jiǎn)歷上標(biāo)明，自己并未參加Llama 4的訓(xùn)練。

在這樣的背景下，業(yè)內(nèi)最近對(duì)Yann LeCun的批評(píng)之風(fēng)，是越來越盛了。

盡管這位圖靈巨頭是一位頂級(jí)科學(xué)家，然而，他能夠動(dòng)用數(shù)千億的資本用于計(jì)算資源和內(nèi)部研究，卻仍然把Meta搞砸了。

那么，他的問題，究竟出在哪兒呢？

有人說，Meta在LLM大戰(zhàn)中之所以落后，恰恰就是因?yàn)長(zhǎng)eCun一直在積極表達(dá)自己對(duì)LLM前進(jìn)方向的反感和拒絕。

如果在幾十年后回望，LeCun今天的態(tài)度或許是對(duì)的，但跟奧特曼這類持硬核態(tài)度的激進(jìn)分子相比，這種心態(tài)絕對(duì)會(huì)讓Meta在當(dāng)前的競(jìng)爭(zhēng)中處于劣勢(shì)。

如果一個(gè)大公司的首席人工智能科學(xué)家，都不相信自己正在投入工作的架構(gòu)，而對(duì)于自己所信仰的架構(gòu)卻沒有足夠驚艷的成果，那么，造成目前的局面，就是顯而易見的事情了。

LeCun對(duì)于LLM路線的不看好，被很多網(wǎng)友評(píng)論為「教條主義」。

「許多頂尖科學(xué)家都有這種毛病：因?yàn)樘^自我，認(rèn)為自己才最了解一切，因此難以轉(zhuǎn)型。甚至有時(shí)，這些頂級(jí)人物的教條會(huì)直接影響到科學(xué)進(jìn)步。」

對(duì)此，有人總結(jié)出了Meta失敗的幾大核心原因。

• LeCun反對(duì)LLM的論調(diào)

• Meta在MoE架構(gòu)方面還是新手

• 開源發(fā)布過早導(dǎo)致的失敗

• 研究產(chǎn)品團(tuán)隊(duì)的不協(xié)調(diào)，組織和管理的不善

當(dāng)然，第一代Llama的出現(xiàn)，依然對(duì)于開源界有著石破天驚的意義，可在每天都在大爆炸的AI圈，這仿佛已經(jīng)是五百年前的事了。

接下來，除非LeCun真的能成功開辟新范式，實(shí)現(xiàn)JEPA這樣的世界模型，要么，Meta就只能繼續(xù)在AI競(jìng)賽中落后。

下面讓我們看看，近期LeCun對(duì)LLM「判死刑」的種種言論。

首先，LLM已經(jīng)是過去式了

在英偉達(dá)2025 GTC大會(huì)上，LeCun表示了這樣的觀點(diǎn)：「我對(duì)LLM不再感興趣了！」

他認(rèn)為，如今LLM已經(jīng)是過去式了，而我們的未來，在于四個(gè)更有趣的領(lǐng)域：理解物理世界的機(jī)器、持久記憶、推理和規(guī)劃。

不過有趣的是，如今Llama的下載量已經(jīng)達(dá)到了十億次，這就意味著人們對(duì)LLM有強(qiáng)烈的需求，多少與「LLM已過時(shí)」的觀點(diǎn)矛盾了。

言歸正傳，在演講中LeCun表示，縱觀整個(gè)AI歷史，幾乎每一代研究者都在發(fā)現(xiàn)新范式時(shí)宣稱，「就是它了！再過五年、十年，我們就能造出在所有領(lǐng)域都比人類更聰明的機(jī)器。」

七十年來，這種浪潮差不多每十年就出現(xiàn)一次，而這一波，也同樣會(huì)被證明是錯(cuò)的。

所以，「只要把LLM繼續(xù)無限放大，或者讓它們生成成千上萬段Token序列，再?gòu)闹刑舫龊玫模湍塬@得人類級(jí)智能；兩年內(nèi)數(shù)據(jù)中心里就會(huì)誕生一個(gè)天才之國(guó)」的論調(diào)，在他看來完全就是胡說八道。

尤其是LLM所使用的Token，在刻畫物理世界這件事上，完全不是一種好的方法。原因很簡(jiǎn)單：Token是離散的。

在典型的LLM里，可選Token只有十萬級(jí)左右。于是，當(dāng)你讓模型去預(yù)測(cè)文本序列的下一個(gè)Token時(shí)，它只能輸出一個(gè)概率分布，但永遠(yuǎn)不可能百分之百地給出那個(gè)唯一正確的Token。

對(duì)于文本來說，這套做法的問題還不大；但在視頻等既高維又連續(xù)的自然數(shù)據(jù)面前，所有想通過像素級(jí)預(yù)測(cè)視頻來讓系統(tǒng)理解世界、構(gòu)建世界模型的嘗試，幾乎全部失敗。

同樣地，哪怕只是訓(xùn)練神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)圖像的優(yōu)質(zhì)表征，凡是依賴從損壞或變換后的圖像重建原圖的技術(shù)，也基本以失敗告終。

其次，自回歸LLM絕對(duì)「藥丸」

在今年3月底的2025美國(guó)數(shù)學(xué)會(huì)聯(lián)合會(huì)議上，LeCun則發(fā)表了一個(gè)題為「通往人類水平人工智能的數(shù)學(xué)障礙」的演講。

在LeCun看來，如今的機(jī)器學(xué)習(xí)水平依舊拙劣。它的學(xué)習(xí)效率極低——模型往往要經(jīng)歷成千上萬次樣本或試驗(yàn)才能達(dá)到目標(biāo)性能。

雖然自監(jiān)督學(xué)習(xí)的確改變了AI，但它仍然非常有限。而動(dòng)物和人類卻能極快地掌握新任務(wù)、理解世界運(yùn)行方式，能夠推理、規(guī)劃，還能擁有常識(shí)——它們的行為是由目標(biāo)驅(qū)動(dòng)的。

相比之下，自回歸的LLM，則是通過預(yù)測(cè)序列中的下一個(gè)詞或符號(hào)來訓(xùn)練的；這個(gè)序列可以是文本、DNA、樂譜、蛋白質(zhì)等離散符號(hào)。

然而，自回歸預(yù)測(cè)存在一個(gè)根本性難題。

本質(zhì)上，它是發(fā)散的：設(shè)想生成的符號(hào)是離散的，每輸出一個(gè)符號(hào)，就有多達(dá)100 000種可能。

如果把所有可能的Token序列視作一棵分叉度100000的巨型樹，只存在一小棵子樹對(duì)應(yīng)于「合格答案」的所有延續(xù)。

問題在于，這棵「正確子樹」僅是整棵樹的微小子集。

若假設(shè)每生成一個(gè)符號(hào)就有獨(dú)立的錯(cuò)誤概率e，那么長(zhǎng)度為n的序列完全正確的概率，便是(1?e)^n。

即便e極小，該概率仍會(huì)隨n呈指數(shù)級(jí)衰減，而在自回歸框架下，這就無從補(bǔ)救。

因此，LeCun的判斷是：自回歸的大語言模型注定被淘汰！幾年后，任何一個(gè)理智的人都不會(huì)再使用它們。

這就是LLM所謂幻覺的根源：它們會(huì)胡說八道，本質(zhì)上就是自回歸預(yù)測(cè)導(dǎo)致的。

在LeCun看來，在構(gòu)建AI系統(tǒng)的新概念上，我們遺漏了非常重要的東西。

僅靠把LLM塞進(jìn)更大的數(shù)據(jù)集，我們永遠(yuǎn)無法抵達(dá)人類級(jí)AI。但現(xiàn)在別說復(fù)現(xiàn)數(shù)學(xué)家或科學(xué)家，我們連模仿一只貓都做不到。

家貓能規(guī)劃復(fù)雜動(dòng)作，擁有因果模型，預(yù)知自身行為后果，而人類就更卓越了，10歲的孩子第一次就能把餐桌收拾干凈、把餐具放進(jìn)洗碗機(jī)——這就是零樣本學(xué)習(xí)。

如今，AI已能通過律師資格考試、解數(shù)學(xué)題、證明定理——可L5自動(dòng)駕駛汽車在哪？家用機(jī)器人又在哪？

我們?nèi)栽觳怀瞿苷嬲龖?yīng)對(duì)現(xiàn)實(shí)世界的系統(tǒng)。事實(shí)證明，物理世界遠(yuǎn)比語言復(fù)雜得多。

這，就是莫拉維克悖論。

人類覺得麻煩的任務(wù)——比如計(jì)算積分、求解微分方程、下棋、規(guī)劃穿越多座城市的路線——對(duì)計(jì)算機(jī)而言卻輕而易舉。

這說明，若有人把「人類智能」稱作「通用智能」，那純屬無稽之談——我們根本不具備通用智能，而是高度專門化。

一款典型的現(xiàn)代LLM，大概是在2×1013（約20萬億）個(gè)token上訓(xùn)練的。若按每Token 3字節(jié)計(jì)算，總量就是6×1013字節(jié)，向上取整約101?字節(jié)。要讓任何一個(gè)人讀完這些文本，得花上幾十萬年。

但一個(gè)4歲的小孩，雖然醒著的時(shí)間總共只有16000小時(shí)，但來自視覺、觸覺、聽覺等感官的物理世界信息，讓他在這段時(shí)間里積累的信息量，同樣達(dá)到了101?字節(jié)。

也就是說，如果AI無法通過觀察世界來學(xué)習(xí)其運(yùn)行規(guī)律，我們就永遠(yuǎn)到不了人類級(jí)別——因?yàn)槲淖掷锔緵]有那么多信息。

在Meta，他們不使用AGI這一說法，而是高級(jí)機(jī)器智能（Advanced Machine Intelligence，AMI）：

? 能通過感官輸入自行學(xué)習(xí)世界模型與心智模型，從而掌握直覺物理與常識(shí)；

? 擁有持久記憶；

? 能夠規(guī)劃復(fù)雜的動(dòng)作序列；

? 具備推理能力；

? 在設(shè)計(jì)之初就保證可控與安全，而不是事后靠微調(diào)彌補(bǔ)。

LeCun預(yù)計(jì)在三到五年內(nèi)，Meta就能在小規(guī)模上把這件事跑通；之后就看如何把它們擴(kuò)展，直到真正做到人類級(jí)智能。

AMI的認(rèn)知架構(gòu)，可以簡(jiǎn)述如下。

? 世界模型；

? 若干目標(biāo)函數(shù)；

? 行動(dòng)體——負(fù)責(zé)優(yōu)化動(dòng)作以最小化代價(jià)；

? 短期記憶，對(duì)應(yīng)大腦中的海馬體；

? 感知模塊——幾乎整個(gè)大腦后部都在做這件事；

? 以及一個(gè)配置器。

所以，究竟怎樣才能讓系統(tǒng)從視頻等感官輸入中，學(xué)到世界的心智模型？

能不能借用自回歸預(yù)測(cè)的思路，像訓(xùn)練LLM那樣訓(xùn)練生成式架構(gòu)，去預(yù)測(cè)視頻接下來會(huì)發(fā)生什么，比如未來幾幀？

答案是不行。

LeCun表示，自己已經(jīng)在這條路上折騰了20年，徹底失敗。

它適合離散符號(hào)的預(yù)測(cè)，但我們不知道該如何有意義地在表示概率密度函數(shù)的高維連續(xù)空間中，預(yù)測(cè)一個(gè)視頻幀。

而他的解決方案，就是一種被稱為JEPA（Joint Embedding Predictive Architecture，聯(lián)合嵌入預(yù)測(cè)架構(gòu)）的技術(shù)。

LeCun表示，如果自己的判斷沒錯(cuò)，而且采用JEPA確實(shí)比生成式架構(gòu)更靠譜，那所有人就該把生成式架構(gòu)徹底丟掉。

他也承認(rèn)，在如今人人都在聊GenAI的大環(huán)境下，自己卻對(duì)他們說：「放棄GenAI吧！」像極了一個(gè)異類。

總之，LeCun在演講最后給出了鏗鏘有力的吶喊。

如果你對(duì)人類水平的AI感興趣，就不要專注于大語言模型。

如果你是AI領(lǐng)域的博士生，你絕對(duì)不應(yīng)該從事LLM的工作，因?yàn)槟惆炎约褐糜谂c擁有成千上萬GPU的大型團(tuán)隊(duì)競(jìng)爭(zhēng)的位置，你將無法做出任何貢獻(xiàn)。

他表示，如果我們能在接下來五年內(nèi)或十年內(nèi)，解決一些真正的問題，那我們就能走上一條通往能規(guī)劃和推理的真正智能系統(tǒng)的道路。

而唯一可行的方法，就是開源。

LeCun表示，如果自己成功了，那AI將成為放大人類智慧的一種工具，這只會(huì)對(duì)人類有好處。

一件積壓在心底的陳年往事

而LeCun分享一件陳年往事，則讓我們能夠些許洞察到他的內(nèi)心世界。

2022年，LeCun和Meta的幾位同事訓(xùn)練出了一個(gè)LLM，把能找到的全部科學(xué)文獻(xiàn)都塞了進(jìn)去。

這個(gè)模型取名為Galactica。他們寫了一篇長(zhǎng)論文詳述訓(xùn)練過程，開源了代碼，還上線了一個(gè)所有人都能試玩的在線Demo。

結(jié)果，這個(gè)項(xiàng)目就在推上被噴得體無完膚。

許多人喊著「這東西太可怕了，它會(huì)摧毀整個(gè)科學(xué)交流體系」，因?yàn)檫B傻瓜都可以寫出一篇聽上去像模像樣的「論吃碎玻璃有益健康」的科學(xué)論文了。

負(fù)面評(píng)論如同海嘯般襲來，可憐的同事們夜不能寐，最后只能被迫撤下Demo，只留下論文和開源代碼。

當(dāng)時(shí)他們的結(jié)論是：世界還沒準(zhǔn)備好接受這種技術(shù)，也沒人真正感興趣。

結(jié)果三周后，他們就迎來了暴擊：ChatGPT上線了，公眾的反應(yīng)儼然是「救世主再臨」。

LeCun和同事們面面相覷，對(duì)于公眾突如其來的這股熱情百思不得其解。

Meta真不行了？不見得

雖然質(zhì)疑聲不斷，但LeCun同樣擁有著一些堅(jiān)定的支持者。

正如有人在聽完他演講后，動(dòng)容地表示——

「我真心敬佩LeCun，一位現(xiàn)實(shí)主義者，開源倡導(dǎo)者，一個(gè)絕非跟風(fēng)炒作的人。盡管他因?yàn)榉磳?duì)LLM教條而招致很多仇恨，但我仍尊重他的誠(chéng)實(shí)。」

「很高興在如今這個(gè)時(shí)代，聽到有人談?wù)揕LM的局限性，尤其是他還在為一家股東公司工作。只有我們忽略炒作，關(guān)注局限性、失敗的可能性以及其他工程原則時(shí)，AI才會(huì)是安全的。」

即便面對(duì)如今表現(xiàn)不佳的Llama 4，這些支持者依然堅(jiān)信，在幾個(gè)月內(nèi)我們就會(huì)看到令人印象深刻的進(jìn)展。

在一篇名為「即使LLM到達(dá)平臺(tái)期，也不一定意味著人工智能寒冬」的帖子中，有人堅(jiān)定支持了LeCun的路線。

在發(fā)帖人看來，雖然如今的大實(shí)驗(yàn)室都在專注于LLM，但仍有一些較小的實(shí)驗(yàn)室在探索替代路徑。

他表示，自己一直以為Meta的LeCun團(tuán)隊(duì)是唯一一個(gè)在研究基于自監(jiān)督、非生成、視覺系統(tǒng)的團(tuán)隊(duì)。

但就在幾周前，有一群研究者發(fā)布了一種新的架構(gòu)，該架構(gòu)建立在LeCun一直倡導(dǎo)的許多想法之上。

論文地址：https://arxiv.org/abs/2503.21796

在某些情況下，甚至超過了LeCun自己的模型。

而且，在過去幾年中，已經(jīng)有越來越多的類似JEPA的系統(tǒng)出現(xiàn)，LeCun在視頻中也提到過它們。

其中有些來自較小的團(tuán)隊(duì)，有些則來自谷歌。

如果哪一天，LLM這條路真的行不通，陷入停滯，或許我們會(huì)看到資金投入的下降，因?yàn)楫?dāng)前的投資其實(shí)很多都是基于公眾和投資者的熱情之上的。

但是，這并不意味著AI寒冬。過去之所以有寒冬，是因?yàn)槿藗儚奈幢籄I真正「震撼」過一次。

但自從ChatGPT誕生，人們已經(jīng)見到了如此「聰明」的AI，這就讓AI領(lǐng)域吸引了前所未有的關(guān)注，這種熱情并沒有消退跡象。

與其說我們會(huì)進(jìn)入AI寒冬，不如說我們正在看到一種從主導(dǎo)范式向更多樣化格局的轉(zhuǎn)變。

對(duì)于整個(gè)人類來說，這是一件好事。當(dāng)涉及到像智能這樣難以復(fù)制的領(lǐng)域時(shí)，不把所有雞蛋放在一個(gè)籃子里，才是最聰明的做法。

參考資料：

https://x.com/kimmonismus/status/1913265562853011863

https://www.youtube.com/watch?v=eyrDM3A_YFc&t=6s

https://www.youtube.com/watch?v=ETZfkkv6V7Y