文：王智遠(yuǎn) | ID:Z201440

寫(xiě)完一篇空間智能文章，發(fā)到群里，聊它如何用虛擬空間數(shù)據(jù)訓(xùn)練機(jī)器人，幫人類(lèi)理解世界。

結(jié)果有朋友提出個(gè)問(wèn)題：

文生視頻算不算空間智能？它也能生成虛擬場(chǎng)景，為什么不是最佳途徑？這問(wèn)題挺有意思，我第一反應(yīng)就想到了Sora。

文生視頻“新星”崛起速度太快，幾句話能生成一個(gè)視頻，兩年內(nèi)字節(jié)、騰訊、甚至其他模型廠商紛紛壓住該賽道。

不過(guò)，兩年過(guò)去，有人發(fā)現(xiàn)它沒(méi)那么完美，生成人像總帶著“恐怖谷”的詭異，連Facebook首席人工智能科學(xué)家Yann LeCun也點(diǎn)評(píng)說(shuō)：Sora不過(guò)是畫(huà)得好看，壓根不懂物理規(guī)律。

于是，我?guī)е蓡?wèn)研究了一下：看似強(qiáng)大的Sora，為什么不能成為真正的世界模擬器？它和空間智能的差距到底在哪？

01

愛(ài)因斯坦有句經(jīng)典的名言：

“如果不能簡(jiǎn)單地解釋一件事，那就說(shuō)明還沒(méi)有真正理解它。”（If you can't explain it simply, you don't understand it well enough.）

所以，想深入探究，就必須從深層次技術(shù)原理出發(fā)。

Sora的核心是“擴(kuò)散模型”（Diffusion Model）；從一堆隨機(jī)噪點(diǎn)開(kāi)始，通過(guò)AI一步步去掉雜亂，最終生成清晰的畫(huà)面，再將這些畫(huà)面串聯(lián)成視頻，聽(tīng)起來(lái)像魔法，其實(shí)背后是數(shù)學(xué)原理在支撐。

另外，它還有個(gè)幫手是“Transformer”，這個(gè)詞不少人聽(tīng)說(shuō)過(guò)。什么意思呢？它擅長(zhǎng)處理序列數(shù)據(jù)，把零散的信息連成一條線。在Sora中，它將文字指令拆解，再把一幀幀畫(huà)面串聯(lián)成流暢的動(dòng)作。

舉個(gè)例子：

如果你輸入“船在咖啡杯里航行”，Sora會(huì)先理解“船”和“咖啡杯”，然后，把船、水波蕩漾、船身傾斜這些相關(guān)的詞匯、場(chǎng)景串聯(lián)起來(lái)。

這背后依賴(lài)海量視頻數(shù)據(jù)和強(qiáng)大的算力，才能在幾秒鐘內(nèi)生成幾十秒的畫(huà)面。

可是，你有沒(méi)想過(guò)，僅僅依賴(lài)數(shù)據(jù)堆砌出來(lái)的結(jié)果，真的能理解物理世界嗎？答案是不會(huì)。問(wèn)題就出在架構(gòu)上。

擴(kuò)散模型擅長(zhǎng)從數(shù)據(jù)中學(xué)習(xí)像素規(guī)律，預(yù)測(cè)下一步畫(huà)面應(yīng)該是什么樣子；Transformer則能讓幀與幀銜接得天衣無(wú)縫。所以從視覺(jué)上看，Sora很“聰明”，能夠模仿真實(shí)視頻的連續(xù)感，但仔細(xì)一想，問(wèn)題就來(lái)了。

船怎么可能塞進(jìn)杯子？我試過(guò)輸入「貓?zhí)阶郎稀梗?huà)面流暢得沒(méi)話說(shuō)，結(jié)果貓腿直接穿過(guò)了桌面，就像游戲里的穿模。為什么會(huì)這樣？

因?yàn)镾ora的生成邏輯是“畫(huà)得好看”，而不是“畫(huà)得對(duì)”。

它不懂重力如何讓腳落地，也不懂桌子為何會(huì)擋住貓腿，生成“恐怖谷”人像時(shí)，更一目了然，臉部細(xì)節(jié)一放大就崩了，它只知道靠像素預(yù)測(cè)，卻沒(méi)有考慮現(xiàn)實(shí)規(guī)則。

所以，Sora的強(qiáng)項(xiàng)和弱點(diǎn)是一枚硬幣的兩面。

視覺(jué)流暢是它的本事，不合理也是它的命門(mén)。正如Yann LeCun所說(shuō)，它“不懂蘋(píng)果為何落地”，我覺(jué)得這個(gè)觀點(diǎn)很對(duì)：Sora的架構(gòu)根本就沒(méi)想去理解物理世界，只是想把畫(huà)面糊弄得像真的。

既然Sora不懂物理世界，那它能否成為世界模擬器呢？

我認(rèn)為有點(diǎn)懸。為什么？

世界模擬器是一個(gè)能夠運(yùn)行物理規(guī)則的虛擬環(huán)境，幫助機(jī)器人學(xué)習(xí)現(xiàn)實(shí)中的因果關(guān)系，但Sora生成的視頻雖然看起來(lái)像回事，卻毫無(wú)真實(shí)性。

你想想看，“船在杯子里”這樣的視頻去怎么去教機(jī)器人，機(jī)器人可能會(huì)以為杯子能裝下萬(wàn)噸巨輪，這根本沒(méi)好用。

因此，擴(kuò)散模型和Transformer的目標(biāo)是視覺(jué)生成，而不是物理模擬，Sora更像一個(gè)藝術(shù)工具，追求“好看”的畫(huà)面，而不是“對(duì)”的世界，這讓我覺(jué)得Sora局限性在于其架構(gòu)沒(méi)有對(duì)準(zhǔn)目標(biāo)。

02

既然這樣問(wèn)題來(lái)了：世界模擬器要具備哪些關(guān)鍵特性？

我覺(jué)得最基礎(chǔ)的有三點(diǎn)：

一，得知道現(xiàn)實(shí)物品規(guī)則是什么樣，搬到虛擬場(chǎng)景中，不能差太多；二，理解物品與物品之間怎么相互影響的；三，還得能把不同物品整合到一起，相互推理。

這么說(shuō)，有點(diǎn)抽象，我舉個(gè)例子：

你在教一個(gè)機(jī)器人怎么拿東西，世界模擬器里面的“虛擬杯子”，得模仿出真實(shí)杯子的重量、材質(zhì)、形狀，這樣機(jī)器人才知道該用多大的力氣去抓。

模擬器把重力以各指標(biāo)模仿的不準(zhǔn)確，機(jī)器人就會(huì)抓得太緊或者太松，東西就會(huì)掉下來(lái)，甚至還會(huì)被弄壞。

再聊聊智能交通。

現(xiàn)實(shí)中，堵車(chē)是個(gè)大難題。要解決它，得靠算法、數(shù)據(jù)分析，比如錯(cuò)峰出行。

假設(shè)有個(gè)世界模擬器，如果它沒(méi)法模擬紅綠燈時(shí)長(zhǎng)、車(chē)輛速度，就無(wú)法預(yù)測(cè)哪里會(huì)堵車(chē)、什么時(shí)候堵，也做不了錯(cuò)峰規(guī)劃。

同樣，如果模擬器不清楚車(chē)輛摩擦力，就判斷不了車(chē)子能不能在綠燈時(shí)順利起步或紅燈時(shí)及時(shí)停下；如果搞不清車(chē)輛之間的相互影響，交通就會(huì)亂套，甚至可能出事故。

所以，世界模擬器的作用，是把復(fù)雜的物理規(guī)則和物體之間的關(guān)系都搞清楚，這樣才能讓機(jī)器人、智能交通這些高科技的東西更好地工作。

對(duì)比來(lái)看，Sora在關(guān)鍵特性上明顯不足。它在視覺(jué)生成方面做得很棒，但沒(méi)辦法滿足世界模擬器對(duì)物理規(guī)則和因果關(guān)系推理的要求。

這種問(wèn)題不只出現(xiàn)在Sora上，一些國(guó)產(chǎn)大模型也有類(lèi)似架構(gòu)缺陷。我刷抖音時(shí)經(jīng)常看到有人用圖生視頻模型，結(jié)果人突然變成狗，看起來(lái)很搞笑，但明顯不符合現(xiàn)實(shí)邏輯。

原因很簡(jiǎn)單，架構(gòu)無(wú)法為世界模擬器提供真實(shí)的物理理解能力，因此，在具身智能或其他領(lǐng)域的應(yīng)用就會(huì)受到很大限制。

可以得出一個(gè)結(jié)論：世界模型和文生視頻的架構(gòu)完全不一樣。世界模型要模擬真實(shí)世界，必須懂物理規(guī)律和現(xiàn)實(shí)邏輯；文生視頻主要生成畫(huà)面，在邏輯和真實(shí)性上沒(méi)那么嚴(yán)格。

03

我認(rèn)為，相比之下，真正值得關(guān)注的，是更注重物理規(guī)則建模和具備因果關(guān)系推理方向的模型。比如：李菲菲的World Labs、黃仁勛的世界模型（Cosmos WFMs），以及群核科技的空間智能。

為什么拿他們舉例呢？有三點(diǎn)：

先看目標(biāo)，黃仁勛提出的 Cosmos WFMs（世界模型）是希望打造一個(gè)能模擬真實(shí)世界的「虛擬大腦」。這個(gè)大腦要懂物理規(guī)則，要知道物體怎么動(dòng)、力怎么作用，還要明白事情的前因后果。

李菲菲的 World Labs 目標(biāo)是讓人工智能真正理解世界。它通過(guò)模擬物理規(guī)則、因果關(guān)系和復(fù)雜場(chǎng)景，讓AI不僅能“看到”，還能“理解”世界。

比如：一個(gè)AI產(chǎn)品可以在虛擬場(chǎng)景中預(yù)測(cè)事情的發(fā)展，或根據(jù)不同情況做出合理決策。這種能力對(duì)提升機(jī)器人、自動(dòng)駕駛等領(lǐng)域的智能化至關(guān)重要。

群核科技的空間智能，目標(biāo)是希望把真實(shí)世界搬到數(shù)字世界里，讓AI能看懂、能用，然后用數(shù)據(jù)幫助家居設(shè)計(jì)、建筑規(guī)劃、以及AR、VR這些領(lǐng)域，幫行業(yè)更高效的干活。

說(shuō)得直白點(diǎn)，是希望打造一個(gè)“數(shù)字孿生”的世界，讓人、AI、空間里面思考和行動(dòng)，解決實(shí)際問(wèn)題。

既然有了目標(biāo)，再看看三家技術(shù)實(shí)現(xiàn)路徑。

Cosmos WFMs 的技術(shù)實(shí)現(xiàn)路徑是通過(guò)構(gòu)建生成式世界基礎(chǔ)模型（WFMs），結(jié)合高級(jí)分詞器、安全護(hù)欄和加速視頻處理管道等關(guān)鍵技術(shù)，為開(kāi)發(fā)者提供高效的開(kāi)發(fā)工具。

具體來(lái)說(shuō)，它利用NVIDIA NeMo對(duì)基礎(chǔ)模型進(jìn)行調(diào)優(yōu)，并通過(guò) GitHub 和 Hugging Face 提供開(kāi)源支持，幫助開(kāi)發(fā)者生成高仿真的物理數(shù)據(jù)。

此外，Cosmos 還專(zhuān)注于多視角視頻生成、路徑規(guī)劃、避障等任務(wù)，進(jìn)一步提升物理AI在機(jī)器人、自動(dòng)駕駛等領(lǐng)域的應(yīng)用能力。

報(bào)告里面的東西是不是很難懂？

通俗的說(shuō)：他們做的這套系統(tǒng)，能讓AI學(xué)會(huì)像人一樣看路、規(guī)劃路線、避開(kāi)障礙物，還能生成各種角度的視頻，特別適合用在機(jī)器人和自動(dòng)駕駛這些領(lǐng)域。

李菲菲的World Labs的技術(shù)實(shí)現(xiàn)路徑是，開(kāi)發(fā)一種從2D到3D的智能轉(zhuǎn)化技術(shù)，讓AI不僅能看懂平面圖片，還能生成完整的三維空間。

他們的系統(tǒng)從一張普通照片出發(fā)，估算出場(chǎng)景的3D結(jié)構(gòu)，然后補(bǔ)全圖片中看不到的部分，最終生成一個(gè)用戶可以自由探索和互動(dòng)的虛擬世界。

簡(jiǎn)單講，用AI把平面圖像變成立體空間，讓人像在真實(shí)世界一樣能走進(jìn)去、四處看看。這種技術(shù)對(duì)機(jī)器人導(dǎo)航、虛擬現(xiàn)實(shí)等領(lǐng)域特別有用，因?yàn)樗鼈兌家翱臻g智能”來(lái)理解和應(yīng)對(duì)復(fù)雜的3D環(huán)境。

群核科技搞空間智能，簡(jiǎn)單來(lái)說(shuō)：

1萬(wàn)臺(tái)GPU服務(wù)器，用計(jì)算能力幫家居和建筑行業(yè)快速做出大量3D模型，順便攢了一堆2D和3D的設(shè)計(jì)數(shù)據(jù)；把數(shù)據(jù)整合到一個(gè)平臺(tái)上，能生成特別逼真的虛擬場(chǎng)景。

最后，企業(yè)可以用這個(gè)平臺(tái)來(lái)訓(xùn)練機(jī)器人，比如：掃地機(jī)器人或者自動(dòng)駕駛設(shè)備，讓它們?cè)谔摂M世界里模擬真實(shí)環(huán)境，學(xué)會(huì)怎么動(dòng)、怎么避障，變得更聰明。

因此，無(wú)論黃仁勛的Cosmos WFMs、李菲菲的World Labs，還是群核科技的空間智能，技術(shù)核心目標(biāo)是通過(guò)模擬真實(shí)世界的物理規(guī)則和因果關(guān)系，讓AI在空間內(nèi)訓(xùn)練更聰明、更能解決實(shí)際問(wèn)題。

04

我認(rèn)為，要實(shí)現(xiàn)這一目標(biāo)，離不開(kāi)一個(gè)關(guān)鍵因素：高質(zhì)量數(shù)據(jù)。數(shù)據(jù)是構(gòu)建世界模型和空間智能的基礎(chǔ)，可它也是發(fā)展里最大的「攔路虎」。

為什么？

我們說(shuō)具身智能有點(diǎn)抽象，換一個(gè)更具體的詞：“虛擬訓(xùn)練”。虛擬訓(xùn)練有兩個(gè)重要方面：

一個(gè)是生成式的海量數(shù)據(jù)。就像GPT這樣的文字模型，靠超大規(guī)模的數(shù)據(jù)和強(qiáng)大的算力來(lái)學(xué)習(xí)和推理；另一個(gè)是真實(shí)數(shù)據(jù)。枕頭的大小、重量、材質(zhì)，或者光線怎么反射、物體怎么碰撞，這些是物理交互場(chǎng)景。

這種真實(shí)數(shù)據(jù)來(lái)源于現(xiàn)實(shí)世界，直接決定虛擬訓(xùn)練能否模擬出符合實(shí)際邏輯的行為和反應(yīng)；

換句話說(shuō)，虛擬訓(xùn)練要兩種數(shù)據(jù)：一種是“虛擬生成”的大數(shù)據(jù)，另一種是“真實(shí)場(chǎng)景”的物理數(shù)據(jù)，而后者，往往成為發(fā)展的瓶頸。

原因很簡(jiǎn)單：文生視頻、文生圖等生成式技術(shù)雖然能生成豐富的內(nèi)容，但很難直接獲取真實(shí)的物理規(guī)則和精確的交互細(xì)節(jié)。

比如，文生視頻可以生成一個(gè)“滾動(dòng)的球”，但它可能無(wú)法準(zhǔn)確模擬球在不同材質(zhì)地面上的摩擦力、彈跳高度或碰撞反應(yīng)。

那真實(shí)場(chǎng)景的數(shù)據(jù)從哪兒來(lái)呢？只能從真實(shí)世界里來(lái)。

通過(guò)傳感器、攝像頭、激光雷達(dá)等設(shè)備，從現(xiàn)實(shí)環(huán)境中采集；你開(kāi)車(chē)時(shí)，傳感器會(huì)記錄車(chē)輛的運(yùn)動(dòng)軌跡、力度變化、光線反射，還有車(chē)輛間距、行人行為，甚至天氣對(duì)路況的影響。這些信息會(huì)被上傳到平臺(tái)，用來(lái)分析和訓(xùn)練。

但有了數(shù)據(jù)還不夠。

平臺(tái)的數(shù)據(jù)不能保證下一次操作一定精準(zhǔn)，還得在虛擬環(huán)境里進(jìn)行大量訓(xùn)練；自動(dòng)駕駛汽車(chē)，要在虛擬環(huán)境里反復(fù)模擬行駛，可能要跑成千上萬(wàn)次，直到能應(yīng)對(duì)各種復(fù)雜場(chǎng)景，才能用到現(xiàn)實(shí)世界里。

明白這些，你也就明白了，這不僅是自動(dòng)駕駛、機(jī)器人領(lǐng)域的問(wèn)題，其他行業(yè)也一樣。

不管醫(yī)療、制造還是農(nóng)業(yè)，世界模型和空間智能都需要海量的真實(shí)數(shù)據(jù)來(lái)支撐，并且要通過(guò)虛擬環(huán)境的反復(fù)訓(xùn)練來(lái)驗(yàn)證和優(yōu)化能力。

換句話說(shuō)，無(wú)論是自動(dòng)駕駛、機(jī)器人導(dǎo)航，還是其他行業(yè)的具身智能應(yīng)用，核心挑戰(zhàn)都在于如何獲取高質(zhì)量的真實(shí)數(shù)據(jù)，再通過(guò)虛擬和現(xiàn)實(shí)的結(jié)合，讓AI真正能解決實(shí)際問(wèn)題；這才是未來(lái)技術(shù)落地的關(guān)鍵。

誰(shuí)有底層架構(gòu)、誰(shuí)有數(shù)據(jù)，誰(shuí)才有上牌桌的機(jī)會(huì)。