出品｜虎嗅科技組

作者｜宋思杭

編輯｜苗正卿

頭圖｜AI生成

“多模態(tài)目前的水平仍處于GPT 2～3 中間，尚未迎來智能涌現(xiàn)的臨界點”，視頻生成模型公司“智象未來”創(chuàng)始人兼CEO梅濤對虎嗅坦言。這位曾主導微軟研究院多模態(tài)AI體系建設的科學家、前京東副總裁，如今正帶領團隊占領視頻生成高地。

回溯2023年初ChatGPT引爆國內市場之時，中國的大語言模型水平還處在GPT 2的程度，如此計算，多模態(tài)模型與大語言模型拉開的差距則至少是兩年起步。

而在過去的兩年時間里，無論是國內的可靈、MiniMax還是Vidu，抑或是海外的Sora，也都是雷聲大雨點小。盡管是估值較高的MiniMax也將主要目標市場瞄向了海外。

在這場關乎未來的技術競速中，三個關鍵問題亟待解答：造成這種差異的原因究竟是什么？多模態(tài)何時迎來“iPhone時刻”？創(chuàng)業(yè)公司又如何在大廠圍剿中突圍？

梅濤的成長軌跡恰似一部微縮版行業(yè)進化史。

今年是梅濤創(chuàng)業(yè)的第三年。在微軟研究院期間，梅濤曾探索過文生視頻的路線。可以說，今天從文字到圖片/視頻的生成，是站在過去從圖片/視頻到文字這塊墊腳石之上的。

十年前，被大眾所接受的路線并非是從文字到圖片，或從文字到視頻的生成，而是一種反過來的邏輯，即從圖片/視頻到文字的生成。但當時間來到十年后的今天，后者才是被大眾接受的路線，前者則被認為是反直覺。

從文字到圖片/視頻，這個如今再正常不過的生成邏輯，在十年前卻鮮少有人敢于嘗試。而梅濤等人正是首批研究這種逆向路徑的人。作為第一批吃螃蟹的人，梅濤需要突破的是一種“維度詛咒”。

簡單理解是，因為圖片和視頻都是多維信號，而文字是單一維度，從多到一可以有標準答案，但從一到多卻有多條發(fā)展路線/技術路線。這種技術范式的顛覆，也注定了行業(yè)內長達十年的技術蟄伏期。可以說，直到今天，這條路線都還未有收斂跡象。

技術架構的迭代勾勒出清晰的進化圖譜：2015年深度神經(jīng)網(wǎng)絡突破、2017年Transformer架構革命、2020年Diffusion模型崛起、2024年自回歸架構創(chuàng)新......每個節(jié)點都暗藏玄機。讓梅濤真正走向創(chuàng)業(yè)道路的是一個重要的技術迭代契機：

2022年末Stable Diffusion架構點燃文生圖賽道，這讓梅濤嗅到了視頻生成的技術拐點，也讓他重拾起自己5年前的研究成果。彼時，受限于技術架構發(fā)展，視頻生成模型的研究探索遲遲未能有突破。

2023年，梅濤成立了“智象未來”。巧合的是，這一年也正是國內的大模型元年。

梅濤告訴虎嗅，目前，視頻生成類產(chǎn)品之所以還沒有像大語言模型一樣跨越大眾認知門檻，一方面是因為受眾范圍較小，更偏重專業(yè)人士，因為它不像大模型一樣能給人算命、提供問答；另一方面從模型能力來說，它的確還沒出現(xiàn)太多次的“aha moment”。

另據(jù)虎嗅獨家獲悉，智象未來預計5月中旬上線C端視頻生成類Agent應用。此前，智象未來在C端應用上所發(fā)力的重點則更聚焦在海外。值得一提的是，上周智象未來開源了image模型，截至目前，該模型在Hugging Face上排名第三。

然而，如今多模態(tài)模型正在面臨現(xiàn)實窘境： 一邊是DeepSeek開源勢力帶來的沖擊，另一邊是大廠生態(tài)資源的碾壓。

更深層的行業(yè)拷問仍在延續(xù)：當下技術路線遠未收斂，算力成本高企不下，這場多模態(tài)長征還需要多少時間與耐心？在這條征途上，中國創(chuàng)業(yè)者能否走出差異化創(chuàng)新路徑？答案或許藏在下一個技術奇點的晨光里。

“工具革命”的生死時速

虎嗅：你能介紹下你在微軟研究院做視頻生成模型的背景嗎？

梅濤：研究生期間，我的博士論文題目就是視頻分析，當時做的第一個工作是做 Sports video，分析足球籃球運動的視頻。

后來又開始做廣告，當時世界上第一批視頻廣告插入的專利就是我們寫的。再后來到了 2015 年左右， 開始研究深度神經(jīng)網(wǎng)絡。那個時候做過Captioning，即圖片/視頻生文。

到 2017 年的時候，業(yè)界的普遍認知是從圖片/視頻到文字會更簡單。彼時微軟是第一批把這個技術用在 office 和工業(yè)場景里的企業(yè)。

虎嗅：所以之前一直都是視頻到文字，現(xiàn)在是反過來。

梅濤：當時很少有人敢嘗試，因為覺得這個事情沒有標準答案。原因很簡單，要做一對多很難justify。但我們在 2017 年就做過一些文生視頻的實驗，就打算反過來，研究從文字到視頻。

（虎嗅注：梅濤認為文字是一維信號，圖片是二維信號，視頻是三維信號。當時研究的都是多個維度到單一維度，會相對比較簡單；而反過來，當時很難找到標準答案）

虎嗅：那你在京東做的事情也是這些嗎？

梅濤：我們在京東做的事情不太一樣。因為 DiT 是 2024 年出來的，Diffusion 應該是 2020 出來。但直到 2022 年底才有人把它變成 Stable Diffusion。這也是為什么我們從 2017 年做完，一直到 2023 年中間就沒有做過生成。

所以智象是從 2023 年開始用UNet架構，到 2024 年是 Diffusion Transformer（DiT），2025 年就開始用DiT+AR（自回歸）架構。

虎嗅：現(xiàn)在在 AI 時代做大模型的、做多模態(tài)的創(chuàng)業(yè)者基因上有很大不同，有些來自從硅谷圈，有些來自大廠，還有一類人是移動互聯(lián)網(wǎng)時代的。你覺得這幾類人創(chuàng)業(yè)做AI會有什么差異嗎？

梅濤：差異很大，大家優(yōu)勢不一樣。

第一，移動互聯(lián)網(wǎng)這波人對商業(yè)化非常敏感，可能會做出一些短平快的產(chǎn)品，很快就能爆。但 AI 時代做產(chǎn)品不容易。

不過如果他能知道技術的邊界，他依然可以。因為人性的需求在那里。所以有些人從移動互聯(lián)網(wǎng)時代進入到 AI 時代，他依然能做出不錯的產(chǎn)品，但上限不高。

因為 AI 時代，不像移動互聯(lián)網(wǎng)，現(xiàn)在不是模式創(chuàng)新，是工具創(chuàng)新、工具革命，是利用工具來提高生產(chǎn)效率，降低成本。那么現(xiàn)在首先需要的是替代以前的工具，再從工具做到平臺。

而過去是直接做平臺，是一個新的模式。以前沒有手機，只能在web端做，有手機后，就產(chǎn)生了很多新的生產(chǎn)場景，這就創(chuàng)造了新的商業(yè)模式。所以當時的邏輯比較簡單，模式對了，投資人就會有投資的意愿，而對技術本身的要求并不高。

第二，從大廠出來的人，會對商業(yè)化思考更多，尤其是對技術和商業(yè)化的碰撞上面。但我們會追求一個更大的機會，比如顛覆掉從前的工具，再從工具到平臺，從平臺到社區(qū)。

第三，從學術界出來的人，他們在商業(yè)化方面，比如對用戶的需求、對場景的認知，以及對產(chǎn)品怎樣做增長，要做渠道診斷、拓客方面仍需要更多探索。但同時他們的長處也很明顯，他們特別有科研精神。

所以到底什么時間適合出來，是需要考量的。如果這個技術在實驗室已經(jīng)非常成熟了，還有一個特別懂商業(yè)化的合伙人，出來做會比較合適。

虎嗅：這兩年大模型圈有一個共識，大家會覺得大模型、多模態(tài)商業(yè)化是很難的事情。難點在于找PMF的過程中，不僅是找不到“M”，可能有些人連“P”是什么都不清楚。所以你怎么看這里面的P和M？

梅濤：目前大模型找 PMF 確實花了點時間。但宏觀來講，站在 AI 長期發(fā)展的角度來看，大家太著急了，整個市場上都比較迫切地在尋求所謂最優(yōu)解，基本上每年都在跟一個新的風向。

虎嗅：著急會不會是因為大家還是延續(xù)過去的模式走？

梅濤：對，因為在思考鏈路上有一種惰性的慣性思維，這很難改變。今天很多人說 AI 泡沫，AI 肯定有泡沫。像很多公司估值過高，但收入?yún)s并不能覆蓋成本。

但從人工智能發(fā)展來看，從 1950 年代開始至今共經(jīng)歷了三起三落。現(xiàn)在回頭再看十年前會覺得是小兒科。所以說要學習歷史。 AI 發(fā)展一定是長期的過程，今天看的東西不是終局。

當然現(xiàn)在找 PMF 并沒有像模式創(chuàng)新時那么快。剛才我講了工具革命，首先我們要把工具革掉，這個時間會稍微長一點。

在移動互聯(lián)網(wǎng)時代，做一個新的模式也需要很長時間。比如字節(jié)跳動最開始也做過幾個失敗產(chǎn)品，到后來才找到信息流。后來做視頻也花了很久。所以我覺得大家對 AI 還是要有點耐心。

另外，我并沒有覺得多模態(tài)找PMF會比大模型慢。舉幾個例子，比如 Midjourney 2022 年 11 個人收入做到 1 億美金，2023 年是 2 億美金，2024年是做到 5 億美金的ARR。你難道還說他找不到 PMF 嗎？

再比如海外的HeyGen，也做到了幾千萬美金的ARR，以及 Photoroom 這種傳統(tǒng)做圖像處理的，現(xiàn)在加了AI，也是大幾千萬美金的ARR，所以我并不認為多模態(tài) PMF 特別難。

虎嗅：你想做國內的 Midjourney？ 還是其他什么場景？

梅濤：我們不會復制別人。我們想做全球化的視頻創(chuàng)作開發(fā)平臺，會為設計師或者泛設計師人群設置非常低門檻的在上面，讓他們高效實現(xiàn)創(chuàng)意。

它首先是一個高效工具。這個工具未來可能是我們自研，也有可能由第三方提供一部分。在平臺上也會有很多種設計創(chuàng)意，可以叫它模板或者工作流，可以供大家使用。

其實今天的平臺包括Canva還存在一個問題，就是用戶創(chuàng)作完之后需要在第三個平臺上變現(xiàn)。

中間過程非常割裂。我們希望一個平臺上既有我們的業(yè)務，比如游戲公司做宣發(fā)，影視公司做前期宣傳，文旅集團做 IP 二創(chuàng)等等，它會把想法發(fā)布到我們平臺上，我們會連接最合適的創(chuàng)意，創(chuàng)作者生成作品后，我們會有流量平臺分發(fā)出去。最后再這些用戶反饋也會回到創(chuàng)作者那邊。我們希望實現(xiàn)整個流程的閉環(huán)。

虎嗅：這個事情很難嗎？

梅濤：現(xiàn)在還沒有人做到。智象未來也在努力。這里面首先需要生產(chǎn)力工具平臺，其次是業(yè)務，還要有創(chuàng)作者生態(tài)的建設。

虎嗅：這件事大概什么時間會看到希望？

梅濤：預計明年能有雛形吧。

開源與技術架構的雙重圍城

虎嗅：你們?yōu)槭裁磿x擇在這個時間點開源？會不會受到 DeepSeek 影響？

梅濤 ：我們現(xiàn)在這個階段要迎接變化，之前我們對開源的認知是不夠的。

DeepSeek 開源之后起到很大的作用。所有人使用大模型的門檻降低了，應用的天花板提高了，因為每個人都能創(chuàng)作出好用的東西。這對社區(qū)的貢獻是非常大，同時也提高了他的品牌影響力。

第二，開源之后讓大家認識到中國的公司其實有很強的技術。現(xiàn)在大模型里開源做比較好的兩家，一個是DeepSeek，一個是阿里的Qwen系列。這是大家比較認可的。我們自己作為創(chuàng)業(yè)公司是想構建社區(qū)。

虎嗅：那你們開源和商業(yè)化之間是怎么平衡的？

梅濤 ：我們開源了 1.0 版本，另外還有一個 Pro 版，效果會比這次的開源好，參數(shù)也會更大。

還有一點，我們開源的是圖像模型，這也是我們在做試點操作過程中很關鍵的一步。因為很多時候，用戶是先生成一張圖片，基于圖片再去上面修改做成視頻的。這是目前比較主流的創(chuàng)作方式。

另外，我們也希望把它拿出來，讓大家共同來把事情做得更好一點，同時也加速我們的技術迭代。

商業(yè)化方面我們靠視頻模型。但目前視頻模型暫無開源計劃，不過也根據(jù)商業(yè)化情況調整。

虎嗅：之前聽一些獨角獸公司說他們講到并不是說用戶數(shù)越多，模型能力就會變得越強，所以說現(xiàn)在很多其實也并不是很 care 用戶多不多。

梅濤 ：對，這個我同意。用戶數(shù)量大并不意味著能留存下來。目前用戶普遍的留存度不高，用戶還沒有形成完整的工作流習慣。現(xiàn)在大家更多是幾種工具間來回切換，用戶會看效果看成本。

我覺得今天還是比較早期的競爭態(tài)勢，它并不代表未來的結果。對于我們來說，我們并沒有去大量的投流和投放，現(xiàn)在都是自然增長。

虎嗅：現(xiàn)在做視頻生成模型，除了缺數(shù)據(jù)，技術上還存在哪些卡點？

梅濤：還有交互，比如我要拿這個杯子，我要遞給你，然后你要接住這個杯子，還要喝水。這個過程是很難的。

4月7日我在香港參加了一個 panel discussion，跟學術屆一起聊這個事情。大家普遍認為現(xiàn)在大家把大模型的能力邊界擴得很大，包括Sam Altman也在講他對 AI 的期望有點高。他覺得 AI 其實就是一個非常 powerful 的工具。

我們以前的一些同事，像香港大學的馬毅教授、香港理工的楊紅霞教授，還有我們中科大的姚欣教授，我們在論壇上都一致認為今天 AI 即使再powerful，也只在 memorizing the world，就是用token的方式把整個世界記住。

但還遠遠沒有達到智能，現(xiàn)在它只是在建立連接。它也不一定能理解 2 和 3 是什么意思，3 一定比 2 要多一個 1。它只是在不斷的輸出。

但你也不能說它輸出的沒有價值。因為從神經(jīng)學的角度來說，它其實在構建連接。這跟人的學習方式也有些類似，但人的學習方式更復雜。一個簡單的邏輯就是現(xiàn)在的大模型也相當于在建立人的神經(jīng)網(wǎng)絡、神經(jīng)元的連接。

但是我們現(xiàn)在大模型做的東西非常粗淺。跟人完全比不了。但即使這樣，已經(jīng)對工業(yè)界產(chǎn)生了極大的影響。

技術上哪怕是一點點的小進步，對世界的經(jīng)濟影響都是很大的。比如我們以前在微軟做搜索，提高 0.1 個點的搜索準確率，廣告收入就是幾十億美金。

所以說一方面我們要認可今天 AI 還不是那么 super（高級），也不是那么通用。但是它已經(jīng)足夠強大到成為一個非常好的工具。這個工具能對工業(yè)界和我們的生活產(chǎn)生巨大的影響，但同時也不要把它過分地擴大，說我們今天就要實現(xiàn) AGI 了。

虎嗅：現(xiàn)在市面上Sora、MiniMax、可靈等等，大家視頻生成的風格都不太一樣，這個風格的差異是怎么形成的？

姚霆（智象未來CTO）：最直接的來源肯定是數(shù)據(jù)，數(shù)據(jù)決定一切。如果沒有對應的數(shù)據(jù)，你做不了任何風格，這個是從模型側的角度來看。我不知道其他公司的側重點是什么，我們的側重點是在敘事性。

實際上，今天無論是生圖還是視頻，用戶買單的都是敘事能力。舉個例子，比如我腦海中就想講述一個故事，那每一幅圖它需要長成什么樣？它的景別是什么樣？每幅圖應該都有所不同，因為它是一個敘事的過程，一開始可能是近景，然后是中景、遠景等等，這樣才知道我要生成是什么樣的圖。

接下來，生成好每一幅圖或者視頻幀以后，我再把它變成一個視頻，這樣才能夠串起來一個故事。

如果它不是一個故事的話，說實話今天所有的素材可能價值都不大，因為那樣就失去了靈魂，所以說敘事性是要貫穿始終的。

虎嗅：最新開源的 image 模型是170億參數(shù)。那視頻呢？

姚霆：視頻肯定比圖片更大，幾百億的參數(shù)吧。

虎嗅：選擇多大參數(shù)，數(shù)據(jù)可能是一方面，還有其他方面的考量嗎？

姚霆：今天去看模型訓練的好壞，選擇多少的參數(shù)比較合適，是要看在訓練過程中，需要多大量級的模型能夠把訓練數(shù)據(jù)“重現(xiàn)”出來，這是我們的核心點。先不管訓練數(shù)據(jù)有多少，如果模型訓練到一定程度發(fā)現(xiàn)能把訓練數(shù)據(jù)完全重現(xiàn)了，那這就是一個相對好的匹配。

如果當數(shù)據(jù)量極大的情況下，模型沒辦法完全重現(xiàn)訓練數(shù)據(jù)，那就要增大參數(shù)量，因為模型的容量不夠。

所以說參數(shù)量不能過大也不能過小，過大會造成浪費模型能力和成本，過小會沒法完全壓縮數(shù)據(jù)內容和知識，所以這是一個匹配的過程。

虎嗅：你們的數(shù)據(jù)是從哪里獲取的？

姚霆：一部分是公開域的數(shù)據(jù)，另一部分是和影視公司合作的，包括有版權的視頻數(shù)據(jù)等，不過商業(yè)化大部分都是私域數(shù)據(jù)。

虎嗅：之前國內在視頻生成領域，也出現(xiàn)過版權糾紛案。從行業(yè)角度來講，視頻生成模型廠商會不會考慮使用幾大視頻平臺的數(shù)據(jù)？或者會如何使用？

姚霆：其實這種海量數(shù)據(jù)更多會用在預訓練。后訓練會少一些，因為它和應用場景是強耦合的。等到后訓練的時候會找一些特定應用場景的數(shù)據(jù)。

虎嗅：智象使用的是DiT+AR的架構。這兩年也一直有討論DiT其實并不能完全滿足視頻生成模型。所以想問這個DiT+AR目前解決了哪些問題？行業(yè)里這方面的探索進行到什么程度了？

姚霆：對，這個我們內部一直也會有討論，到底是什么樣的一套架構是我們要選擇的。目前路線也在不斷變化，還沒有收斂。

我猜測GPT-4o用的也是類似融合的架構，雖然他們在報告中沒有詳細的介紹。目前我們正在用DiT和自回歸（AR）融合的方式，但如果你問終局是什么，現(xiàn)在還很難說。

另外也要看你的目標是什么，對我們來說自回歸和DiT的融合已經(jīng)能滿足大部分場景了。

DiT具備較高的生成質量，但它需要多步的加噪去噪過程，因此推理速度較慢；而傳統(tǒng)的自回歸模型AR通過離散圖像編碼結合整圖的自回歸建模實現(xiàn)了較快的推理速度，但離散圖像編碼會帶來一定的信息損失，影響生成質量。因此我們采用DiT+AR的技術路線，在保持連續(xù)圖像編碼的同時實現(xiàn)自回歸過程和輕量化擴散過程的結合，從而提升推理速度的同時保持了生成質量，而且自回歸的過程也能天然地和上下文語境理解適配和對齊，從而達到更強的指令跟隨特質。

（虎嗅注：2025年4月3日，一篇揭秘GPT4o圖像生成架構的論文正式發(fā)表，該論文指出GPT-4o很可能采用了AR+Diffusion架構，而智象未來也提到，HiDream模型于2024年末開始使用DiT+AR架構）

虎嗅：用自回歸和DiT融合的架構對成本也會有節(jié)省嗎？

姚霆：會。極致的話可能節(jié)省 50% 以上，甚至 80% 都有可能，但要是看怎么去組合和平衡。例如擴散過程做的特別輕，那可能會影響生成效果。但如果重心都放到擴散過程中，前面自回歸建模部分做的輕量級，那其實推理成本上節(jié)省的就不多了。實際上，這個DiT+AR技術路線里面的訓練機制方式非常復雜，并不是一個簡單的積木拼接，需要結構上巧妙地組合和優(yōu)化。

“文生視頻模型至今沒出現(xiàn)aha moment”

虎嗅：考慮到現(xiàn)在 Deepseek 還有大廠，他們可能更有場景，你們怎么看待來自外部的競爭，智象的護城河在哪？

梅濤：我們并不會關注和創(chuàng)業(yè)公司的競爭，但我們最擔心就是大廠的競爭。對我們來說，他們有更多的場景、數(shù)據(jù)、現(xiàn)金流、資源等等。

目前來說，大廠是在 C 端流量上競爭非常激烈。但我們目前還并沒有去競爭純C端。

當然初創(chuàng)公司從零開始肯定得有過程，但也不是說不能做了。像我剛剛提到很多ARR過億的都是小公司。

所以還是有機會。另外大廠的劣勢是反應速度沒有初創(chuàng)公司那么敏捷。雖然它資源多，但具體到某一個細分場景下，它的人員、資源的配置反而不像小公司那么極致的。它比較零散，很難聚匯聚到一起。

虎嗅：你怎么看ARR過億的應用都是小公司做出來的？

梅濤：AI這一波趨勢很明顯。回到兩年前，當時做得比較好的產(chǎn)品基本都是創(chuàng)業(yè)公司的。投資人也基本只看了小公司，不看大公司。

因為首先大公司很難去做一個很大的決定，比如 all in 某個地方，它有很多的包袱。相比之下，小公司沒有包袱，組織架構比較輕盈，投資人也愿意在某個細分領域去砸。

虎嗅：但大公司優(yōu)勢可能也在于生態(tài)。

梅濤：生態(tài)是雙刃劍吧。說實話，所謂的生態(tài)是你有沒有一個好的產(chǎn)品，好的場景。有的話生態(tài)是可以跟著你走，但并不是說生態(tài)會一直跟著你走。在商業(yè)社會大家都講商業(yè)利益。

現(xiàn)在 AI 做的是增量市場。比如DeepSeek很迅速地幫創(chuàng)業(yè)公司把大眾的認知鴻溝邁過去了。同樣地，Midjourney去年也達到5億美金ARR。他們都很垂。

所以AI不是一個存量市場，我也不認為大公司在這個增量市場里一定會找到自己的位置。

虎嗅：Deepseek 出現(xiàn)之后，很多人認為 Deepseek 暫時還沒有入局多模態(tài)，那么AI創(chuàng)業(yè)公司在多模態(tài)還是有機會的。但是這個事情有沒有壁壘？

梅濤：他們已經(jīng)做了一個很簡單的圖像模型，架構也是用AR自回歸，不保證它將來不會重投入。因為多模態(tài)大家都能看得見，如果要做物理模型、世界模型，肯定要結合多模態(tài)的數(shù)據(jù)。這樣多模態(tài)模型才會離商業(yè)化更近，離那個物理世界更近。

我不認為現(xiàn)在還有人從零開始做多模態(tài)這件事能有很好的排名。它的壁壘可能不在于模型本身，自研也好，用開源也好，真正的壁壘在于有沒有自己的版權數(shù)據(jù)，有沒有把生態(tài)建起來。還有就是能否基于模型構建用戶粘性高的產(chǎn)品，這是很重要的。

目前來說，模型還沒有收斂。現(xiàn)在多模態(tài)還處于 GPT 2 的階段，等到了 GPT 5 ，類似于做到了連續(xù)幾個 aha moment。那個時候就可以從模型到完整產(chǎn)品了。

虎嗅：那現(xiàn)在出現(xiàn)了幾次aha moment？

梅濤：視頻生成領域中的幾個要素：穩(wěn)定性、可控性和敘事性。這三個難點解決后才會出現(xiàn)，未來慢慢會出現(xiàn)的。

虎嗅：那在數(shù)據(jù)方面你們會考慮和具身智能公司合作嗎？

梅濤：其實我們正在和機器人公司做一些合作。因為我們本來就是從視頻到世界模型之間中間缺了一步，就是具身智能的數(shù)據(jù)。但具體合作方式我們還在談。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4236395.html?f=wyxwapp