新智元報道

編輯：編輯部 HNZ

【新智元導讀】就在剛剛，Runway官宣推出Gen-4，在世界一致性上又達到了驚人紀錄！在圖像保真度、動態運動和可控性上，它再度實現重大突破。從此，電影畫面不用實景拍攝了，完全可以由AI代勞。

昨夜，AI視頻領域又迎來一場大更新。

重磅玩家Runway官宣：正式推出了Gen-4！

根據官方解釋，這是一款用于媒體生成和世界一致性的全新SOTA模型。

在圖像質量保真度、流暢動態表現和精確可控性方面，Gen-4又取得了重大進步。

而今天起，圖像轉視頻功能也將正式上線，所有付費用戶和企業客戶都能用上。

一致性驚人，電影級畫面無限生成

在一致性和可控性上的革新，讓Gen-4開啟了一個全新的媒體創作時代。

借助Gen-4，我們可以精確創建想要的人物角色、場景環境和物體，還能讓他們在不同場景中保持一致。

只要設定期望的視覺風格，模型就能一直維持連貫的世界觀，同時，還能保證每一幀都保留獨特的藝術風格、情緒氛圍和電影級視覺效果。

而這些元素，都可以從場景中的多個視角和位置重新呈現！

這就意味著，我們想敘述一個故事時，擁有了無限的創意空間。

而且，這些功能都是無需任何微調或額外訓練就能實現的。

Gen-4為視頻生成領域開創了新標準，相較于Gen-3 Alpha取得了顯著進步。

它在生成高動態性視頻方面表現卓越，不僅能呈現真實流暢的動作效果，還能保持主題、物體和風格的一致性，同時具備卓越的提示遵循能力及業內領先的場景理解能力。

借助視覺素材參考和指令輸入，Gen-4能夠創建風格、人物、場景等元素保持一致的圖像和視頻。

可以為創作者提供視頻創作時的連貫性和對視頻的精確掌控。

下面這部《孤獨的小火焰》完全由Gen-4生成，展示了模型的敘事表現能力。

《紐約是個動物園》展示了 Gen-4 令人印象深刻的視覺特效能力，它將超寫實動物完美融入紐約市的影視級場景中。

影片中的每個畫面都采用了獨特的創作流程：先通過Gen-4 References功能將真實動物的參考素材與紐約實景照片合成，再通過精確的提示詞指令設計出每個場景中動物的具體動作表現。

在《牛群》這部短片中，鏡頭記錄了一名年輕人在夜晚被牧場上的牛群追趕的驚險經歷。

這部作品僅憑幾張參考圖片就成功構建出了人物角色和彌漫著霧氣的牧場畫面。

最終，創作團隊將這些視覺元素與第一幕相結合，成功編織出一個完整而連貫的故事。

《尋寶旅程》講述了一隊勇敢的探險家們尋找一朵神秘花朵的奇幻冒險。

這部作品完全由Gen-4技術創作，整個制作過程僅用了不到一周的時間。

簡單界面，無盡工作流

工作流 ? 角色一致性

只需一張參考圖片，你就能用Gen-4讓創建角色在各種光線環境、場景背景和風格處理中始終保持形象一致。

下圖中的女性，在各種樹林、小屋等多個場景的各種光線下，形象始終保持一致。

工作流 ? 物體一致性

人物角色能做到如此大的一致性突破，物體當然也不在話下。

現在，用Gen-4可以把任何物體或主題元素，放在你想要的任何場景/環境中了。

所以，現在想為長篇敘事內容制作場景，或是對產品進行商業攝影，創造風格一致的視覺內容都是小菜一碟。

比如下面視頻中支著紅球的木架，還是在雪山、街頭，還是刮起沙暴的沙漠中，形象都始終如一。

工作流 ? 多角度場景捕捉

現在，我們用Gen-4就可以輕松獲取場景的任意視角了。

想要精心打造一個場景？現在你只需要提供主體的參考圖片，描述一下自己期望的畫面構圖是什么樣子，然后其他后續工作，就可以全部交給Gen-4。

下面這個頭發發白的中年男性走在亂石山崗的畫面，每一幀都充滿了電影感。

他望向遠方的背影、意味深長的眼神特寫，都傳達出了大量信息。

從此，電影畫面再也不用實景拍攝，可以直接交給視頻模型來完成！

功能 ? 可用于生產的視頻

可以說，Gen-4為視頻生成，建立了質量和語言理解上的全新標準。

它生成的視頻質量極高，動作極其逼真，同時，還保持了主體、對象和風格的一致性。

對于你給出的提示，它會精準地理解和遵循，體現出了卓越的世界理解能力。

功能 ? 物理仿真

Gen-4的發布，代表了視覺生成模型在模擬真實世界物理方面的一個重要里程碑。

模擬真實的物理世界，是許多AI模型最容易被看出破綻的地方。

Gen-4對于水、火、空氣流動，以及在這些物理條件中人物和物體的表現，都理解得極其細致入微，幾乎看不出失真的地方。

工作流 ? GVFX

可以說，Gen-4是一種革新視覺特效的全新方式。

它能實現快速、可控且靈活的視頻生成，可以與實拍、動畫和VFX內容無縫融合。

參考資料：

https://runwayml.com/research/introducing-runway-gen-4

https://x.com/runwayml/status/1906718935778545964