沉寂N久的Runway,昨晚突然就,發布他們的Gen4模型了。
這里給很多AI視頻的新玩家稍微解釋一下Runway。
真的,我對Runway其實一直有著非常特殊的情感。
這玩意,可以說是AI視頻的鼻祖,很多人知道AI視頻生成模型,可能是2023年11月爆火的PIKA,可能是2024年2月16號的Sora,可能是同年6月6號的國產之光可靈。
但是其實,AI視頻視頻生成第一次進入大眾視野,是2023年7月的Gen2。
Gen1是個video to video模型,只能做視頻風格的轉繪,沒法文生或圖生視頻,而Gen2,第一次支持文生和圖生了。
那時候,我 我花了5個晚上,用 MidJourney生成了693張圖,用Gen2生成了185個鏡頭,最后選出來了60個鏡頭,剪輯成了我最喜歡的,《流浪地球3》的AI預告片。
就是這個玩意(23年8月的技術,純粹的動態PPT,不要用現在的眼光來衡量,求勿噴)。
那時候,這個片子發出去后,火爆程度超乎我意料,不僅全網播放破千萬,還引來了一個賽博魅魔。
這一個私信,開啟了我人生的轉折點。命運的齒輪,也開始緩緩轉動。
后面,Runway一直也是AI視頻行業的標桿,直到Sora的發布。
Runway一下子好像變成了舊時代的殘黨。
然后,就是國產大模型的混戰,可靈、即夢、Pixverse、vidu、海螺。Runway在去年6月30日,也發了一個Gen3,追了一下,但是后續Gen3幾乎就再也沒更新過了。
整整9個月的時間,他們終于,掏出了新的模型,Gen4。
想要把AI視頻,帶向一個新的世代。
看他們說什么發什么,不重要,重要的,還是我們得自己親手實際測一下。
在我第一時間,測了一夜的Gen4之后。
我想說。
Runway已經不是曾經的Runway了,也不再是那個曾經的領頭羊大哥了。。。
我粗體驗的結論就是,不僅畫餅,放出來的模型質量還一般。
先說畫餅。
這次Gen4主打的功能,其實是多主體參考。
大概意思就是,你不需要微調lora,只需要幾張圖,就可以固定場景、人物、風格,然后直接文生即可,有很強的可控性和一致性。
他們這次放出來的幾個視頻,有一個是我非常喜歡的,叫做《牛群》。質量極高,而且也能看出多主體參考的運用。
這個片子我幾乎是一口子看完的,非常的精致,分鏡、色調、節奏都很棒,人物也是全程統一,不會像以前一樣,人物變來變去,一直讓人出戲。
正是因為多主體參考的越發成熟,參考+文生可能未來會越來越主流,AI短劇也會越來越多。
但是,這個功能,其實vidu早就上了,可靈和海螺也都上了,不過大家各有各的問題,比如會糊,比如一致性沒那么好等等。
Runway Gen4從演示上來看,效果確實不錯,如果能達到片子里的水平,那就是No.1。
但是,最大的問題,是個期貨。。。
References很快會推出。。。你也不知道他啥時候推出。。。
不是哥們,現在OpenAI都知道不發期貨了,GPT4o啥的全都是發布即上線,你咋還越玩越回去了。
所以,沒有參考功能,Gen4的生成界面,就變成了光禿禿一坨,只有圖生視頻功能了。。。
對,文生視頻也沒有,估計要跟著多主體參考一起出,現在能用的,就只有圖生視頻。
其他的,相機控制、Act-One,這兩一個都沒有。
其他的小功能,倒是還能用。
再說說圖生視頻模型。
就,相比于Gen3,有進步。
但是跟目前公認的圖生視頻最好的模型可靈1.6比,明顯還差了一截,更別提跟Google那個牛逼炸的Veo2的文生視頻出來的質量比了。
我自己測了很多的case。
給大家也直接看一些對比的case吧(PS:所有的例子,都是一輪直出,可靈1.6用的中文prompt,RunwayGen4用的英文Prompt,飛書文檔鏈接我也放到最后,不是刻意捧誰踩誰,這就是最直觀的case對比)。
比如這張圖。
1. Prompt:
主體緩緩走過花田。花朵在風中輕輕搖曳。微風拂過,花瓣在空中飄零。攝像機以柔和的手持拍攝方式跟在主體后方。具有電影質感、真實感和實景拍攝的感覺。
上面是RunwayGen4,下面是可靈1.6。
Runway走的更快些,但是完全是直接穿過花的,光影也有點問題,可靈1.6你是能明顯看到人和花的物體碰撞的。而且Runway的花全糊了,細節也都丟了。
2. Prompt:
一輛汽車從懸崖邊緣墜落。
這個對比應該很明顯,可靈1.6的車是輪子在懸崖上瘋狂轉瘋狂搶救自己,最后感覺撐不住了,掉下去了,物理規律雖說有點超現實,但是至少是連貫的。反觀Runway,你也不知道它前兩秒到底在干啥。
3. Prompt:
女孩身著漢服翩翩起舞,舞動著雙臂,優雅地旋轉著身體。她轉過身,再次面向鏡頭,然后對著鏡頭點頭微笑。
這題就比誰錯的更狠,可靈1.6的絲帶也崩了,跟衣服融為一體了,有點問題,但是人好歹翩翩起舞了。但是Runway吧,連圈都不給你轉一個,直直的做了個體操,絲帶也直接讓牛頓棺材板都壓不住了。
4. Prompt:
士兵們手持盾牌向前沖鋒。
說了向前沖鋒向前沖鋒,Runway直接抄起盾牌向我沖鋒。
5. Prompt:
男人猶豫了一下,試探性地伸手撐著墻,然后一步一步地走上樓梯,一邊抬頭一邊環顧四周。
非常經典的《楚門的世界》的最后截圖,兩邊在prompt理解上都有問題,手沒撐強,但是可靈1.6至少是一步一步走的,Gen4我也不知道為啥跟投胎生孩子一樣跑那么快,最后腦門還撞柱子上了。。。
6. Prompt:
洛神水下起舞,衣袂飄飄。舞者優雅而大氣地揮動水袖,美極了。
非常地獄級別的難度,中國古風,全是絲帶,還在水下,還要跳舞。
可靈1.6真的會在水下給你跳一支舞,雖然絲帶是噩夢也有BUG,但是整體很棒。RunwayGen4的光影比可靈1.6要細膩很多,這個優點確實牛逼,就是最后人是跳舞,它感覺跳著跳著人在水里溺亡躺尸了。。。
7. Prompt:
右邊的男子往后退了一步,舉起槍,將槍口對準了左邊男子的額頭。鏡頭迅速拉遠,捕捉到他們站在屋頂上的畫面。
最后這個case,我必須要給你們看個好玩的,當時夜里跑完的時候,我差點沒笑暈過去。
這是可靈1.6的:
整體還不錯對吧。
我們再看RunwayGen4的,前方高能,注意不要笑出聲。
我真的,完全預料不到故事的發展。你以為我用槍制服你?不,來看看爹的腋窩吧。。。
太特么有毒了。
我跑的case,都放在這個文檔里面了,也公開分享給大家,有興趣看更多的,可以點進去看:
https://datakhazix.feishu.cn/base/JB8Cboxt6aOkFFsUpehc2M19n2e?from=from_copylink
2年前,在《流浪地球3》AI預告片的那篇文章的結尾。
我寫下了這么一段話。
現在,我們知道了。
那時候我也沒想到,原來給2年后埋下的彩蛋,打開是這個樣子。
就像一位遲到的藝術家。
慢慢走進一個全新的舞臺,卻發現聚光燈早已偏向別人。
那份自豪與失落,也許都將成為腳下的浪花。
風雨同舟,與諸君共勉。
以上,既然看到這里了,如果覺得不錯,隨手點個贊、在看、轉發三連吧,如果想第一時間收到推送,也可以給我個星標?~謝謝你看我的文章,我們,下次再見。
>/ 作者:卡茲克
>/ 投稿或爆料,請聯系郵箱:wzglyay@virxact.com
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.