近日，百度聯(lián)合復(fù)旦大學(xué)等發(fā)布Hallo2，一個(gè)可以生成長(zhǎng)達(dá)數(shù)小時(shí)且分辨率為4K的人物動(dòng)畫(huà)的視覺(jué)模型。Hallo2目前已經(jīng)在GitHub平臺(tái)開(kāi)源，供全球開(kāi)發(fā)者免費(fèi)使用和研究，預(yù)計(jì)將促進(jìn)視頻生成技術(shù)的廣泛應(yīng)用和發(fā)展。

?

Hallo2發(fā)布后在海外引發(fā)了不小的震動(dòng)。有人驚嘆視頻生成的長(zhǎng)度和分辨率，也有老用戶(hù)從Hallo第一代模型就被圈粉。

還有對(duì)Hallo2開(kāi)源模型和代碼的認(rèn)可。

Hallo2備受關(guān)注，很重要一個(gè)原因是百度和復(fù)旦的研究團(tuán)隊(duì)解決了人像視頻生成一個(gè)很大的痛點(diǎn)：如何提升視頻生成的時(shí)長(zhǎng)和質(zhì)量。

?

一直以來(lái)，生成高質(zhì)量的人物動(dòng)畫(huà)需要耗費(fèi)大量的時(shí)間和人力成本。而百度與復(fù)旦聯(lián)合發(fā)布的Hallo2的出現(xiàn)，有望徹底改變這一現(xiàn)狀，為數(shù)字人、電影制作、虛擬助手、游戲開(kāi)發(fā)等領(lǐng)域帶來(lái)革命性的變化。這不同于Sora等AI視頻生成模型遭遇到的發(fā)展瓶頸，Hallo2模型解決的問(wèn)題更垂直，可落地空間更大。

?

Hallo2是目前首個(gè)實(shí)現(xiàn)長(zhǎng)達(dá)一小時(shí)、4K分辨率的音頻驅(qū)動(dòng)人像動(dòng)畫(huà)生成模型。通過(guò)創(chuàng)新的圖像塊丟棄、噪聲增強(qiáng)和時(shí)間對(duì)齊等技術(shù)，Hallo2解決了長(zhǎng)時(shí)視頻生成中的外觀漂移和視覺(jué)不一致問(wèn)題，支持靈活的語(yǔ)音與文本控制，生成質(zhì)量達(dá)到業(yè)內(nèi)領(lǐng)先水平。

Hallo2繼承了前代Hallo模型的創(chuàng)新框架，繼續(xù)采用基于擴(kuò)散的生成模型和分層音頻驅(qū)動(dòng)視覺(jué)合成模塊，提高了音頻與視覺(jué)輸出之間的同步精度，并經(jīng)過(guò)改進(jìn)使得各部分的協(xié)同作用更加高效，增強(qiáng)了生成動(dòng)畫(huà)的質(zhì)量和真實(shí)感。此外，Hallo2 不僅在圖像和視頻的質(zhì)量方面有了顯著提升，而且大幅增加了動(dòng)作的豐富性和多樣性，可以說(shuō)為AI驅(qū)動(dòng)的肖像圖像動(dòng)畫(huà)領(lǐng)域樹(shù)立了新的標(biāo)桿。

有行業(yè)專(zhuān)家表示，Hallo2的出現(xiàn)，標(biāo)志著音頻驅(qū)動(dòng)的肖像圖像動(dòng)畫(huà)技術(shù)邁入了新的發(fā)展階段。百度基于長(zhǎng)期的視覺(jué)技術(shù)積累，正在瞄準(zhǔn)行業(yè)痛點(diǎn)進(jìn)行針對(duì)性研究和場(chǎng)景落地，不僅為開(kāi)發(fā)者提供了強(qiáng)大的工具，也為未來(lái)各種應(yīng)用場(chǎng)景下的動(dòng)畫(huà)形象創(chuàng)作帶來(lái)了新的可能性。

?

目前Hallo2模型已在GitHub上開(kāi)源，項(xiàng)目地址：https://fudan-generative-vision.github.io/hallo2/#/。

?

另?yè)?jù)悉，除視覺(jué)模型外，作為中國(guó)最大的AI公司，百度將在11月12日召開(kāi)百度世界大會(huì)2024，展現(xiàn)更多AI方面的應(yīng)用和技術(shù)進(jìn)展。大會(huì)將圍繞大模型和AI應(yīng)用帶來(lái)五大亮點(diǎn)，除百度創(chuàng)始人李彥宏領(lǐng)銜的主題演講外，還有100+AI原生應(yīng)用發(fā)布、四場(chǎng)主題分論壇、30+公開(kāi)課和5000平米AI展區(qū)，全方位展示AI應(yīng)用的落地成果。大會(huì)目前已開(kāi)放免費(fèi)報(bào)名通道，可通過(guò)大會(huì)官網(wǎng)報(bào)名參會(huì)。