阿里巴巴集團(tuán)的研究團(tuán)隊(duì)近日宣布了一項(xiàng)重大技術(shù)創(chuàng)新——TaoAvatar，這是一項(xiàng)旨在重塑 AR 體驗(yàn)的技術(shù)。通過構(gòu)建照片級(jí)逼真的 3D 全身虛擬人，TaoAvatar 使得數(shù)字世界中的互動(dòng)更加生動(dòng)、自然，為用戶帶來前所未有的沉浸式感受。

據(jù)介紹，TaoAvatar 的核心亮點(diǎn)在于其能夠創(chuàng)造出與真人高度相似的 3D 虛擬形象，并且這些形象并非靜態(tài)展示，而是能夠在 AR 場景中實(shí)時(shí)對(duì)話、展現(xiàn)豐富的表情和動(dòng)作。

為了實(shí)現(xiàn)虛擬人的生動(dòng)表現(xiàn)，TaoAvatar 在面部表情和身體動(dòng)作的控制上進(jìn)行了深入研發(fā)。通過集成先進(jìn)的 Audio2BS 模型，虛擬人的面部表情和手勢能夠精準(zhǔn)地根據(jù)語音內(nèi)容動(dòng)態(tài)生成，實(shí)現(xiàn)口型、表情和動(dòng)作的完美同步。這使得虛擬人在交流時(shí)更加自然流暢，充滿了情感和生命力。

在流暢性方面，TaoAvatar 采用了創(chuàng)新的 3D 高斯濺射（3DGS）技術(shù)，確保了高質(zhì)量的實(shí)時(shí)渲染。即使在高清立體顯示設(shè)備如 Apple Vision Pro 上，也能保持每秒90幀的流暢運(yùn)行，從而為用戶帶來平滑自然的虛擬人動(dòng)作和交互體驗(yàn)。

此外，TaoAvatar 還具備低存儲(chǔ)需求和良好的跨平臺(tái)兼容性，使其能夠輕松部署在各種移動(dòng)和 AR 設(shè)備上。

為了實(shí)現(xiàn)這一高性能和低資源占用的目標(biāo)，TaoAvatar 團(tuán)隊(duì)采用了多種先進(jìn)技術(shù)，包括構(gòu)建個(gè)性化的服裝擴(kuò)展 SMPLX 網(wǎng)格、利用教師網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜的姿態(tài)相關(guān)非剛性變形，并通過知識(shí)蒸餾技術(shù)將其優(yōu)化到一個(gè)輕量級(jí)的 MLP 網(wǎng)絡(luò)中。同時(shí)，他們還開發(fā)了可學(xué)習(xí)的高斯混合形狀來增強(qiáng)外觀細(xì)節(jié)，進(jìn)一步提升了虛擬人的真實(shí)感。