（來源：MIT News）

想象一下，你的童年是否有心愛的一個(gè)舊玩偶，或是一塊老懷表。在當(dāng)今這個(gè)數(shù)字技術(shù)飛速發(fā)展的時(shí)代，若是能把這些承載著珍貴回憶的舊物品連同它們獨(dú)一無二的特征都完整保存下來，該有多美好？

目前的技術(shù)確實(shí)可以在虛擬世界中創(chuàng)建物品的“數(shù)字孿生”，比如把一個(gè)布娃娃掃描成 3D 模型。但難點(diǎn)在于，如何讓這個(gè)數(shù)字娃娃像實(shí)物一樣會(huì)眨眼睛，甚至?xí)l(fā)出“咯咯”的笑聲。要知道，正是這些生動(dòng)的互動(dòng)細(xì)節(jié)，才讓每個(gè)物品變得獨(dú)一無二。

近期，麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）的研究人員提出了一個(gè)可行的解決方案。

他們開發(fā)的“InteRecon”程序，讓用戶在手機(jī)應(yīng)用程序中重新捕捉現(xiàn)實(shí)世界中的物品，然后在混合現(xiàn)實(shí)環(huán)境中賦予其“生命力”，讓保存記憶這件事變得前所未有的簡(jiǎn)單和生動(dòng)。

這項(xiàng)技術(shù)的不同之處在于，它并不只是簡(jiǎn)單復(fù)制物品的外形，而是完美保留了物品的“靈魂”，尤其是那些讓你愛不釋手的互動(dòng)功能。這讓我們?cè)跀?shù)字世界中也能感受到實(shí)物帶來的溫暖觸感和生動(dòng)回憶，創(chuàng)造出一個(gè)既真實(shí)又充滿個(gè)人情感的數(shù)字空間。

（來源：MIT News）

“InteRecon”重建不同物品交互體驗(yàn)的能力有望使其成為多功能工具。比如，教師可以用它演示重力作用等抽象概念；博物館能讓畫作“動(dòng)”起來，或是讓歷史人物模型 “活” 起來。

未來，InteRecon 或許能通過可視化展示完成任務(wù)所需的每個(gè)動(dòng)作，來指導(dǎo)醫(yī)學(xué)生學(xué)習(xí)手術(shù)操作。

據(jù)該研究的第一作者 Zisu Li 介紹，InteRecon 令人期待的潛力在于它能夠?yàn)楸姸嗖煌锲诽砑舆\(yùn)動(dòng)或交互功能。

她表示，“拍照錄像雖能保存記憶，但數(shù)字副本是靜態(tài)的且不具有任何互動(dòng)性。我們發(fā)現(xiàn)，用戶希望重建個(gè)人物品，同時(shí)保留其交互性，以此豐富自己的回憶。借助混合現(xiàn)實(shí)的強(qiáng)大功能，InteRecon 可以將這些回憶以交互式數(shù)字物品的形式，在虛擬環(huán)境中留存更久。”Zisu Li 是香港科技大學(xué)的博士生，同時(shí)也是 CSAIL 訪問研究員。

Zisu Li 和團(tuán)隊(duì)計(jì)劃將在 2025 年 ACM CHI 人機(jī)交互會(huì)議上展示這項(xiàng)研究成果。這項(xiàng)研究工作得到了香港科技大學(xué)（廣州）APEX 實(shí)驗(yàn)室與 HCI 工程組合作項(xiàng)目的支持。

讓虛擬世界更逼真

為了實(shí)現(xiàn)數(shù)字交互，該團(tuán)隊(duì)首先開發(fā)了一款 iPhone 應(yīng)用程序，操作非常簡(jiǎn)單，用手機(jī)攝像頭環(huán)繞物品掃描三圈，即可完整捕捉物品形態(tài)。然后，可將 3D 模型導(dǎo)入 InteRecon 混合現(xiàn)實(shí)界面。

在這個(gè)界面中，用戶可以標(biāo)記（確切地說是“分割”）各個(gè)區(qū)域，選擇模型的哪些部分具有交互性（比如玩偶的手臂、頭部、軀干和腿）。若是嫌麻煩的話，用戶也可以直接使用 InteRecon 提供的自動(dòng)分割功能。

圖｜三維外觀重建過程（來源：arXiv）

InteRecon 界面可通過混合現(xiàn)實(shí)頭戴顯示設(shè)備（如 Hololens 2 和 Quest）進(jìn)行訪問。當(dāng)模型分割完成，用戶就能為選中的物品部位設(shè)置動(dòng)態(tài)效果了。

系統(tǒng)會(huì)以動(dòng)態(tài)演示的形式呈現(xiàn)多種運(yùn)動(dòng)選項(xiàng)，就像試衣間一樣讓你隨意嘗試。比如，模擬毛絨玩偶耳朵擺動(dòng)的效果。

更有意思的是，你還能用手指“捏住”某個(gè)部位，嘗試滑動(dòng)、懸擺、鐘擺式旋轉(zhuǎn)等不同動(dòng)畫效果，就像在玩“數(shù)字橡皮泥”。

讓老物件在數(shù)字世界“復(fù)活”

研究團(tuán)隊(duì)展示了 InteRecon 的另一個(gè)神奇功能，還原實(shí)體電子設(shè)備的交互界面。比如，可以把復(fù)古電視做成數(shù)字副本后，隨心所欲地給 3D 模型搭配不同操作界面。

系統(tǒng)提供了多種交互組件模板，包括屏幕（電視顯示器或攝像機(jī)的取景器）、旋鈕（用于調(diào)節(jié)音量）、“開 / 關(guān)” 按鈕和滑塊（類似 DJ 調(diào)音臺(tái)設(shè)置）。

圖｜添加物理變換過程（來源：arXiv）

在這項(xiàng)研究中，團(tuán)隊(duì)還展示了一款應(yīng)用程序，它通過在電視模型上整合虛擬小部件（如 “開 / 關(guān)” 按鈕、屏幕和頻道開關(guān)），再嵌入老影片，整臺(tái)電視就“活”過來了。

與之類似的，用戶也能給 iPod 的 3D 模型添加播放按鈕，上傳 MP3 音樂文件，就能在混合現(xiàn)實(shí)中聆聽青春記憶。

研究人員認(rèn)為，InteRecon 為設(shè)計(jì)逼真的虛擬環(huán)境開辟了新思路。一項(xiàng)用戶研究證實(shí)，不同領(lǐng)域的人們都對(duì)它充滿期待，認(rèn)為這個(gè)系統(tǒng)易學(xué)易用，能生動(dòng)還原承載記憶的個(gè)性化物品。

“我印象最為深刻的一點(diǎn)是，用戶記憶中的物品并非完美無缺。”該論文的另一位作者 Faraz Faruqi 說道，他也是 CSAIL 的成員，同時(shí)還是麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)專業(yè)的博士生，“InteRecon 將這些‘小缺陷’一同融入混合現(xiàn)實(shí)，精準(zhǔn)地再現(xiàn)了像少了幾顆紐扣的泰迪熊這類個(gè)人物品的獨(dú)特模樣。”

在一項(xiàng)相關(guān)研究中，用戶設(shè)想了這項(xiàng)技術(shù)在專業(yè)場(chǎng)景中的應(yīng)用，指導(dǎo)醫(yī)學(xué)生進(jìn)行手術(shù)訓(xùn)練、幫助旅行者記錄見聞、輔助服裝設(shè)計(jì)師測(cè)試面料等。

不過，在將 InteRecon 應(yīng)用于更高級(jí)的場(chǎng)景之前，該團(tuán)隊(duì)希望先升級(jí)物理模擬引擎的精確度，而這，將使諸如幫助醫(yī)學(xué)生學(xué)習(xí)執(zhí)行某些外科手術(shù)所需的精確定位等應(yīng)用成為可能。

至于下一步計(jì)劃，研究團(tuán)隊(duì)正在努力開發(fā)一種更自動(dòng)化、更強(qiáng)大的流程，以便在混合現(xiàn)實(shí)中為終端用戶（比如虛擬辦公空間）創(chuàng)建更大物理環(huán)境的交互性保留數(shù)字孿生，以及探索構(gòu)建一種方法，通過 3D 打印機(jī)物理重建丟失的物品。

展望未來，Zisu Li 和 Faraz Faruqi 還計(jì)劃整合大語言模型和生成式模型，這些模型可以根據(jù)語言描述，將丟失的個(gè)人物品重新創(chuàng)建為 3D 模型，并解釋界面的功能。

“InteRecon 代表了混合現(xiàn)實(shí)領(lǐng)域令人激動(dòng)的新前沿，它超越了單純的視覺復(fù)制，能夠捕捉物理對(duì)象獨(dú)特的交互性。” 南洋理工大學(xué)計(jì)算與數(shù)據(jù)科學(xué)學(xué)院副教授 Hanwang Zhang 評(píng)價(jià)道（他并未參與這項(xiàng)研究），“這項(xiàng)技術(shù)有望為虛擬環(huán)境帶來全新的沉浸感和個(gè)人情感連接，從而徹底改變教育、醫(yī)療以及文化展覽等眾多領(lǐng)域。”

https://news.mit.edu/2025/interecon-brings-personal-items-to-mixed-reality-0407