（來源：MIT News）

想象一下，你的童年是否有心愛的一個舊玩偶，或是一塊老懷表。在當今這個數字技術飛速發展的時代，若是能把這些承載著珍貴回憶的舊物品連同它們獨一無二的特征都完整保存下來，該有多美好？

目前的技術確實可以在虛擬世界中創建物品的“數字孿生”，比如把一個布娃娃掃描成 3D 模型。但難點在于，如何讓這個數字娃娃像實物一樣會眨眼睛，甚至會發出“咯咯”的笑聲。要知道，正是這些生動的互動細節，才讓每個物品變得獨一無二。

近期，麻省理工學院計算機科學與人工智能實驗室（CSAIL）的研究人員提出了一個可行的解決方案。

他們開發的“InteRecon”程序，讓用戶在手機應用程序中重新捕捉現實世界中的物品，然后在混合現實環境中賦予其“生命力”，讓保存記憶這件事變得前所未有的簡單和生動。

這項技術的不同之處在于，它并不只是簡單復制物品的外形，而是完美保留了物品的“靈魂”，尤其是那些讓你愛不釋手的互動功能。這讓我們在數字世界中也能感受到實物帶來的溫暖觸感和生動回憶，創造出一個既真實又充滿個人情感的數字空間。

（來源：MIT News）

“InteRecon”重建不同物品交互體驗的能力有望使其成為多功能工具。比如，教師可以用它演示重力作用等抽象概念；博物館能讓畫作“動”起來，或是讓歷史人物模型 “活” 起來。

未來，InteRecon 或許能通過可視化展示完成任務所需的每個動作，來指導醫學生學習手術操作。

據該研究的第一作者 Zisu Li 介紹，InteRecon 令人期待的潛力在于它能夠為眾多不同物品添加運動或交互功能。

她表示，“拍照錄像雖能保存記憶，但數字副本是靜態的且不具有任何互動性。我們發現，用戶希望重建個人物品，同時保留其交互性，以此豐富自己的回憶。借助混合現實的強大功能，InteRecon 可以將這些回憶以交互式數字物品的形式，在虛擬環境中留存更久。”Zisu Li 是香港科技大學的博士生，同時也是 CSAIL 訪問研究員。

Zisu Li 和團隊計劃將在 2025 年 ACM CHI 人機交互會議上展示這項研究成果。這項研究工作得到了香港科技大學（廣州）APEX 實驗室與 HCI 工程組合作項目的支持。

讓虛擬世界更逼真

為了實現數字交互，該團隊首先開發了一款 iPhone 應用程序，操作非常簡單，用手機攝像頭環繞物品掃描三圈，即可完整捕捉物品形態。然后，可將 3D 模型導入 InteRecon 混合現實界面。

在這個界面中，用戶可以標記（確切地說是“分割”）各個區域，選擇模型的哪些部分具有交互性（比如玩偶的手臂、頭部、軀干和腿）。若是嫌麻煩的話，用戶也可以直接使用 InteRecon 提供的自動分割功能。

圖｜三維外觀重建過程（來源：arXiv）

InteRecon 界面可通過混合現實頭戴顯示設備（如 Hololens 2 和 Quest）進行訪問。當模型分割完成，用戶就能為選中的物品部位設置動態效果了。

系統會以動態演示的形式呈現多種運動選項，就像試衣間一樣讓你隨意嘗試。比如，模擬毛絨玩偶耳朵擺動的效果。

更有意思的是，你還能用手指“捏住”某個部位，嘗試滑動、懸擺、鐘擺式旋轉等不同動畫效果，就像在玩“數字橡皮泥”。

讓老物件在數字世界“復活”

研究團隊展示了 InteRecon 的另一個神奇功能，還原實體電子設備的交互界面。比如，可以把復古電視做成數字副本后，隨心所欲地給 3D 模型搭配不同操作界面。

系統提供了多種交互組件模板，包括屏幕（電視顯示器或攝像機的取景器）、旋鈕（用于調節音量）、“開 / 關” 按鈕和滑塊（類似 DJ 調音臺設置）。

圖｜添加物理變換過程（來源：arXiv）

在這項研究中，團隊還展示了一款應用程序，它通過在電視模型上整合虛擬小部件（如 “開 / 關” 按鈕、屏幕和頻道開關），再嵌入老影片，整臺電視就“活”過來了。

與之類似的，用戶也能給 iPod 的 3D 模型添加播放按鈕，上傳 MP3 音樂文件，就能在混合現實中聆聽青春記憶。

研究人員認為，InteRecon 為設計逼真的虛擬環境開辟了新思路。一項用戶研究證實，不同領域的人們都對它充滿期待，認為這個系統易學易用，能生動還原承載記憶的個性化物品。

“我印象最為深刻的一點是，用戶記憶中的物品并非完美無缺。”該論文的另一位作者 Faraz Faruqi 說道，他也是 CSAIL 的成員，同時還是麻省理工學院電氣工程和計算機科學專業的博士生，“InteRecon 將這些‘小缺陷’一同融入混合現實，精準地再現了像少了幾顆紐扣的泰迪熊這類個人物品的獨特模樣。”

在一項相關研究中，用戶設想了這項技術在專業場景中的應用，指導醫學生進行手術訓練、幫助旅行者記錄見聞、輔助服裝設計師測試面料等。

不過，在將 InteRecon 應用于更高級的場景之前，該團隊希望先升級物理模擬引擎的精確度，而這，將使諸如幫助醫學生學習執行某些外科手術所需的精確定位等應用成為可能。

至于下一步計劃，研究團隊正在努力開發一種更自動化、更強大的流程，以便在混合現實中為終端用戶（比如虛擬辦公空間）創建更大物理環境的交互性保留數字孿生，以及探索構建一種方法，通過 3D 打印機物理重建丟失的物品。

展望未來，Zisu Li 和 Faraz Faruqi 還計劃整合大語言模型和生成式模型，這些模型可以根據語言描述，將丟失的個人物品重新創建為 3D 模型，并解釋界面的功能。

“InteRecon 代表了混合現實領域令人激動的新前沿，它超越了單純的視覺復制，能夠捕捉物理對象獨特的交互性。” 南洋理工大學計算與數據科學學院副教授 Hanwang Zhang 評價道（他并未參與這項研究），“這項技術有望為虛擬環境帶來全新的沉浸感和個人情感連接，從而徹底改變教育、醫療以及文化展覽等眾多領域。”

https://news.mit.edu/2025/interecon-brings-personal-items-to-mixed-reality-0407