在 AI 協助下，使用 Unity 進行內容創作將變得更加簡單。在 2024 年 11 月 2 日的 Unity User Group 深圳站，中國美術學院教師俞同舟結合他的教學實踐與項目經歷，為大家分享《如何在 AI 輔助下創作 Unity 的空間計算內容》。以下為演講實錄。

我是一個藝術家，與深圳之緣是來于去年跨年，在深圳光影藝術季我為特別單元福田中心區創作了一個燈光表演作品，在市民中心 43 棟樓的外立面，我做了一個巨大的數字人，關于未來人工智能想象的作品。

我自己也是一個開發者，2014 年是 VR 元年，那時我在中國美術學院做 VR 開發。2019 年從英國回到國內，突然發現 VR 這個市場沒有我能做的太多事情了，反而 AR 讓我看到了一些契機，當時在英國也做了比較多基于Unity AR Foundation的創作。

2019 年回國之后，我就加入了國美新創建的一個專業叫“藝術與科技”的學科建設團隊中，我們是研究所制，包括我負責的媒介交互研究所中我也承擔了教研和教學的工作。

關于開發，我最開始是和合作，提供深圳索尼半導體解決方案公司AR相關的專家顧問服務。

到此時此刻，也是一個契機，我突然又覺得需要回到 VR，所以自顧自報名了這次會議，也希望做一個分享。

我們研究所不只是關于 AR、VR 的開發，我們研究所一共有三個工作室，涉及到超寫實的影片，也有開發相關的課程，另外還有展演類的落地和表演者有關的新媒體藝術。涉及到作者、開發者、藝術家等一系列人員。

今天使用各種各樣的軟件時面臨到的一個問題是，我們今天面向的是各種各樣的屏幕，在 200 年的發展過程中一直是矩形的，今天無非是把屏幕越做越大，這個時代也差不多到頭了，這是我們研究所主要想攻克的方向。

因此今天想說的是其實是綠色的線，也是我主要進行教學的工作室叫“數字娛樂開發工作室”，培養的也是開發者，藍色的工作室是面向各種各樣的屏幕做內容的研究，紅色是面向今天各種各樣的場域做沉浸式 IP 展。綠色這條線希望打造一個學生作為藝術家，可以單人完成全棧的開發。

在這項工作中我們遇到一個問題，如果今天一個學生進來只是學習打開 Unity，譬如說怎么安裝一個 AR Foundation 的 SDK，一個學期結束之后在桌子上擺上一個白色的豆腐塊，他們的學習就結束了。再換一年的學生，下一年的學生又是做一樣的事兒。

我們發現這樣的教學方式是有問題的，我就拿了一套在英國使用的未來學的策略。中國古話里宋代的郭熙講過有“三遠”，今天的山水畫有從山下看山上，從近山看遠山，從前山看后山的方式。我就想今天基于什么樣的方法可以讓學生和創作者能夠從今天看到更遠的未來，能夠作出相應的工作，而不是一個學期里只學習了一個議題，因此組織了一套策略模型做相應的工作，希望能夠對大家有所幫助。

回顧到我的工作室做的教學，2019 年回國發現國內 AR 的市場，每個社交平臺在開發自己的工具，不管是抖音的像素，或者是 Instagram 的 Spark AR，這款工具明年也不繼續更新了。我們發現國內，原來海外的 8th Wall 做的 Unity 的開發回國突然不成立了，因為所有一切都圍繞著微信小程序、微信頁面去做，所以我們做的網絡引擎也開始尋求一些 8thWall 這樣的尋找科技公司合作。

在教學里我們相信教授通用引擎對學生更加有幫助，因為它后面代表了一系列 SDK，讓學生在拿到設備時都可以作出很多意思的可能性，而不是前面兩類對于創作者來說可能性太少了。

基于這些想法就開始在實際的教學里實踐了起來，從 2019 年開始我們學生經歷了屏幕疊加的 AR，就是 3Dof 的 AR，再到后面可以識別圖像的 AR，開始出現 6Dof 識別圖像。比如像宜家擺放家居類的 APP，再到后面開始出現越來越多和計算機視覺有關的面部、姿勢和手勢的識別，一直走到了 VPS，就是大空間增強現實出來之后，突然我們的學生可以商業化了，有很多業務可以接了。這是我們的里程碑，2023 年受黃山的委托，在黃山上做了一個展覽，后續相應的工作也越來越多。

在這樣的教學中，其實我們在測試各種各樣的 SDK，包括 Unity 能夠給我們的 AR Foundation，后面也遇到了在 2017 年很喜歡的產品叫Holokit，它能夠給 AR Foundation 增加手勢識別和雙目渲染，通過 iPhone 插在眼鏡盒子上面呈現一個工學透視的 AR，這也是我們使用在教學里很多的方法。

我們也找到了 Beauty AR 是可以檢測人的面部是否好看一系列非常有趣的 SDK，包括前面講了國內我們跟很多 VPS 公司合作，但是學生可能支付不起五到六位數的基礎的 VPS 部署。我們找到一家芬蘭的公司，被 Pokémon GO 的母公司 Niantic 收購的 Immersal，每個人都可以創建一個地圖，都可以做大空間增強現實。

這件事情走著走著AIGC出來了。我找了一條脈絡，1558 年開始有一個魔術師寫了對抗魔法的書籍，告訴別人這些只是幻術，只是騙術，他是怎么做到，里面提到了一個“制造鬼魂”的方法。直到 1863 年戲劇很火的時候就以佩普珥效應實現了“鬼魂效應”，現在在各種舞臺上用得也很多。我們更多看到的是在今天，Rokid、Vision Pro 出來之后，突然之間以前各種各樣的 AR、VR、XR 和各種詞就被歸為兩類詞，叫做 VST 和 OST。

在 OST 里突然發現一件事兒，OST 不能渲染黑色，這件事情以前在各種屏幕的內容創作時從來沒有想過會有什么問題，這就代表了你做 PBR 這種超寫實的可能性不存在了，因為影子都做不到了。突然發現這件事兒好像回到了之前各種各樣的軟件都做不到的一些美學，在那段時間把它叫“幽靈戲”，在研究脈絡里也在找今天在眼鏡里的體驗還能夠做什么樣的事兒。

回歸到今天的 AIGC 出現的時間點，在 2014-2015 年之間，PPT 左上角有當時最重要的三篇論文，關于谷歌、斯坦福和微軟在研究通過圖片生成字幕，直到有一天多倫多大學的研究小組就提了一個很簡單的點子：有沒有可能把這個事情反過來。2016 年發了論文，他們成功了，而今天的 AIGC 的時代也開始了。今天，我們也在想象一種可能性，是不是連空間計算的內容都可以以此替代。

最近在 Vision Pro 的社區里出現了一個爆款的視頻，當然還是一個很想法和概念層面的東西。

這個視頻里回顧到我當時在黃山做的項目，當時完成作品之后給市政府匯報，我突然冒出一個點子，今天藝術家做到這件事，看山是山，看山不是山，看山還是山，這是中國人體驗世界的三種層面。代表了今天看黃山只是一座山，導游帶著你游覽黃山的時候突然就變成了一個有故事的，但只有像李白到了黃山的面前才有可能將瀑布看成銀河。今天 AIGC、空間計算和 AR/VR 相關的內容給到我們一個可能性，把中國人以前文人體驗才能體驗到的東西，放到公眾的面前。

舉個例子，這是 2023 的一款游戲叫 Over beast，它也是類似于 Pokémon GO 這種基于地理的游戲。它給到我一個線索，在 AR 的世界里物體識別也好，場景理解也好是一個一直在發展的技術，包括我和早期 VPS 公司合作時，每個 SDK 里面肯定有一個功能叫“天空分割”，但等到今天天空分割這個功能幾乎在所有的 SDK 里都沒有了。這不代表這個功能不好用，而是沒有人會用。2023 年第一次看到了這個倫敦工作室做的游戲，把天空分割用到了很極致美學的狀態，不再你今天舉起手機把天空換成銀河的樣子了。

因此我們現在和很多技術公司合作的方式是通過未來學的方式，不希望侃侃而談，更多希望同技術和設備商合作時，將一個小小的 Demo 以更可玩的方式呈現出來。因此進入到了下一個階段，有沒有可能讓學生更加遠觀一點呢？讓他從現在稍微往前走一點，看到更多的可能性。

那時候我開始做各種各樣的開源項目，譬如AR 里最好玩的是傳送門的功能的實現。開源這件事情至少讓我感覺到今天學生可以跳過從 0 到 1 的學習，直接到 1 到 100 的創作，這是我的研究所里開發者們一直做的工作，做一個作品開源或者是參加比賽開源，讓后一代的學生永遠有一個基礎可以做更遠的想象。

那時候開始和日本索尼合作，他們做了一個 ToF 的 SDK，很有意思的一個功能是可以腳部識別，讓人和空間實現更多的碰撞，我創作了里面的部分Demo，這是在 App Store 發布的，也是開源的模板項目。

基于里面很多工作就發現創作者可以走得更遠，你很難定義他是一個程序員還是藝術家，因為他兩件事情都做了，更多是做自己實驗性的藝術表達。前面講的幽靈體驗，我們一位大三的學生前段時間做了一個攝影測量法和空間計算有關的項目。

當前面的工作開始越走越遠之后，突然間成果就出來，今天來到 UUG 也是一樣的，我受益于社區很多，我也發現一些社區的運作在內容創作的可能性上也有可能，所以在 AR 的發展路線中出現了基于位置的娛樂，Pokémon GO、網易的陰陽百鬼物語GO，也出現了多人互動，比如說日本體育類 AR 游戲 HADO，也出現了Vision Pro 的空間計算。

直接到今天LBE突然就出來了，這個項目背后也是一個開源技術，一會兒大家看到有戴著的眼鏡就是 HoloKit，我們基于 AR foundation 做了一個觀眾反求的方式，每個人戴著 AR 眼鏡人的位置反求給主機里，可以跟沉浸式的屏幕直接進行基于位置的互動。這是今年年初在蘇州博物館的一個項目。

等到我們開始解決 0 到 1 的工作后，這時候大語言模型出來了，今天開始接觸希望能夠達到 30 分鐘基于 Unity 開發的體驗時，學生開始使用大語言模型完成編劇的工作，包括 AIGC 影像結合創作的想法是一樣的，一款 LBE 的項目可能三人的小組就可以開始啟動去做的，好像也不會受到局限。

前兩天我們剛剛搭建好了 LBE 實驗室，開始進行相關的創作，我們基于開源的邏輯解決 0 到 1 工作外，有些同學除了使用大語言模型進行編劇，有些同學已經開始使用 AI 的編程工具了。

我突然發現之前基于基礎教育的方式即開源邏輯，將 AI 驅動進入創作者集團里，我們可以繞過很多事兒。最早的一個觀點是遇到一個問題，按一個按鈕這件事情算不算做創作，所有的矛盾都圍著這兩件事情，人類操作是極緩，慢機器運算是極快速，這兩件事情未來一定會越來越加劇矛盾。

今天應該如何看待這個矛盾？今天在 DCC 軟件里做一個模型，你是希望直接按一個按鈕出來一個正方體，還是希望從八個點里一個點一個點里建出來一個正方體，這是我們遇到的創作中的一個矛盾，該如何去評估。

找到一篇前兩年的論文提出了“人類智能比例和機器智能比例”的評估方式。2017 年同濟大學發布了設計人工智能報告，當時做了廣泛的調研，評估一個工作里比如說平面設計、游戲設計、互聯網設計里人的功能和機器功能的比例。給了一個關鍵詞“腦機比”，用人的工作除以機器工作得到的比例。

在開發鏈路里把這件事情梳理出來，美術里哪些事情可以使用 DCC 軟件還是使用 AI 工具，技術層面哪些可以使用 AI 輔助，在技術美術層面也是同樣的。

在 2023 年，奔馳委托我做了一個項目，那時候我沒有任何的工程師合作者，就我一個創作者。兩周的時間要做一個相對比較復雜的 AR 的系統，也具備后臺的功能。

當時 ChatGPT 剛好出來了，我試了一下，結果直接可以解決很多的工作，那時候可能就是一個契機，等到我們今天基于 ChatGPT，我會發現一個更新的工具在 Unity 里更好用了，就是Cursor。我開始在教學里融入 Cursor。

Cursor 和 Copilot 其實區別還是挺大的，一方面是小的導入的問題，今天使用 Cursor 不是代表下載一個軟件，用 Cursor 作為 Unity 代碼編輯器就可以了，還是要有一個類似于 Vs Code 的 Visual Studio Code Editor 的 Package，有人寫了插件讓你可以在 Package 里導入 Cursor Editor，可以讓 Cursor 完全支持 Unity 的輔助。

第二件事，最核心的功能是可以讓各大工具、各大 SDK 和各大軟件的開發工程師成為你開發團隊的一員。就是 Cursor 很神奇的Doc 功能，類似于閱讀功能，將 Cursor 復制粘貼文檔的頁面，它會讀取所有文檔的內容，當跟你對話時只需要 @，比如說給 Unity 的文檔取了一個名字叫“Unity2021”，當我給它問問題時只需要 @Unity2021。導出的內容都索引至對應的文檔。也有一個很好的功能是在 Cursor 里比較特別的，就可以給它發圖片，當然沒辦法用 Cursor 控制 Unity，但是可以通過截取 Unity 的報錯，直接提供給 Cursor 的聊天窗口，幫你解決或者快速實現一些問題。

今天實際體驗里面，中國美術學院的所有學生都是藝術生，都是藝考上來的。但我們在課程里一句代碼幾乎都沒有教過，我們一個學期里只有一節課教你怎么使用Cursor，基本上到后面就沒有學生過來問工程問題了，都可以自己解決。

我覺得在一個游戲開發的過程中，一個美術生是否愿意自己獨立完成一件事情，最大的障礙是沒有人幫助我該怎么辦，之前是使用 Copilot 現在使用 Cursor。

最后是我做了一個剪輯，我們大三和大四的學生從第一次接觸 Unity 第一個學期，大概是 14 周的時間最后完成的作品合集。

這件事情往后越走越遠，開始使用 Cursor 和 Unity 結合時，大三的學生也開始參加人機交互大會，一個同學一個學期就能產出了 5 篇會議 Paper，在 CHI Play拿了 AUDIENCE CHOICE AWARD，也是剛才在片子里出現了一個折紙相關的 Unity 作品。

今天我們的學生呈現出來一個面貌是我作為一個老師看不到所有的未來，但是今天 AI 可以幫助學生看到所有的可能性未來。這張圖是從中心點投放到未來之后也只是一個點，今天 AI 出現之后發現所有的可能性都在你的手中可以被創作的。今天真正在值得進行探索的是在中心點之外，有沒有更多的可能性。

我是第一次參加 UUG，而且是以藝術家的身份可以把我們研究所的想法拿出來。我參加了很多 AWE、AR、VR，今天藝術家跟大家合作的時候，1938 年林風眠先生為中國美術書院立下的四個字“為藝術戰”，它不代表了我們今天為一個藝術產業去做任何的工作，而是今天很多藝術家，特別是剛才大家看到的，結合各種各樣人工智能增強之后具有開發能力的藝術家，他可以作為藝術家的身份和姿態加入到各種各樣的產業過程中。

如果大家未來遇到美院的人，希望大家可以包容他們，擁抱他們，看到更加有意思的可能性，謝謝大家。

Unity 線下交流的下一站 即將于 12 月 6 日進行，歡迎開發者們到現場一同交流開發經驗！

Unity 官方微信

第一時間了解Unity引擎動向，學習進階開發技能

每一個“點贊”、“在看”，都是我們前進的動力