新智元報道

編輯：英智 KingHZ

【新智元導讀】谷歌DeepMind與HHMI Janelia研究所的科學家們，用AI打造了一個栩栩如生的虛擬果蠅模型。這個模型不僅能精準模擬果蠅的飛行與行走，還通過深度強化學習模仿真實果蠅的行為。

一只小小的果蠅是如何在空中優雅地飛舞，或者在地面上靈活地爬行的？

這些看似簡單的動作背后，隱藏著復雜的生物機制和神經控制。

為了揭開這些秘密，谷歌DeepMind團隊聯合HHMI Janelia研究所，利用AI和物理模擬技術，打造了一個逼真的虛擬果蠅模型。

論文鏈接：https://www.nature.com/articles/s41586-025-09029-4

項目鏈接：https://github.com/TuragaLab/flybody

這個模型不僅能模擬果蠅的行走和飛行，還能通過觀察真實果蠅的行為，學習如何控制動作。

研究團隊用高分辨率的體視顯微鏡，詳細掃描了一只雌性果蠅的身體，精確地記錄下它的每一條腿、每一片翅膀，甚至每一個關節的細節。

他們在MuJoCo物理引擎中構建了一個精確的三維果蠅模型。

MuJoCo是一個由谷歌DeepMind開發的開源物理模擬器，用來模擬機器人和生物力學場景。

但光有模型還不夠，果蠅的運動離不開空氣和地面的相互作用。

研究人員在MuJoCo中加入了新的功能：模擬翅膀扇動時與空氣的流體相互作用。

他們還設計了黏附執行器，用來模仿果蠅腳部與地面接觸時的抓握力。

這些改進讓虛擬果蠅不僅能站在地面上，還能像真實果蠅一樣飛起來。

這個數字果蠅看起來就像一只真正的果蠅：橙色的身體、透明的翅膀，還有那對標志性的紅色大眼睛。

有了逼真的身體模型，下一步就是讓果蠅學會運動。研究團隊訓練了一個人工神經網絡。

他們收集了大量真實果蠅行為的視頻，比如果蠅如何行走、如何起飛、如何調整方向。

通過深度強化學習和模仿學習，神經網絡逐漸掌握了果蠅的運動模式。

在模擬中，虛擬果蠅展現出了驚艷的真實感。

它能沿著復雜的自然飛行軌跡移動，比如研究人員設置的藍色軌跡點，果蠅會精準地跟隨這些點飛行，翅膀拍動的頻率和角度都與真實果蠅無異。

它甚至能模仿真實果蠅的視覺導航能力。虛擬果蠅能看到周圍的環境，并根據視覺信息調整自己的行為。

為了讓更多研究人員受益，谷歌DeepMind和HHMI Janelia研究所決定將這個果蠅模型開源。他們不僅發布了模型的代碼，還提供了詳細的技術文檔。

深度強化學習模擬行為

構建好果蠅身體模型和物理模擬環境后，模型如何產生逼真的運動行為？

研究團隊采用深度強化學習（RL）技術解決這一難題。

他們訓練人工神經網絡，讓它扮演果蠅神經系統的角色，形成閉環感覺運動控制器。

訓練時，MuJoCo模擬感覺系統產生的信號輸入到神經網絡，神經網絡據此計算控制信號，驅動模型執行器動作。

為讓模型學習真實運動行為，研究團隊采用模仿學習法。

他們收集大量真實果蠅飛行和行走的軌跡數據，以此讓模型學習模仿真實果蠅的運動模式。

在飛行任務中，研究團隊利用之前收集的海德氏果蠅自由飛行的高速視頻數據，訓練可轉向的飛行控制器。

該控制器由固定的翅膀拍打模式生成器（WPG）和可訓練的全連接多層感知器（MLP）組成。

WPG能產生接近真實果蠅懸停時的翅膀拍打模式，為模型提供穩定基礎；

MLP則通過學習微調WPG輸出，使模型能根據不同飛行需求，如轉彎、加速、減速等，做出相應翅膀運動。

其中飛行模型的網絡運動命令，是MLP和WPG輸出的總和。

為提高訓練效率，研究團隊還采用分布式強化學習方法，借助Ray分布式計算框架，在多個CPU和GPU上并行訓練模型，大幅縮短了訓練時間。

分布式RL訓練架構

多個MuJoCo環境中的演員副本收集經驗，并將其輸入到單一的重放緩沖區。

DMPO學習器從重放緩沖區中抽取經驗，更新策略和評論家網絡的權重，并將更新后的權重發送到演員的策略副本。

為了讓訓練軌跡泛化到新的運動軌跡，還訓練了「可轉向」的低層控制器。

這些神經網絡類似于果蠅中樞神經系統的腹神經索（ventral nerve cord，VNC），負責將來自中央大腦的高層（下行）命令信號轉化為低層次的運動控制信號。

下圖左為果蠅中樞神經系統的示意圖，包括大腦和腹神經索。下圖右為腹神經索的橫截面，粉色為傳出信號的運動神經元，綠色為傳入信號的感覺神經元。

研究者訓練了兩個可轉向神經網絡控制器（策略網絡）：分別控制飛行（圖2）與行走（圖3）。

在行走任務中，鑒于果蠅步態模式復雜多樣，研究團隊直接用一個全連接的MLP作為控制器。

通過學習大量行走軌跡數據，模型學會根據不同環境和目標調整腿部運動，實現穩定行走和靈活轉向。

模擬飛行

利用之前收集的高速視頻數據，研究者使用模仿學習訓練了一個可轉向的飛行控制器（圖2a）。

這些數據集包含了272條單獨的軌跡（約53秒的實際飛行時間），記錄了飛行過程中身體質心（CoM）和翅膀運動學，涵蓋了轉彎、速度和高度變化、直飛、側飛、倒飛和懸停等行。

研究者還訓練了一個單一的控制器網絡，模仿訓練數據集中所有216條飛行軌跡。

這個可轉向的控制器能夠保持穩定的飛行，并推動果蠅穿越新的飛行軌跡。

圖2：飛行模擬

具體方法與細節，請參閱原文。

模擬爬行

同樣采用了模仿學習，研究者訓練了一個用于行走的可轉向閉環控制器（圖3a）。

研究者對一組自由爬行并在圓形競技場中相互作用的果蠅進行了高速俯視視頻拍攝（150 fps）。

使用自動化姿態追蹤技術，追蹤了雌性果蠅的2D位置，標記了13個關鍵點，分別位于頭部、胸部、腹部和6個腿部尖端的位置。

由于僅憑這些2D關鍵點的位置，無法明確推斷出所有身體自由度（DoFs）的3D姿態，因此研究者采用了一種正則化的逆運動學方法，推斷出所有自由度的完整3D飛行器姿態軌跡的近似值。

由于步態的顯著變異性，研究者無法像飛行模仿那樣使用簡單的模式生成器來進行行走模仿。

因此，控制器由一個單一的全連接MLP（圖3a）組成，且在訓練時沒有強制執行任何特定結構，如模式生成器。

研究者在所有約13,000條訓練集的行走軌跡上訓練了一個單一的MLP策略網絡。

圖3：爬行模擬

通過展示沿著復雜自然軌跡的真實運動，研究者驗證了身體模型和物理模擬的準確性。

逼真的全身模型

研究者使用高分辨率共聚焦顯微鏡成像，構建了雌性果蠅的模型（圖1）。

熒光染色幾丁質的方法便于分割體節形狀并識別所有關節的樞軸點（圖1b）。

為實現全身無像差的高分辨率成像，需將樣本分解為多個部分，通過化學方法清除軟組織并進行色素脫色處理。

圖1：從共聚焦數據構建雌性果蠅的3D模型

(a) 整合代表單只果蠅的6組數據集：共聚焦圖像最大強度投影顯示頭部、胸腹聯合體及腿部結構。

(b) 中腿共聚焦圖像局部投影（左，紅色三角標記腿節-脛節與跗節間關節），從中提取的三維網格（中）及低多邊形腿部模型（右）。

(c) 分解展示的簡化模型（約2萬面）呈現體節結構。

(d) 靜息姿態下的完整解剖模型。

(e) MuJoCo環境中身體模型的側視圖。

(f，g) 用于高效碰撞檢測與物理模擬的體節幾何基元近似：藍色為常規碰撞幾何體，淡紫色為帶黏附驅動器的幾何體，赭石色為高級流體模型中實現飛行的翼橢球體。

(h) 模型倒掛時驅動器力場可視化：前右腿、中左腿、后右腿的黏附驅動器（橙色）與唇瓣黏附器處于激活狀態，其余驅動器未激活（白色）；箭頭表示與施加黏附力（扣除重力影響后）成比例反向的接觸力。

(i) 夸張姿態展示腹節外展與右后跗節屈曲驅動器激活效果：腹關節與跗關節均通過單一驅動器（「肌腱」）耦合驅動多自由度。

(j) 腿部收攏的飛行姿態模型。

(k) 半透明可視化幾何體的底視圖，淺藍箭頭指示關節：立方體為6自由度自由關節（模擬器中自由質心運動所需，非果蠅內在自由度），箭頭為鉸鏈關節（指向正向旋轉方向），三鉸鏈關節組等效形成球關節。

MuJoCo功能上新

為了準確模擬果蠅的飛行和行走等行為，研究者為MuJoCo物理引擎添加了新功能。

MuJoCo是一款通用物理引擎，旨在為機器人學、生物力學、圖形動畫、機器學習等領域的研究與開發提供支持

首先，開發了一個新的計算高效的現象學流體模型，用于模擬果蠅翅膀拍動時在空氣中產生的力。

其次，開發了附著驅動器，用于模擬昆蟲腳抓握表面時產生的力。

現象學流體模型：馬格努斯力｜煙霧流過旋轉的圓柱體。由于粘性，旋轉的圓柱體使得進入的流體向上偏轉，并且受到一個向下的力

視覺傳感器建模上，研究團隊用MuJoCo相機傳感器模擬果蠅復眼，渲染出特定分辨率和視野的圖像，為視覺引導的飛行任務奠定基礎。

意義是什么

為什么科學家要花這么大心思去模擬一只小小的果蠅呢？

果蠅雖然小，大腦結構卻非常復雜，擁有大約20萬個神經元。

通過這個果蠅模型，科學家可以更深入地探索大腦、身體和環境之間的關系。

比如，果蠅如何通過視覺判斷方向？它又是如何協調翅膀和腿部的運動以實現平穩飛行？

這些問題在實驗室中往往難以直接測量，虛擬模型則提供了一個絕佳的實驗平臺。

科學家可以在模擬環境中隨意調整參數，觀察果蠅的行為變化，尋找那些隱藏的規律。

谷歌DeepMind團隊已經用類似的方法模擬了嚙齒動物，現在正計劃將這項技術應用到斑馬魚身上。

斑馬魚是一種與人類有70%蛋白質編碼基因相似的生物，廣泛用于遺傳學研究。未來可能還會加入狗、鴕鳥等更多動物。

參考資料：

https://x.com/GoogleDeepMind/status/1915077085325922785

https://www.nature.com/articles/s41586-025-09029-4

https://www.biorxiv.org/content/10.1101/2024.03.11.584515v1.full.pdf