機器人操作技術正面臨范式變革的關鍵轉折。傳統方法受限于場景固化與數據依賴性，難以實現跨環境、跨本體的泛化能力突破。

近日，穹徹智能攜手上交大盧策吾團隊聯合提出RISE、CAGE與MBA三項前沿機器人操控技術，構建起從感知理解到動作生成的完整泛化閉環。這三項技術分別通過基于3D感知的高效場景表征學習、利用基礎模型進行魯棒的視覺表征提取、使用以物體為中心的方式進行動作推理和生成，使機器人擁有在未知復雜環境下完成各種任務的能力。它們不僅突破了傳統機器人操作系統的泛化瓶頸，更標志著可遷移智能操作系統從理論構想邁向工程實踐的新階段。

那么，這三項前沿技術是如何實現機器人操作技術的重大突破的呢？其具體研究內容又是如何？

▍三項技術相輔相成，確保復雜環境高效執行任務

據機器人大講堂了解，RISE策略側重于空間泛化，利用3D感知增強機器人對空間信息的理解，從而適應不同物體位置、工作空間和相機視角的變化。RISE策略采用稀疏3D編碼器處理3D點云輸入，直接對三維場景進行感知，能夠高效提取關鍵空間特征，減少對特定攝像機角度的依賴。

通過提取具有良好泛化能力的空間特征，RISE使機器人能夠在不同環境中保持穩定操作，從而在應對各種任務（如抓取-放置任務、長序列任務等）時展現出卓越的性能和較強的泛化能力。其結合了基于稀疏3D編碼器的場景理解和基于擴散模型的動作生成，能夠從單一視圖的點云數據中預測連續動作，實現高效的動作生成。RISE強大的3D感知能力使機器人能夠精準感知物體的位置信息和姿態，從而生成精確的操作動作。特別值得一提的是，RISE對機器人工作空間內物體的變化具有良好的適應能力，能夠在各種位置條件下高效完成任務。例如，在“倒球”任務中RISE,能夠準確感知操作環境中的杯子和碗，并生成完美的倒球動作。

CAGE策略側重于視覺泛化，通過使用視覺基礎模型和因果注意力機制，顯著提升機器人在不同視覺環境下的泛化能力和適應性。具體而言，CAGE采用視覺基礎模型，使機器人利用大規模預訓練的視覺知識；引入LoRA技術，實現高效的機器人操控相關的視覺特征提取，減少訓練參數量和計算量；采用因果感知器壓縮和處理圖像特征，提高信息利用率，為機器人在復雜環境中提供魯棒的視覺支持。CAGE策略通過結合視覺基礎模型（如DINOv2）和因果注意力機制，幫助機器人從少量的演示中學習到魯棒的視覺表示，并能夠適應不同的環境變化，甚至是機器人本體的變化。

跨機器人本體的零微調部署

CAGE的視覺編碼器為機器人提供了強大的視覺特征，能夠有效地提取任務相關的視覺信息，從而提升機器人操控策略的環境理解能力。在背景更換、物體變化、相機視角調整等條件下，甚至在更加復雜的變化（如同時發生以上三者、或在進行跨本體的零微調部署）下，傳統的機器人操控策略通常會因為環境變化過大而難以預測有效的動作，而具有強大泛化能力的CAGE策略依然能夠出色地完成任務。

MBA策略則側重于行為泛化，將物體運動軌跡推理作為獨立的集成模塊，可在更廣泛的物體交互場景中，利用擴散模型學習通用的物體運動規律，構建專注運動的世界模型。被集成的基線策略擁有一個天然的“大腦”判別豐富的物體軌跡，并基于此做出動作預測，從而提高機器人適應各種物體交互方式的能力，增強任務的通用性。MBA技術通過預測物體的未來姿態序列，指導動作生成，顯著增強機器人的動作推理能力。它一方面能夠通過位姿估計幫助機器人對物體操作實現更高精度的定位，另一方面對于通過物體運動的預測建模能輔助校準動作策略輸出的軌跡，尤其是在運動方式變化頻繁的任務上能夠大幅提高策略的執行能力。MBA作為即插即用的模塊可在多樣的策略上輕易集成，并在廣泛任務上對基線策略都有大幅增強。

這三項技術相輔相成，共同確保機器人在復雜環境中高效執行任務。目前三項前沿技術的相關論文和研究均已進行開源：

論文標題：RISE: 3D Perception Makes Real-World Robot Imitation Simple and Effective:

論文地址：https://arxiv.org/pdf/2404.12281

開源代碼及數據集：https://github.com/rise-policy/rise

論文標題：CAGE: Causal Attention Enables Data-Efficient Generalizable Robotic Manipulation:

論文地址：https://arxiv.org/pdf/2410.14974

開源代碼及數據集：https://github.com/cage-policy/cage

論文標題：Motion Before Action: Diffusing Object Motion as Manipulation Condition:

論文地址：https://arxiv.org/abs/2411.09658

主頁鏈接：https://selen-suyue.github.io/MBApage/

代碼鏈接：https://github.com/Selen-Suyue/MBA

這三篇論文具體又有哪些深入的研究內容和創新點呢？接下來機器人大講堂將一一為您解讀。

▍RISE：基于3D感知的高效的場景表征學習

RISE-圖 1：RISE專注于現實世界中的機器人模仿學習，以帶噪聲的單視角部分點云為輸入，輸出為連續的機器人動作。盡管簡單，實驗展示了其在物體位置、新工作空間和新相機視角上的具有的有效泛化能力。

隨著機器人技術的不斷進步，精確操作在模仿學習領域的重要性日益凸顯。基于圖像的傳統模仿學習方法通常依賴于固定攝像頭進行物體位置建模，因此對攝像頭視角的變化非常敏感。此外，基于3D點云的策略往往局限于預測關鍵幀，缺乏生成連續動作的能力，這在動態變化和密集接觸的場景中構成了挑戰。因此，如何有效利用3D感知來提升機器人在現實環境中的操作能力，逐漸成為研究的重點。

• 實現方法

RISE-圖2：RISE架構概覽。
RISE的輸入是從現實世界捕獲的含噪聲的場景點云。使用稀疏卷積構建的3D編碼器將點云壓縮成token。在添加稀疏位置編碼后，這些token輸入到Transformer編碼器中。使用讀取token從Transformer解碼器中查詢動作特征。基于擴散模型的動作生成頭通過動作特征生成連續機器人動作。

為了解決上述問題，研究團隊提出了RISE，一個基于3D感知的端到端模仿學習基線。在訓練過程中使用了50個現實世界任務的演示，即可得到一個簡單有效的機器人操控策略，而且該策略在準確性和效率方面都具有顯著優勢。具體來說，RISE由以下三個部分構成：

1.稀疏3D編碼器：受到AnyGrasp的啟發，RISE采用了基于稀疏卷積的3D編碼器，將點云壓縮成tokens。這種設計不僅有效利用了傳統卷積架構的優勢，還避免了在稀疏3D空間中的大量冗余計算，提升了點云感知和處理效率。

2.帶稀疏位置編碼的Transformer：RISE使用3D稀疏位置編碼來捕獲不同點token在3D空間內的相對關系。將編碼后的點特征，通過基于Transformer的編碼器-解碼器架構映射到動作特征空間。

3.基于擴散模型的動作生成頭：動作特征通過擴散頭解碼成連續的動作軌跡。該解碼器通過迭代去噪高斯噪聲來預測動作，從而生成機器人的執行動作。

• 實驗結果

團隊設計了六項任務來評估RISE的任務完成效果、泛化能力和魯棒性，包括抓取和放置任務（Collect Cups和Collect Pens）、6自由度任務（Pour Balls）、推至目標（Push Block和Push Ball）以及長程任務（Stack Blocks）。RISE在多項任務中表現出色：

——抓取和放置任務（如圖3）——

RISE-圖3：實驗中各項任務的定義。在評估過程中，每項任務中各個物體的位置在機器人工作空間內隨意放置。為了更直觀地展示，圖中僅展示了每項任務的3到5種評估設置。

RISE-圖4：抓取和放置任務的實驗結果。

Collect Cups：在物體數量少于3個時，RISE的完成率超過90%；即使在有4個或5個杯子的復雜環境中，完成率仍保持在65%以上。

Collect Pens：RISE在預測平移和規劃旋轉方面均超越了所有基線方法，完成率顯著高于ACT、Diffusion Policy和Act3D。

——6自由度任務——

RISE-表1：6自由度任務倒球的實驗結果。
“如果倒球成功”（If Poured）：表示在成功完成倒球動作的完成率。

Pour Balls：RISE在需要復雜旋轉的倒球任務中表現出色，成功率達到80%，完成率為49.0%，顯著高于ACT和Diffusion Policy。

——推至目標任務——

RISE-表2：推至目標任務“推方塊”和“推球”的評估指標示意圖（左）和實驗結果（右）。

Push Block：RISE的成功率為55%，距離目標位置的平均距離為3.51厘米，略高于Diffusion Policy。

Push Ball：RISE的成功率為60%，距離目標位置的平均距離為4.89厘米，顯著高于Diffusion Policy，展示了其對物體位置變化的快速適應能力。

——長程任務：——

RISE-表3：“堆疊積木”長程任務的實驗結果（平均堆疊積木數）。

Stack Blocks：隨著方塊數量的增加，RISE的表現逐漸超越基線方法。在2個方塊的情況下，RISE平均成功堆疊0.8個方塊；在3個方塊的情況下，平均成功堆疊1.5個方塊；在具有挑戰性的4個方塊情況下，平均成功堆疊0.9個方塊。

——3D感知的有效性——

RISE-表4：3D感知在“收集杯子”任務（5個杯子，共10次試驗）中的有效性測試。2D版本策略以全局攝像頭和手持攝像頭的圖像作為輸入。* DP3方法無法通過較為復雜的演示數據學習到有效的機器人操作策略。

在Collect Cups任務中，RISE在5個杯子的情況下完成率達到66%，顯著高于ACT和Diffusion Policy。這表明3D感知可顯著提升機器人操作策略。

——泛化能力測試——

RISE-表5：“收集筆”任務（1支筆，共10次試驗）的泛化測試設置與實驗結果。

L1、L2級別：在物體顏色、光照條件等單因素變化下，RISE的平均完成率保持在80%以上。

L3級別：在工作空間高度變化的情況下，RISE的完成率下降10%，仍顯著高于基線方法。

L4級別：在最具挑戰性的攝像頭視角變化的情況下，雖然完成率有顯著下降，相比其他基線方法，RISE仍表現出較大優勢。

• 應用前景

RISE的實驗結果表明，3D感知在現實世界機器人操作中的應用潛力巨大。其高效的動作預測能力和對環境變化的適應能力，使其在復雜的操作任務中具備廣泛的應用前景。未來，RISE可以被應用于更復雜的機器人操作場景，如家庭服務機器人、工業自動化以及醫療輔助等領域。同時，RISE的技術策略也為其他領域的智能系統提供了新的思路，推動了3D感知與機器人學習的進一步融合。

▍CAGE:利用基礎模型進行魯棒的視覺表征提取

機器人操作的泛化能力一直是具身智能研究的重點課題，尤其是在面對新環境時，如何利用有限的演示數據實現有效操作是當前的研究熱點。盡管在某些領域（如通用抓取）已取得一定進展，但在更廣泛的機器人操作任務中，仍面臨著巨大挑戰。近期的模仿學習研究表明，基于行為克隆的機器人操作策略在從演示中學習方面具有潛力。然而，行為克隆在面對分布外的情景時往往表現不佳，導致累積誤差和任務失敗，這進一步突顯了機器人操作策略中泛化能力的重要性。

CAGE-圖1：CAGE是一種數據高效且具有泛化能力的機器人操控策略。通過約50次單一場景的演示，CAGE能夠在從未見過的測試環境中有效完成任務，并適應不同程度的分布變化，包括訓練環境（L0）、相似環境（L1）和全新環境（L2）。實驗表明，CAGE在L1和L2環境中展現出良好的通用性，并顯著優于現有的研究方法。

• 實現方法

CAGE-圖2：
(a) CAGE概覽。CAGE由三個部分組成：
觀察圖像輸入DINOv2圖像編碼器（LoRA微調）以獲取觀察token。
連接后的觀察token通過Causal Observation Perceiver進行壓縮，學習到的token與時間戳嵌入一起作為噪聲預測的條件。
Attn-UNet以帶有本體感知的噪聲動作序列作為輸入，輸出噪聲估計，遵循標準擴散流程。
(b)對token進行平均壓縮會丟失關鍵的場景級位置信息。
(c)直接作為下游輸入的方式低效，因token數量過多。
(d)團隊提出的Causal Observation Perceiver用于token壓縮。

CAGE是一種新型的機器人操作策略，通過其創新的因果注意力機制，不僅提高了數據效率，還顯著增強了機器人操作的泛化能力。CAGE利用視覺基礎模型DINOv2的強大特征提取能力，并結合LoRA微調以實現對環境的魯棒理解。策略還采用因果感知器進行有效的token壓縮，并使用基于擴散的動作預測頭，以增強任務特定的細粒度條件控制。CAGE僅需約50個來自單個訓練環境的演示，就能在不同的視覺變化中實現魯棒的泛化，包括物體、背景和視角的變化。

• 實驗結果

研究人員設計了三項任務來評估CAGE的泛化能力：

A.搬運（Transport）：機器人需要定位工作空間左側的物體（到達），抓取物體（抓取），并將其放到右側（放置）。

B.倒出（Dumping）：機器人需要水平抓取杯子（抓取），將其移動到碗上方，傾斜杯子直到所有球都倒入碗中（倒出），然后將杯子放入目標區域（放置）。

C.切割（Chopping）：機器人需要抓取菜刀（抓取），用菜刀將砧板上的物體切成若干塊（切割），然后將菜刀安全放置在泡沫墊上（放置）。

泛化變化包括不同的背景、物體和攝像頭視角

——同環境測試（L0）——

，時長00:19

在訓練環境中，運用CAGE策略的機器人操作演示視頻

CAGE-表1-L0評估結果：L0評估在訓練過程同環境中進行，CAGE在所有任務中均優于DP，并在大多數任務中與RISE表現相當。

在與訓練環境相同的L0測試中，CAGE在所有任務中均超越了DP，并在大多數任務中與RISE相當。具體來說，CAGE在Transport任務中的成功率達到了100%，在Dumping任務中的成功率為93%，在Chopping任務中的成功率為94%。

——相似環境（L1）——

CAGE-表2-L1評估結果：L1評估在相似環境中進行，其中包括背景、物體或攝像頭視角的一種變化。本表說明了“搬運”任務的總體成功率。CAGE在所有任務的成功率和完成率上均超越RISE。

在L1測試中，CAGE在相似環境中展現出有效的泛化能力。例如，在運輸任務中，即使目標物體從方塊變為足球，CAGE的平均成功率達到67%。在傾倒任務中，CAGE在不同背景和物體下的成功率分別為80%和73%。

——全新環境（L2）——

CAGE-表3-L2評估結果：L2評估在全新的環境中進行，包括不同的背景、攝像頭視角和未見過的物體，CAGE在所有任務中均顯著優于所有基線方法。

• 泛化能力測試

在L2測試中，CAGE在未見過的環境中表現出強大的泛化能力。在背景、物體和攝像頭視角同時變化的情況下，CAGE仍能有效完成任務。CAGE在Transport任務中的成功率為34%，在Dumping任務中的成功率為57%，在Chopping任務中的成功率為23%。

• 跨平臺驗證

除了在視覺泛化能力上的突破，研究團隊在不同硬件配置的新平臺上對CAGE進行了測試，重點關注了運輸（Transport）和傾倒（Dumping）兩項任務。盡管面臨全新的工作空間和操作界面，CAGE依然展現出了強大的適應能力。

CAGE-表4：相似環境下的跨平臺實驗結果：
“相似”指的是具有綠色背景、相同物體和接近的攝像頭視角的環境設置。由于平臺不同，背景和攝像頭與訓練環境不完全相同。表中新硬件用黃色高亮顯示。

CAGE-表5：新環境下的跨平臺評估結果：
進一步按照相同協議更換了背景和目標物體。新硬件用黃色高亮顯示。

• RH20T預訓練

除了自行收集的高質量數據集外，團隊還在RH20T的相同運輸任務上對CAGE進行了訓練，以評估預訓練后的開箱即用泛化能力。該數據集包含164個演示，由14名操作員在4種不同硬件配置下收集，并且包含了多樣化的干擾因素以及物體尺寸、背景和攝像頭視角的豐富變化。為了評估，團隊設計了一個藍色長方體作為目標，其在紋理和形狀上均與訓練中使用的方塊不同。

CAGE-表6：開箱評估結果。
左側的圖示展示了在RH20T上預訓練的CAGE的開箱環境。請注意，物體、背景和攝像頭視角在訓練數據集中均未出現。

如表6所示，團隊觀察到，盡管基線方法無法完成該任務，但CAGE能夠開箱即用地運行，并且在性能上與使用半域內高質量數據集訓練的結果相當（僅攝像頭視角相同）。這證明了CAGE方法可以擴展到大型且多樣化的數據集，并帶來相應的性能提升。

• 應用前景

CAGE策略憑借其出色的數據效率和強大的泛化能力，為機器人操作領域提供了高效且靈活的解決方案。具體而言，CAGE僅需50次演示即可完成訓練，顯著降低了數據收集成本，使機器人學習新任務更加高效和經濟。其零樣本遷移能力，使得CAGE無需在新環境中進行微調，即可應對全新場景，極大地拓展了應用范圍。此外，CAGE支持RGB視覺輸入，擺脫了對深度傳感器的依賴，實現了多模態兼容，進一步降低了硬件成本，提高了系統的靈活性和適應性。這些突破性特性，使得CAGE策略在物流分揀、家庭服務、危險環境作業等多個領域具有廣泛的應用前景。

▍Motion Before Action:以物體為中心進行動作推理和生成

在機器人操作任務中，從觀察中推斷物體運動的特征表示對于提升機器人操作性能至關重要。人類正是通過觀察環境中的物體運動，建立物體運動的概念知識，進而將這些知識潛移默化的用于伸手、抓取、避障等精細或靈活的動作。

然而，大多數現有的機器人策略仍然高度依賴觀察特征，采用特征編碼器直接映射觀測到的場景至動作，而非主動推理物體的運動模式。這種方法容易過擬合訓練數據，對環境細節過度依賴，導致在遇到現實世界中物體姿態的劇烈變化時，泛化能力受限，操作性能下降。

為解決上述挑戰，穹徹智能攜手上交大盧策吾團隊聯合提出了基于未來物體運動推斷的動作預測策略，賦予機器人類似人類的推理能力：從觀察中推測物體的未來運動趨勢；在物體運動預測的引導下，預測并執行最優動作。這種方法不僅增強了機器人對動態環境的適應能力，還能有效提升操作的泛化性和穩健性，使其更接近人類智能的運動規劃方式。

• 實現方案

MBA操作策略采用級聯擴散模型進行物體運動預測與機器人動作生成，顯著提升操作精準度與穩定性，尤其在軟體物體操控、精準抓取等復雜任務中表現優異。相比傳統策略僅依賴觀察特征，MBA通過推測物體未來運動優化機器人操作，使其更具泛化能力。作為即插即用的模塊化組件，MBA可靈活集成至任何帶有擴散動作頭的機器人操作策略，提升智能化決策與執行能力。

MBA-圖1. MBA概覽：
MBA以當前觀測作為輸入，形式為來自不同視角的3D點云或RGB圖像。通過去噪擴散，從物體策略中采樣物體姿態序列作為動作，并成為框架輸出的一部分。環境觀測和物體姿態動作的條件下，MBA通過去噪擴散從機器人策略中采樣可執行的機器人動作。這些動作在工作空間內執行，以更新環境狀態和觀測信息。

具體來說，MBA通過以下步驟實現：

1.物體運動預測（第一階段擴散模型）

○輸入：策略編碼的觀察特征作為條件輸入。

○輸出：預測物體未來的姿態序列（9D向量，包括3D平移6D旋轉）。

○作用：為后續動作生成提供更精確的運動信息，引導動作策略執行。

2.機器人動作生成（第二階段擴散模型）

○輸入物體未來的姿態序列初始觀察特征結合，作為聯合條件輸入。

○輸出：生成機器人執行所需的動作序列（10D向量，包括3D平移、6D旋轉、1D夾爪寬度）。

○作用：在物體運動預測的指導下，預測最優的機器人操作動作，提升任務執行的精度與穩定性。

3.執行流程（右側圖示）

○觀察輸入→預測物體運動（第一階段擴散模型）。

○結合物體運動信息→預測機器人動作（第二階段擴散模型）。

○執行生成的動作，循環迭代，直到任務完成

• 實驗結果

——仿真實驗——

在仿真實驗中，團隊重點探討以下兩個核心問題：1.MBA能否通過預測物體運動，為機器人動作生成提供更有效的條件，從而提升操作策略的性能？2. MBA的類人推理能力是否能提高策略學習的效率？

團隊在三個仿真基準測試環境中評估MBA的性能，共涵蓋57個任務。實驗旨在驗證MBA是否能全面提升擴散策略（Diffusion Policy）的表現，因此團隊選擇Diffusion Policy（DP）3D Diffusion Policy（DP3）作為2D和3D任務的代表性基線，并將MBA模塊集成到這些基線中進行對比測試。

為確保實驗公平性，所有方法在訓練階段使用相同數量的專家演示和訓練步數；在執行階段，觀察與推理步數也保持一致。

MBA-表1：在57個模擬任務中，集成MBA的策略與基線方法在3個隨機種子下的平均成功率及標準差對比。

實驗結果如表1所示，集成MBA的策略在大多數基準測試中展現出更穩定且優越的性能。相比DP，MBA的平均成功率提升14.2%；相比DP3，MBA的平均成功率提升6.2%；在所有基準測試任務中，執行標準差普遍降低，進一步驗證了MBA的魯棒性。

在高難度任務表現中，Adroit環境中：MBA將平均成功率由68.3%提升至79.7%；DexArt環境中：MBA的平均成功率由53.5%下降至52.3%；MetaWorld環境中：MBA在不同難度級別任務中均表現優異，尤其在高難度任務中，成功率提升尤為明顯。

MBA-表2：集成MBA的策略與基線方法在多個典型模擬任務中的詳細性能對比。

細粒度分析如表2所示，在需要精確接觸狹小動作空間內進行操作的任務中，MBA通過準確物體姿態估計運動預測，顯著增強了機器人操作策略的執行能力和魯棒性。

MBA-圖2：MBA與基線方法的成功率與單次實驗中訓練步數之間的關系。

學習效率提升如圖2所示，集成MBA的策略在訓練過程中展現出更快的收斂速度更高的學習效率。相比原始策略，MBA使得機器人在較早訓練階段即可達到任務成功率峰值，并在更高水平上保持更穩定表現。這一改進得益于物體姿態信息的引入，提供了更易學習、易編碼的特征表示，從而提升策略學習的效率。

——真機實驗——

MBA-圖3：現實世界環境中機器人平臺概覽及三項任務示意圖。

在真機實驗中，團隊旨在評估所提出的MBA模塊在真實世界機器人操作策略的有效性。研究者使用Flexiv Rizon機器人臂和Robotiq 2F-85夾爪進行了4個任務實驗，如圖3所示：切粘土（使用工具的接觸密集型任務）、將面包放入鍋中（柔性物體操作）、打開抽屜（關節物體操作）和倒球（6自由度任務）。實驗結果如下：

○切割粘土

接觸密集型任務包括三個關鍵階段：抓取刀子、切割粘土直至分離、將刀子放置于泡沫墊上，旨在評估MBA是否能通過準確預測物體姿態序列，優化策略執行。

團隊在實驗中隨機調整切板、刀座和泡沫墊的位置與方向，重點考察它們的相對位置變化，以全面評估策略的魯棒性。此外，每次測試都會改變粘土形狀，以確保模型對真實應用場景的泛化能力。

團隊定義了五個評估指標：抓取刀子的成功率；完成切割動作的成功率；切割粘土直至分離的成功率；將刀子放置在泡沫墊上的成功率；20次測試中抓取刀子的總重復嘗試次數：

MBA-表3：“切割黏土”任務的實驗結果

表3顯示，集成MBA的RISE在各階段均顯著優于標準RISE，尤其在切割與分離任務中表現突出。這一優勢源于MBA能預測并優化刀子切入粘土時的切割路徑，這一過程涉及6自由度運動控制

MBA通過工具運動預測提供反饋，提升整體任務性能。然而，實驗發現MBA仍存在重復抓取刀子的現象。團隊推測，任務中的估計誤差可能是主要原因，而刀片的薄度會放大了這些誤差，使其更難忽略。

○將面包放入鍋中

該任務是典型的抓取與放置任務，目標是從碗中取出面包并放入鍋中。團隊選擇這一任務的核心原因在于，面包屬于軟體物體，其不同于剛體，會因夾爪的抓取壓力和接觸地面時的擠壓發生顯著形變，影響物體姿態，增加MBA在姿態預測方面的挑戰。因此，該任務是評估MBA魯棒性與泛化能力的理想測試場景。

實驗中團隊隨機初始化鍋和碗的位置，并調整碗中面包的方向。團隊采用兩項評估指標：面包成功放入鍋中的平均成功率和抓取面包的總重復嘗試次數

MBA-表4：“放面包入鍋”任務的實驗結果

表4顯示，集成MBA的RISE在平均成功率上比標準RISE高出15%。MBA版本的RISE大多數情況下可一次性成功抓取面包，而標準RISE通常需要多次嘗試。結果表明，MBA能有效預測軟體物體的姿態變化，能夠適應更豐富的物體旋轉和平移偏差，從而實現更精準的物體定位和抓取。

○打開抽屜

該任務是關節化物體的操控任務，機器人需先精確抓取抽屜把手，再水平拉開。其核心挑戰在于，把手與抽屜表面之間的間隙極小，即使輕微的位置誤差也可能導致抓取失敗拉動過程中夾爪失去接觸。機器人需要準確估計把手的姿態序列，以確保平穩且高精度的操作執行。由于精細操作易受場景設置影響，特別是低高度操作時的點云遮擋問題，團隊采取以下措施優化測試：為減少隨機性影響，測試次數由20次增加至40次。測試點涵蓋工作空間的內圈和外圈，每個區域進行20次測試。確保策略能應對初始抽屜位置導致的遮擋問題，實現全面的魯棒性評估。試驗均以平均成功率進行對比分析。

MBA-表5：“打開抽屜”任務的實驗結果

表5顯示，集成MBA的RISE任務的兩個階段均優于基線RISE，與模擬實驗的發現一致。MBA通過準確預測把手姿態序列，減少抓取誤差，提高成功率。在需要高精度執行的任務中，MBA顯著增強了基線策略的穩定性和魯棒性

○倒出小球

該任務為6自由度操控任務，其目標是抬起裝有10個球的杯子并將其倒入碗中。該任務的難點主要來自兩個方面：杯子在不同高度的寬度不同，夾爪需學習精確的視覺到運動控制策略，以便在合適高度抓取杯子。若夾爪過寬，將無法夾緊杯子，導致其掉落；若夾爪過窄，則會將杯子擊倒。倒球過程中，若平移與旋轉控制不當，或者夾爪力量調整不當，杯子可能旋轉或掉落，導致任務失敗。

實驗中，團隊隨機化物體位置，并進行了20次試驗，定義了三個評估指標將球倒入碗中的平均成功率；所有試驗中倒入碗中的總球數；拿起杯子的平均成功率。

MBA-表6：“倒球”任務的實驗結果

表6顯示，MBA成功率上比基線高出超過15%。在相同的拿取杯子條件下，MBA還能以更高的精度倒球。MBA能準確捕捉物體姿態變化與相應動作的關系使得原子動作的實施更連貫，從而在復雜操作場景中表現優異。

• 應用前景

MBA模塊作為一種新型的機器人操作策略增強組件，具有廣泛的應用前景。它可以靈活地集成到現有的機器人操作策略中，顯著提升策略在各種操作任務中的性能。未來的研究方向包括：

○集成到其他策略中：將MBA模塊的集成對象從擴散載體策略發展為更廣泛的生成式策略直至拓展到所有模仿學習策略中，以進一步提升策略的通用性和適應性。

○利用多樣化的演示數據：利用人類演示或網絡視頻等多樣化的物體運動演示數據進行監督和學習，使MBA學習更廣泛的真實世界運動表征，成為專注運動建模的具身大腦，以增強策略的泛化能力。

○長程、多階段任務：探索MBA模塊在長視界、多階段任務中的性能，以實現更復雜的操作任務。

○大規模策略：將MBA模塊擴展到跨多數據集、多任務設置的通用大規模策略，以實現更廣泛的應用。

▍未來展望

在機器人操控技術領域，RISE、CAGE與MBA三項前沿技術正通過不同維度的創新形成協同效應，有效提升了機器人在復雜環境下的泛化能力，使其能夠高效執行多樣化任務。作為貫穿場景表征理解與動作生成的系統級創新，這類技術組合為機器人操作領域突破泛化能力瓶頸提供了重要支撐，展現出推動行業實質性發展的潛力。

隨著技術融合的持續深化，機器人泛化能力的發展路徑正逐漸明晰。未來，跨環境、跨本體的適應能力有望借助三大技術的協同優化實現顯著提升。這三大技術的協同優化將增強機器人在多應用場景下的泛化能力，使其能夠更好地適應不同場景的需求。

在工業制造領域，機器人通過自主適應不同的產線與工件，將大幅提高柔性制造能力，從而更靈活地滿足多種生產需求，成為柔性生產的關鍵環節；在醫療領域，隨著機器人泛化能力的提升，其能夠更精準地執行多種復雜手術操作，進而提高醫療的安全性與效率；在家庭服務場景中，機器人通過靈活應對多樣化的家居環境，實現了自主交互與精準操控，這將推動機器人更深入地融入日常生活。

未來，在穹徹智能、上海交通大學等眾多企業和高校對技術研究的持續深耕細作之下，行業發展無疑將獲得強大助力。技術演進與應用場景的相互賦能、彼此促進，必將為我們開啟機器人泛化能力發展的全新階段！