本文的作者均來自新加坡國立大學 LinS Lab。本文第一作者為新加坡國立大學博士生高崇凱，其余作者為北京大學實習生張浩卓，新加坡國立大學博士生徐志軒，新加坡國立大學碩士生蔡哲豪。本文的通訊作者為新加坡國立大學助理教授邵林。

人類具有通用的、解決長時序復雜任務(wù)的規(guī)劃能力，這在我們處理生活中的復雜操作任務(wù)時很有用。這種能力可以被描述為這樣的過程：首先，人們會在面臨一個任務(wù)時思考當前可能的動作，然后通過想象能力預測這些步驟可能帶來的結(jié)果，最后基于常識對這些結(jié)果進行打分，選擇最佳動作來執(zhí)行并完成任務(wù)。這種基于世界模型的搜索算法是人類解決開放世界操作任務(wù)的能力基礎(chǔ)。這種能力背后的核心在于，人類大腦構(gòu)建了一個關(guān)于物理世界的 “世界模型” 和一個通用的價值函數(shù)，他們模型賦予了我們對于物體未來狀態(tài)的想象能力和規(guī)劃能力。那么，機器人能否也具備這樣的對物理世界的理解和想像能力，使得能夠在執(zhí)行任務(wù)之前就能規(guī)劃好未來的步驟？

近年來，機器人技術(shù)飛速發(fā)展，我們見證了越來越多智能化機器人的出現(xiàn)。然而，與人類相比，現(xiàn)有機器人在處理復雜、多階段任務(wù)時仍顯得力不從心。它們往往依賴于特定任務(wù)的數(shù)據(jù)和預設(shè)指令，或者借助大模型在簡單的抓取技能上進行規(guī)劃，難以像人類一樣靈活地規(guī)劃和執(zhí)行復雜通用的操作任務(wù)。如何為機器人構(gòu)建類似于人類的 “世界模型”，從而實現(xiàn)通用任務(wù)規(guī)劃能力，一直是機器人研究中的核心挑戰(zhàn)。

近日，來自新加坡國立大學的邵林團隊提出了 FLIP：一種基于世界模型的視頻空間任務(wù)搜索和規(guī)劃框架。該方法能夠適用于通用的機器人操作任務(wù)上，包括可行變物體操作和靈巧手操作任務(wù)。該方法直接基于機器人視覺空間進行任務(wù)規(guī)劃，通過特殊設(shè)計的動作提出模塊、動力學預測模塊、和價值函數(shù)預測模塊進行基于世界模型的任務(wù)規(guī)劃，且具有模型參數(shù)量的可擴展性。該論文已發(fā)表在 ICLR 2025 上，并在 CoRL 2024 LEAP Workshop 中被選為 Oral Presentation。

• 論文標題：FLIP : Flow-Centric Generative Planning as General-Purpose Manipulation World Model
• 項目主頁：https://nus-lins-lab.github.io/flipweb/
• 論文鏈接：https://arxiv.org/abs/2412.08261
• 代碼鏈接：https://github.com/HeegerGao/FLIP

一、引言

世界模型（World Models）指的是基于學習的方法，用于模擬環(huán)境的表示或模型。借助世界模型，智能體可以在模型內(nèi)部進行想象、推理和規(guī)劃，從而更加安全且高效地完成任務(wù)。近期生成模型的進展，特別是在視頻生成領(lǐng)域，展示了利用互聯(lián)網(wǎng)規(guī)模的訓練數(shù)據(jù)生成高質(zhì)量視頻，以作為世界模擬器的應用潛力。世界模型在多個領(lǐng)域開辟了新途徑，尤其是在機器人操縱任務(wù)方面，這也是本文的研究重點。

通用機器人的智能主要分為兩個層次：第一，通過多模態(tài)輸入對任務(wù)進行高層次的抽象規(guī)劃；第二，通過與現(xiàn)實環(huán)境交互實現(xiàn)計劃的具體執(zhí)行。設(shè)計良好的世界模型能夠有效地實現(xiàn)第一個功能，即實現(xiàn)基于模型的規(guī)劃。這種模型需要具備交互性，能夠根據(jù)給定的動作來模擬環(huán)境狀態(tài)。框架的核心在于找到一種通用且可擴展的動作表示，連接高層規(guī)劃和低層執(zhí)行。這種動作表示需滿足兩個要求：一是能表達場景中不同物體、機器人及任務(wù)的多種運動；二是容易獲得大量的訓練數(shù)據(jù)以支持擴展。現(xiàn)有方法或是依賴語言描述作為高層動作，或是直接采用底層的機器人動作與世界模型互動，但這些方法存在一些限制，比如需要額外的數(shù)據(jù)或標注過程，或者無法描述精細復雜的動作細節(jié)，例如靈巧手的精細動作。這些限制激勵我們探索其他更有效的動作表示。同時，現(xiàn)有的世界模型缺乏合適的價值函數(shù)作為結(jié)果的評價標準，對未來的規(guī)劃常常限制在貪心搜索層面，難以實現(xiàn)真正的任務(wù)空間的搜索能力。

圖像流是一種描述圖像中像素隨時間變化的動態(tài)表示，能夠通用且簡潔地表示不同機器人和物體的運動，比語言更加精細和準確。此外，圖像流可以直接通過已有的視頻追蹤工具從視頻數(shù)據(jù)中獲取。同時，已有研究表明，圖像流對于訓練低層次的操控策略也具有很高的有效性。因此，圖像流非常適合作為世界模型的動作表示。然而，目前如何使用圖像流來規(guī)劃機器人操控任務(wù)仍有待探索。

在本文中，我們提出了以圖像流為中心的通用機器人操控規(guī)劃方法（FLIP）。具體而言，我們從帶有語言標注的視頻數(shù)據(jù)中訓練出以圖像流為核心的世界模型。該世界模型包括三個模塊：一是負責動作生成的圖像流生成網(wǎng)絡(luò)；二是根據(jù)圖像流生成視頻的動力學模型；三是進行視覺語言評估的價值模型。我們設(shè)計了一種新的訓練方式，用于整合這三個模塊，以實現(xiàn)基于模型的規(guī)劃：給定初始圖像和任務(wù)目標，動作模塊生成多個圖像流方案，動力學模型預測短期視頻結(jié)果，價值模塊評估視頻生成結(jié)果的優(yōu)劣，通過樹搜索方法合成長期規(guī)劃。

實驗結(jié)果表明，F(xiàn)LIP 方法不僅可以成功解決模擬和真實環(huán)境下的多種機器人操控任務(wù)，如布料折疊、展開等，還能生成高質(zhì)量的長期視頻結(jié)果。同時，這些圖像流和視頻規(guī)劃也能用于指導低層次策略的訓練。此外，我們還證明了 FLIP 的三個模塊均優(yōu)于現(xiàn)有相關(guān)方法。進一步的實驗也顯示，F(xiàn)LIP 能有效模擬各種復雜的機器人操控任務(wù)，展現(xiàn)了其良好的交互性、零樣本遷移和可擴展能力。本文的主要貢獻如下：

• 提出了以圖像流為中心的通用機器人操控規(guī)劃方法（FLIP），實現(xiàn)了交互式的世界模型。
• 設(shè)計了圖像流生成網(wǎng)絡(luò)、流條件視頻生成網(wǎng)絡(luò)，以及一種新的視覺語言表示模型訓練方法作為 FLIP 的核心模塊。
• 通過實驗驗證了 FLIP 方法在多種任務(wù)上的通用性與優(yōu)越性，展現(xiàn)了出色的長期規(guī)劃能力、視頻生成質(zhì)量和策略指導能力。

圖 1 FLIP 框架介紹

二、FLIP 的三個模塊

我們把機器人操作任務(wù)建模為 MDP，我們旨在通過學習一個世界模型和一個低層策略來解決這一問題。世界模型在圖像和圖像流空間上進行基于模型的規(guī)劃，以最大化回報，合成長時程的規(guī)劃方案；而低層策略則負責在真實環(huán)境中執(zhí)行這些規(guī)劃。我們計劃僅使用帶有語言標注的視頻數(shù)據(jù)集來訓練世界模型，使其具備通用性和可擴展性，而低層策略則利用少量帶有動作標注的數(shù)據(jù)集進行訓練。為了實現(xiàn)基于模型的規(guī)劃，我們的世界模型包含以下三個關(guān)鍵模塊，具體將在接下來的章節(jié)中介紹。

2.1 圖像流生成作為通用的動作模塊

FLIP 的動作模塊是一個圖像流生成網(wǎng)絡(luò)，其作用是生成圖像流（即查詢點在未來時刻的軌跡）作為規(guī)劃的動作。我們之所以使用生成模型而非預測模型，是因為在基于模型的規(guī)劃過程中，動作模塊需要提供多種不同的動作候選，以用于基于采樣的規(guī)劃方法。具體來說，給定時刻 t 之前 h 步的圖像觀測歷史、語言目標，以及一組二維查詢點坐標，圖像流生成網(wǎng)絡(luò)會生成未來 L 個時間步內(nèi)（含當前時間步）的查詢點坐標。

一個關(guān)鍵的問題是訓練數(shù)據(jù)標注。查詢點的圖像流可以直接使用現(xiàn)有的視頻點跟蹤模型（例如 CoTracker）從純視頻數(shù)據(jù)中提取。然而，如何選取查詢點成為問題。以往的方法或是使用自動分割模型在感興趣區(qū)域選取查詢點，或是按照預定義的比例在運動和靜止區(qū)域選取查詢點。這些方法存在兩個問題：一是現(xiàn)代分割模型（例如 SAM）很難在復雜場景下準確無誤地分割出目標區(qū)域；二是在長時間的視頻中，可能出現(xiàn)物體的進入或離開，僅使用初始幀的查詢點會產(chǎn)生問題。因此，我們在每個時間步對整幅圖像均勻采樣密集的網(wǎng)格查詢點，以解決第一個問題；同時，僅對短時程的視頻片段進行跟蹤，即從長視頻的每一幀開始進行短時程跟蹤，以緩解第二個問題。這樣，即便有物體進出，其影響也被限制在短時程內(nèi)。具體來說，對數(shù)據(jù)集中每一幀，我們均勻采樣一個候選點網(wǎng)格，并利用現(xiàn)有的 Co-Tracker 工具生成未來 L 步的視頻片段中的圖像流。

如圖 2 所示，我們設(shè)計了一個以 Transformer 架構(gòu)為基礎(chǔ)的條件變分自編碼器（VAE）進行圖像流生成。與之前預測絕對坐標的方法不同，我們發(fā)現(xiàn)預測相對位移的表現(xiàn)更好，即預測每個查詢點的坐標變化量。在 VAE 編碼器端，我們對真實圖像流進行編碼，將觀測歷史轉(zhuǎn)換成圖像區(qū)塊（patches），并利用語言模型 Llama 進行語言嵌入編碼成 token，將它們與一個用于信息匯聚的 CLS token 拼接后送入 Transformer 編碼器，將 CLS 位置的輸出提取為 VAE 的隱變量。在 VAE 解碼器端，我們首先將當前時刻 t 的查詢點編碼成查詢 token，將它們與圖像和語言 token 以及重參數(shù)化采樣出的隱變量 z 拼接后送入另一個 Transformer 編碼器，提取查詢 token 位置的輸出，通過兩個 MLP 網(wǎng)絡(luò)預測未來 L 步的位移幅度和位移方向，從而逐步重構(gòu)完整的未來圖像流。同時，我們還對圖像 token 位置的輸出進行圖像重建任務(wù)的輔助訓練，這被證明對提高模型訓練的準確性有幫助。

圖 2 動作模塊和動力學模塊

2.2 基于圖像流的視頻生成模型作為動力學模塊

我們的第二個模塊是一個動力學模塊，是以圖像流為條件的視頻生成網(wǎng)絡(luò)，根據(jù)當前的圖像觀測歷史、語言目標和預測的圖像流生成后續(xù) L 幀視頻，以實現(xiàn)下一步的迭代規(guī)劃。

我們設(shè)計了一種新的基于潛在空間的視頻擴散模型，能夠有效地接受多種條件輸入，如圖像、圖像流和語言。該模型基于 DiT 架構(gòu)構(gòu)建，并結(jié)合了空間 - 時間注意力機制。在此我們著重介紹多模態(tài)條件處理機制的設(shè)計。在原始的 DiT 及之前基于軌跡條件的視頻擴散模型中，通常使用自適應層歸一化（AdaLN-Zero）處理條件輸入（例如擴散步驟和類別標簽），其通過零初始化的 MLP 網(wǎng)絡(luò)回歸出層歸一化的縮放和平移參數(shù)。然而，這種機制會將所有條件信息壓縮為標量，無法實現(xiàn)條件與輸入之間更精細的交互，因此不適用于圖像與圖像流等復雜條件。為了解決這一問題，我們提出了一種混合條件處理機制，用于多模態(tài)條件生成。

具體而言，我們使用交叉注意力機制，使圖像流條件（表示為目標點的 tokens）與觀測條件及帶噪幀之間進行細粒度的交互。對于歷史圖像觀測條件，我們將其直接拼接到高斯噪聲幀上。此外，我們?nèi)匀皇褂?AdaLN-Zero 機制處理全局條件，包括擴散步驟和語言指令，以整體指導擴散過程。為了保證觀測條件的清晰性，在擴散過程中我們既不向觀測歷史添加噪聲，也不對其進行去噪處理。

2.3 視覺 - 語言表征學習作為價值函數(shù)模塊

FLIP 的價值模塊基于語言目標對當前圖像進行評估，從而生成一個價值函數(shù)估計 V?t，用于在圖像空間進行基于模型的規(guī)劃：V?t = V (ot, g)。在本研究中，我們采用了 LIV 模型作為價值函數(shù)。LIV 首先從帶語言標注的無動作視頻中學習語言 - 視覺的共享表示，隨后基于當前圖像與目標語言的相似度計算價值。具體而言，LIV 計算圖像與語言表示的加權(quán)余弦相似度，作為價值的衡量標準。預訓練的 LIV 模型在應用于新任務(wù)時需要進行微調(diào)以獲得良好的價值表示。原始的微調(diào)損失包括圖像損失和語言圖像損失，前者通過時間對比學習增加起始幀與結(jié)束幀的相似性，同時將相鄰幀的嵌入距離維持為（經(jīng)過折扣的）固定值；后者則鼓勵目標圖像與目標語言的相似性提升。

然而，我們發(fā)現(xiàn)該原始的微調(diào)方法對于長時程且不完美的視頻數(shù)據(jù)表現(xiàn)不佳，微調(diào)后的價值曲線呈現(xiàn)明顯的劇烈波動，這對基于采樣的規(guī)劃算法十分不利，因為多數(shù)規(guī)劃算法期望平滑的價值曲線。例如在規(guī)劃過程中，機械臂可能出現(xiàn)暫停或猶豫等情況，導致任務(wù)表現(xiàn)不穩(wěn)定。為了緩解這一問題，我們將原有損失函數(shù)中 "相鄰幀" 的概念替換為 "相鄰狀態(tài)"，將狀態(tài)定義為短時程的視頻片段。具體地，我們將長視頻劃分為多個固定長度的小片段，每個片段被視作視頻的最小單元。通過此調(diào)整，能有效平滑價值曲線，顯著改善規(guī)劃過程中價值評估的平滑性，如圖 3 所示。

圖 3 價值函數(shù)模塊

三、基于流的世界模型規(guī)劃算法

3.1 基于模型的圖像流、視頻與價值函數(shù)規(guī)劃

直接以自回歸方式生成長時程視頻通常不夠準確。因此，我們采用基于模型的規(guī)劃方法，使用圖像流動作模塊和視頻生成模塊，通過最大化累積折扣回報來規(guī)劃未來視頻幀，公式表示為：

根據(jù)貝爾曼方程，這等效于每一步選擇使即時獎勵與未來狀態(tài)價值之和最大的下一狀態(tài)。我們設(shè)計的獎勵機制也鼓勵找到最短的規(guī)劃路徑。我們使用爬山法（Hill Climbing）解決該問題，具體操作是首先初始化 B 個規(guī)劃束（beam）。在每個時刻 t，根據(jù)當前的圖像觀測歷史和語言目標，動作模塊生成多個圖像流動作候選方案；然后動力學模塊基于這些圖像流生成若干個短期未來視頻片段。接著，通過價值模塊評估生成的視頻，選擇 A 個視頻中具有最高獎勵的視頻，以進行下一輪迭代。為了防止規(guī)劃過程過于依賴某些異常狀態(tài)，我們周期性地將具有最低價值的規(guī)劃束替換為最高價值的規(guī)劃束。該算法總結(jié)在圖 4 中。

3.2 下層策略的實現(xiàn)

FLIP 的低層策略負責具體執(zhí)行規(guī)劃好的動作。在給定當前圖像歷史、語言目標、圖像流動作，以及視頻生成模塊生成的短時程視頻后，該策略預測具體的低層機器人動作，從而引導機器人在真實環(huán)境中進行操作。我們訓練了多個策略，每個策略輸入不同類型的條件信息，所有策略都僅需使用少量的示范數(shù)據(jù)進行訓練。

圖 4 基于世界模型的規(guī)劃算法流程

四、實驗結(jié)果

4.1 基于模型的機器人操控任務(wù)規(guī)劃結(jié)果

在本節(jié)中，我們首先展示 FLIP 能夠：1）實現(xiàn)不同機器人操控任務(wù)的基于模型的規(guī)劃；2）合成長時程視頻（≥ 200 幀）；3）指導低層策略在模擬和真實環(huán)境中執(zhí)行任務(wù)。我們也分別評估動作模塊、動態(tài)模塊和價值模塊，并展示 FLIP 的交互性、零樣本轉(zhuǎn)移能力和擴展性。

實驗設(shè)置。在本節(jié)中，我們使用四個基準測試 FLIP 的規(guī)劃能力。模型以初始圖像和語言指令為輸入，搜索圖像流和視頻空間合成任務(wù)規(guī)劃方案。第一個基準是 LIBERO-LONG，一個包含 10 個長時程桌面操控任務(wù)的仿真基準，我們使用分辨率為 128×128×3 的 50×10 個視頻進行訓練，并在新的 50×10 個隨機初始化上測試。第二個基準是 FMB，包含物體操作和裝配任務(wù)，我們使用 1,000 個單物體多階段視頻和 100 個多物體多階段視頻（分辨率 128×128×3）訓練，在 50 個新初始化上測試。第三和第四個基準是布料折疊和展開任務(wù)，我們使用各 40 個不同視角的視頻進行訓練，在 10 個新視角上測試（分辨率 96×128×3）。評估方式為人工檢查生成視頻是否成功解決任務(wù)，我們與兩個基準方法進行比較：1）UniPi，一種基于文本的視頻生成方法；2）FLIP-NV，即移除價值模塊的 FLIP 版本。

結(jié)果。實驗結(jié)果如圖 5 所示，顯示 UniPi 的成功率較低，表明直接生成長視頻有較大難度。FLIP-NV 表現(xiàn)優(yōu)于 UniPi，說明圖像流能有效指導視頻生成。FLIP 的表現(xiàn)超過了所有基準，體現(xiàn)了價值模塊對基于模型規(guī)劃的重要性。

4.2 長時程視頻生成評估

實驗設(shè)置。本節(jié)我們定量評估 FLIP 生成長時程視頻的質(zhì)量，與其它視頻生成模型進行對比。我們選擇 LIBERO-LONG、FMB、布料折疊 / 展開，以及 Bridge-V2 基準進行評估，視頻長度普遍超過 200 幀（Bridge-V2 除外）。我們選擇的基準方法包括 LVDM（一種先進的文本到視頻方法）和 IRASim（一種以機械臂末端軌跡為條件的視頻生成方法）。評估指標包括潛在空間的 L2 距離、像素空間的 PSNR 和 FVD 視頻質(zhì)量評估指標。

圖 5 定量實驗結(jié)果

結(jié)果如圖 5 所示。FLIP 在所有數(shù)據(jù)集上表現(xiàn)均優(yōu)于基準方法。LVDM 在較短的 Bridge-V2 上表現(xiàn)尚可，但在長視頻基準（如 LIBERO-LONG 和 FMB）表現(xiàn)不佳。IRASim 表現(xiàn)優(yōu)于 LVDM，說明軌跡引導的重要性，但由于其自回歸生成方式，仍不及 FLIP 通過模型規(guī)劃和短視頻片段拼接的方式生成高質(zhì)量視頻。FMB 的表現(xiàn)普遍較差，原因在于訓練視頻包含大量瞬時跳躍行為，而 FLIP 依靠歷史觀測的方式在一定程度上克服了這一問題。我們還定性展示了 FLIP 在 ALOHA 任務(wù)、轉(zhuǎn)筆、機器人取藥、系塑料袋、人類剝雞蛋等復雜長視頻任務(wù)上的應用，如圖 6 所示。

圖 6 基于世界模型的任務(wù)規(guī)劃結(jié)果

4.3 上層規(guī)劃引導的下層策略實驗

實驗設(shè)置。本節(jié)我們探討生成的圖像流和視頻規(guī)劃如何作為條件，用于訓練操控策略完成任務(wù)。主要問題是確定圖像流或視頻（或二者結(jié)合）哪個更適合指導策略學習。我們使用 LIBERO-LONG 基準進行評估，每個任務(wù)使用 10 個帶動作標注和 50 個無動作標注的視頻示范進行訓練。推理階段，F(xiàn)LIP 作為閉環(huán)策略，每執(zhí)行一段動作后重新規(guī)劃。我們與 ATM 及其擴散策略版本，以及 OpenVLA（零樣本和微調(diào)版）進行比較。

結(jié)果分析如圖 7 所示。我們可以發(fā)現(xiàn)，相比擴散策略和 ATM-DP，我們提出的計劃引導策略表現(xiàn)出更高的成功率，這表明密集的圖像流信息和高質(zhì)量的未來視頻作為條件要優(yōu)于稀疏的圖像流信息。其中，圖像流與視頻共同引導的策略（Ours-FV）表現(xiàn)最佳，說明結(jié)合圖像流和視頻作為條件信息有助于提升策略成功率。此外，僅用視頻引導的策略（Ours-V）雖然表現(xiàn)尚可，但在機器人偏離訓練軌跡時生成的視頻質(zhì)量會降低，導致較大的表現(xiàn)波動；而加入圖像流作為額外條件后，成功率的方差明顯減小，體現(xiàn)了圖像流預測的穩(wěn)定性。

圖 7 基于圖像流的下層模型的成功率，和 FLIP 的價值函數(shù)模塊效果

4.4 FLIP 基礎(chǔ)特性的實驗驗證

為展示 FLIP 的幾個關(guān)鍵特性，我們在 LIBERO-LONG 等基準數(shù)據(jù)集上進行了額外的實驗驗證。實驗結(jié)果展示在圖 8 中。

交互式世界模型能力。我們驗證了訓練好的動力學模塊的交互性，即能夠根據(jù)人為指定的圖像流生成相應的視頻。實驗表明，該模塊能夠準確響應用戶指定的圖像流，生成對應的視頻。

零樣本遷移能力。我們展示了預訓練的 FLIP 模型無需額外微調(diào)，即可有效處理未見過的任務(wù)數(shù)據(jù)，成功生成自然的機器人動作，表明 FLIP 具備一定的知識遷移能力。

可擴展性。通過在大規(guī)模視頻數(shù)據(jù)集上訓練，F(xiàn)LIP 顯示出較好的擴展能力。即使面對大量復雜任務(wù)和視頻數(shù)據(jù)，模型依然能穩(wěn)定地實現(xiàn)有效的規(guī)劃和視頻生成。

圖 8 FLIP 的三個特性

五、結(jié)語

在本研究中，我們提出了 FLIP，一種以圖像流為核心的通用機器人操控任務(wù)生成規(guī)劃方法。FLIP 通過圖像流和視頻生成實現(xiàn)對多種操控任務(wù)的通用規(guī)劃。盡管 FLIP 表現(xiàn)出色，但仍存在一些局限性：首先是規(guī)劃速度較慢，主要由于規(guī)劃階段需要進行大量的視頻生成過程，限制了該方法在準靜態(tài)操控任務(wù)中的應用。其次，F(xiàn)LIP 未使用場景的物理屬性和三維信息。未來的研究可以考慮開發(fā)結(jié)合物理性質(zhì)與三維場景信息的世界模型，以進一步擴展 FLIP 的適用范圍。