3月17日，上海 —— 傅利葉正式開源全尺寸人形機器人數(shù)據(jù)集Fourier ActionNet，并發(fā)布全球首個全流程工具鏈。

Fourier ActionNet數(shù)據(jù)集首批上線超3萬條高質(zhì)量真機訓(xùn)練數(shù)據(jù)，包含多種自由度靈巧手的訓(xùn)練數(shù)據(jù)及專門針對手部任務(wù)的模仿學(xué)習(xí)數(shù)據(jù)，面向全球開發(fā)者及科研機構(gòu)開源共享，提供從數(shù)據(jù)采集、訓(xùn)練、部署的一站式解決方案。

高質(zhì)量數(shù)據(jù)，涵蓋多種精細(xì)化操作任務(wù)

當(dāng)前，人形機器人數(shù)據(jù)集面臨數(shù)據(jù)稀缺性、標(biāo)注成本高且精度不足以及仿真與現(xiàn)實存在“數(shù)據(jù)鴻溝”等問題。從數(shù)據(jù)規(guī)模來看，真實場景多模態(tài)數(shù)據(jù)采集成本高導(dǎo)致規(guī)模受限，尤其是人形機器人場景數(shù)據(jù)存在明顯不足的情況，這也是目前人形機器人難以從實驗室走向規(guī)模化落地的主要問題之一。

本次傅利葉發(fā)布的Fourier ActionNet數(shù)據(jù)集囊括傅利葉GRx系列所有機型的各類任務(wù)訓(xùn)練，擁有超過30000條遙操軌跡，包含人形靈巧手操作任務(wù)，涵蓋了對常用工具、家居用品、食物等多種物體的精確取放、傾倒等操作，以及在不同環(huán)境條件下實現(xiàn)泛化執(zhí)行。

據(jù)悉，傅利葉團隊采用OAK-D W 97相機收集視覺數(shù)據(jù)，提供寬廣的視野范圍。遠(yuǎn)程操作系統(tǒng)通過Apple Vision Pro作為主要控制設(shè)備，實現(xiàn)基于VR的操作,從而保證以人形機器人的第一人稱視角進(jìn)行數(shù)據(jù)采集。在該系統(tǒng)中，機器人操作員使用來自人形機器人視角的實時視覺反饋來操縱機器人，操作員的動作（包括手部動作）會直接傳輸給人形機器人，確保所執(zhí)行的技能與真實人類執(zhí)行的技能相接近。

VR遠(yuǎn)程操作數(shù)據(jù)庫地址：

https://github.com/FFTAI/teleoperation

1.多模態(tài)+高質(zhì)量+萬級體量：數(shù)據(jù)來源包含傅利葉GRx人形機器人全機型數(shù)據(jù)，涵蓋多種自由度的自研靈巧手，且包含專門針對手部任務(wù)的模仿學(xué)習(xí)數(shù)據(jù)，擁有萬級數(shù)據(jù)體量，能夠在現(xiàn)實場景中實現(xiàn)強大的學(xué)習(xí)和適應(yīng)性。

2.VLM標(biāo)注+人工核驗：Fourier ActionNet數(shù)據(jù)集采用視覺語言模型（Qwen2.5-VL-7B）來自動為數(shù)據(jù)添加標(biāo)注。該模型從錄制的視頻中抽取26幀關(guān)鍵畫面，并針對每個視頻流生成相應(yīng)的標(biāo)注，隨后對這些標(biāo)注進(jìn)行人工審查和驗證，覆蓋全部30000個數(shù)據(jù)樣本。該數(shù)據(jù)集可用于模仿學(xué)習(xí)、視覺語言對齊（VLA）以及世界模型訓(xùn)練等多種任務(wù)。

全球首個全流程工具鏈，降低研發(fā)門檻

除了數(shù)據(jù)集的開源以外，傅利葉同步開放了全球首個包含采集算法、訓(xùn)練算法以及數(shù)據(jù)部署算法的全流程工具鏈，最大程度上與全球開發(fā)者共享研究成果。開源的訓(xùn)練框架（如DP、ACT、iDP3）和部署工具，進(jìn)一步降低了人形機器人技術(shù)研發(fā)門檻。

1.自帶數(shù)據(jù)質(zhì)量評估：為進(jìn)一步驗證數(shù)據(jù)集的質(zhì)量，確保數(shù)據(jù)精度與準(zhǔn)確性。傅利葉團隊基于擴散策略（DP）、Transformer動作分塊策略（ACT）及改進(jìn)3D擴散策略（iDP3）三種主流模型對數(shù)據(jù)集性能進(jìn)行系統(tǒng)性驗證。結(jié)果表明，GRx全系列機型均表現(xiàn)出色，可穩(wěn)定執(zhí)行開柜門、抓取檸檬、傾倒豆子等高難度任務(wù)；

任務(wù)：多種自由度靈巧手抓檸檬

任務(wù)：6自由度靈巧手開柜門

任務(wù)：6自由度靈巧手倒豆子

2.配套開發(fā)工具支持：傅利葉官方同步開源涵蓋DP、ACT、iDP3等主流訓(xùn)練框架和模型部署算法，訓(xùn)練流程與數(shù)據(jù)格式遵循LeRobotDatasetV2結(jié)構(gòu)，可以無縫部署在同一系統(tǒng)中，提供從數(shù)據(jù)管理到算法部署的全流程支持，從而最大限度地減少訓(xùn)練和實際執(zhí)行之間的差異，顯著降低研發(fā)門檻。

共建開源生態(tài)，推動技術(shù)共享

目前，傅利葉已與國內(nèi)外20多家頂尖科研院校及行業(yè)領(lǐng)軍企業(yè)開展合作，基于GRx人形機器人平臺在強化學(xué)習(xí)、模仿學(xué)習(xí)、VLM大模型、感知系統(tǒng)等研究領(lǐng)域產(chǎn)出多項突破性成果。此次數(shù)據(jù)集開源標(biāo)志著傅利葉從技術(shù)攻堅向生態(tài)共建的戰(zhàn)略升級，未來還將持續(xù)開放更多覆蓋全身運控、多任務(wù)協(xié)同的進(jìn)階數(shù)據(jù)模塊。

傅利葉始終致力于推動人形機器人開源生態(tài)建設(shè)，助力全球機器人技術(shù)共享與創(chuàng)新。傅利葉邀請所有對人形機器人研究感興趣的開發(fā)者和科研人員加入開源浪潮，共同參與數(shù)據(jù)貢獻(xiàn)與算法優(yōu)化，迎接機器人技術(shù)賦能未來的無限可能。

獲取方式：

Fourier ActionNet開源鏈接：https://action-net.org/

開源生態(tài)合作：gr_opensource@fftai.com