當地時間 2025 年 3 月 18日,曾在 2024 年 GTC 亮相的可愛 BDX 機器人再次登臺和NVIDIA 創始人兼 CEO 黃仁勛互動,其動和行動似乎更加自然、靈活了,賺足了眼球。
會上,NVIDIA 還宣布推出一系列人形機器人全新技術。其中包括全球首個開源且完全可定制的基礎模型 NVIDIA Isaac GR00T N1,該模型能夠幫助通用人形機器人實現推理以及多項技能。
其他技術包括仿真框架和藍圖。比如用于生成合成數據的 NVIDIA Isaac GR00T Blueprint,再比如由NVIDIA和 Google DeepMind 及 Disney Research 共同開發的、專為機器人開發而構建的開源物理引擎 Newton。
黃仁勛表示,通用機器人的時代已經到來。借助 NVIDIA Isaac GR00T N1 以及新的數據生成框架和機器人學習框架,全球機器人開發者將能更好地投入研發。
GR00T N1:完全可定制,為人形機器人賦予通用技能與推理技能
受人類認知原理的啟發,GR00T N1 基礎模型采用雙系統架構。其中,系統 1”是一個快速思考的動作模型,反映人類的本能反應或直覺。系統 2”是慢思考模型,用于進行經過深度思考的決策制定。
系統 2 由視覺語言模型提供支持,它會對所處環境和接收到的指令進行推理,從而規劃行動。系統 1 隨后將這些規劃轉化為精確、連續的機器人運動。其中,系統 1 基于人類演示數據和 NVIDIA Omniverse平臺生成的海量合成數據進行訓練。
GR00T N1 可以輕松適應并完成通用任務,比如單手抓取或雙手抓取、移動物體、將物體從一只手臂轉移到另一只手臂、執行需要長語境和通用技能組合的多步驟任務等。這些功能進而可被用于物品搬運、包裝和檢查等場景中。
與此同時,通過使用真實數據或合成數據,開發者和研究人員可以針對特定人形機器人或任務對 GR00T N1進行后訓練。
在 GTC 主題演講中,黃仁勛展示了 1X 的人形機器人自主執行室內清理任務的過程,該款機器人的自主能力是 1X 與 NVIDIA AI 訓練協作的成果。據介紹,上述過程利用了基于 GR00T N1 的后訓練策略。
1X Technologies 首席執行官 Bernt B?rnich 表示,人形機器人的未來開發重點在于適應能力和學習能力”。 NVIDIA 的 GR00T N1 模型在機器人推理和技能方面實現了重大突破。僅需最少量的后訓練數據,就能在 NEO Gamma 上全面部署,這進一步推進了1X Technologies 的業務使命。讓其所研發的機器人不是工具而是伙伴?!?/p>
目前,全球其他優先使用 GR00T N1 的機器人公司包括 Agility Robotics、波士頓動力、Mentee Robotics 和 NEURA Robotics。
NVIDIA 還宣布,為了進一步為開發者社區提供有價值的訓練數據,NVIDIA 將發布 GR00T N1 數據集,以此作為更大的開源物理 AI 數據集的一部分。目前,已能通過 Hugging Face 下載。
會上,NVIDIA 還宣布推出了 NVIDIA DGX Spark,這是一款個人 AI 超級計算機,其能為開發者提供一站式系統,可將 GR00T N1 的功能擴展到新機器人、任務和環境,而無需進行大量自定義編程。
NVIDIA GR00T N1 訓練數據和任務評估場景目前已經可以通過 Hugging Face 和 GitHub 下載。用于合成運動生成的 NVIDIA Isaac GR00T Blueprint 現在也以交互式演示形式在build.nvidia.com 展示,也可以通過 GitHub 下載。
未來,NVIDIA 將對這一系列模型進行預訓練,并面向全球機器人開發者發布。對于那些受全球勞動力短缺困擾的行業而言,勞動力缺口預計超過 5 000 萬,而這一模型的推出將有助于加速這些行業的轉型。
Newton:新一代開源物理引擎
會上NVIDIA 還宣布與 Google DeepMind 和 Disney Research 合作,共同開發開源物理引擎 Newton,其能讓機器人學會以更高的精度處理復雜任務。
Newton 基于 NVIDIA Warp 框架構建,將針對機器人學習進行優化,并與 Google DeepMind MuJoCo 和 NVIDIA Isaac? Lab 等仿真框架兼容。此外,這三家公司還將嘗試讓 Newton 能夠利用迪士尼的物理引擎。
眼下,Google DeepMind 正在和 NVIDIA 合作開發 MuJoCo-Warp,預計將機器人機器學習工作負載處理速度提升至 70 倍以上,并將通過 Google DeepMind 的 MJX 開源庫和 Newton 提供給開發者。
另據悉,Disney Research 將成為首批使用 Newton 以推動其機器人角色平臺發展的公司之一。“我們致力于以前所未有的方式,為更多角色賦予生命,而與 Disney Research、NVIDIA 和 Google DeepMind 的合作是實現這一愿景的關鍵,””Walt Disney 想象工程研發部門高級副總裁 Kyle Laughlin 說。
NVIDIA 還將和 Disney Research 及 Intrinsic 進一步合作,為機器人數據流構建 OpenUSD 管線和最佳實踐。另據悉,Newton 物理引擎預計將在今年晚些時候推出。
用更多數據推動機器人后訓練發展
大型、多樣化且高質量的數據集對機器人開發至關重要,但捕獲成本高昂。在真實世界中,每人一天只有 24 小時,由此產生的人類演示數據,對于人形機器人來說是遠遠不夠的。
NVIDIA此次發布的用于合成運動生成的 NVIDIA Isaac GR00T Blueprint 有助于應對這一挑戰。該藍圖基于 Omniverse 和 NVIDIA Cosmos Transfer 世界基礎模型構建,讓開發者可以通過少量的人工演示生成大量合成運動數據,以用于操作任務。
利用為本次藍圖提供的首批組件,NVIDIA 能夠在短短 11 小時內生成 780000 個合成軌跡,相當于 6500 小時或連續九個月的人類演示數據。然后,通過將合成數據與真實數據相結合,與僅使用真實數據相比,NVIDIA 將 GR00T N1 的性能提高了 40%。
NVIDIA與 GE 醫療合作,通過引入物理 AI 推進自主診斷成像開發
與此同時,NVIDIA 宣布與 GE 醫療合作,共同推進自主成像技術創新,重點開發自主 X 射線技術與超聲應用。
為在 X 射線和超聲等系統中實現自主性,醫療成像系統需理解物理世界并自主操作,從而自動化復雜工作流,如患者定位、掃描與質量檢測等。
為了實現這一目標,GE 醫療正在采用全新的 NVIDIA Isaac? for HealthCare 醫療設備仿真平臺。該平臺包含預訓練模型及基于物理的傳感器、解剖結構與環境仿真,能夠加速研發流程,使 GE 醫療能夠在部署前通過虛擬環境訓練、測試與驗證自主成像系統能力。
“醫療行業是 AI 最重要的應用領域之一,當前醫療服務需求遠超供給?!盢VIDIA 醫療健康副總裁 Kimberly Powell 表示,“我們正與行業領先企業 GE 醫療合作,通過 Isaac for Healthcare 的三臺計算機為能夠挽救生命的醫療設備賦予自主能力,助力全球醫療服務普及。”
超聲與 X 射線是最常見且廣泛使用的診斷成像系統,然而全球近三分之二的人口卻無法獲得享受到此類檢查服務。如果能為成像系統增加機器人能力,將有助于擴大醫療服務覆蓋范圍。
NVIDIA 與 GE 醫療已合作近二十年,在CT、MRI、影像引導治療與乳腺成像等領域共同開發創新影像重建技術。
“GE 醫療致力于通過創新技術重新定義患者護理并提升護理體驗?!盙E 醫療影像業務總裁兼首席執行官 Roland Rott 表示,“我們期待借助由 NVIDIA技術 支持的物理 AI 開發自主成像系統,改善患者就診體驗,應對醫療行業日益增長的工作量與人力短缺挑戰。”
NVIDIA 推出Isaac for Healthcare:彌合仿真與現實的鴻溝
Isaac for Healthcare 是基于 NVIDIA 三大機器人計算平臺(NVIDIA DGX?,NVIDIA Omniverse? 以及 NVIDIA Holoscan)構建的物理 AI 平臺,現已開放提前試用。其包含專為醫療機器人優化的 AI 模型,可以通過增強視覺與語言處理能力實現理解、行動與觀察功能。該平臺還提供了仿真框架,讓開發者能夠精確針對醫療環境進行仿真,并能通過邊緣 AI 計算平臺 NVIDIA Holoscan 實現機器人的實時決策。
此前,醫療傳感器的仿真選項通常有限。而借助 Isaac for Healthcare,開發者可以訪問基于物理的醫療環境數字孿生,導入定制傳感器、器械甚至解剖結構,借此將機器人訓練得能夠應對多樣化場景。
Isaac for Healthcare 支持從微觀結構、手術室到完整醫院設施的多尺度仿真。通過仿真策略訓練,機器人系統可學習如何在手術室的各種醫療場景中做出反應,以及如何以最佳方式輔助醫生做出決策和為患者提供護理服務。
據了解,NVIDIA 還將通過 Isaac for Healthcare 支持客戶構建仿真環境用例。對于仿真環境使機器人系統來說,它能在物理精確的虛擬環境中安全學習技能,以便應對手術等難以復現的現實場景。
Isaac for Healthcare 通過仿真復雜醫療場景、訓練 AI 模型及優化手術、內窺鏡與心血管介入等機器人應用,能夠加速醫療機器人解決方案的開發。目前,包括Moon Surgical、Neptune Medical 與 Xcath在內的機構已經提前開始使用這一平臺。
該平臺還支持生態合作伙伴將其仿真工具、傳感器、機器人系統與醫療探針無縫集成至專用仿真環境。目前,包括 Ansys、Franka、ImFusion、Kinova 與 Kuka 在內的生態合作伙伴已經提前開始部署這一功能。
總的來說,通過持續投入AI領域和機器人領域,NVIDIA 將實現更加多元的技術布局,也將更好地以潤物細無聲的讓更多人享受到AI技術的便利。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.