隨著輔助駕駛普及的不斷深入,公眾越來越關注駕駛系統的安全性,期待輔助駕駛帶來更安全也更流暢的智慧出行體驗。只是許多輔助駕駛方案在遇到新場景時難以妥善處理,事故時有發生,暴露出當前技術方案的諸多瓶頸。
想要提高安全性,端到端模型需要海量高質量數據訓練,然而,即使是百萬量產車回流的數據量,極端場景有效信息提取率不足1%。
不僅如此,因為端到端的范式是模仿學習,遇到沒有見過的新場景,它的駕駛決策存在很大的不確定性,安全邊界模糊,給駕駛安全帶來風險,更難以超越人類的駕駛能力。
因此,商湯絕影發布了生成式智駕R-UniAD技術方案,將強化學習引入到智能駕駛,讓端到端智駕與世界交互的不斷深入,通過生成的方式真實還原并深度理解駕駛環境,從而主動預測并處理復雜狀況,驗證輔助駕駛的安全邊界,讓駕駛安全更有確定性、更加值得信賴,并且超越人類的駕駛極限,為智能駕駛行業樹立了新路標。
商湯絕影構建VLAR架構,突破端到端數據、安全、性能三大瓶頸
人工智能技術的發展和進步推動著智能駕駛的演進。一開始的智駕都是規則式的,主要通過物理模型和邏輯預定義等方式來實現輔助駕駛的基礎功能執行,但面對復雜場景略顯乏力。隨著神經網絡的引入和AI大模型的出現,商湯絕影2022年發布了行業首個感知決策一體化的智駕通用模型UniAD,并榮獲CVPR 2023最佳論文,引領了智能駕駛行業的創新潮流,智駕進入到端到端時代,模型學會類人交互,性能表現大幅提升。
隨著端到端路線探索和實踐的持續深入,它開始觸及瓶頸。首先,端到端是通過海量的高質量人類駕駛數據學習和訓練,比如特斯拉就以超700萬輛量產車形成的數據回流來訓練端到端模型,但人類的日常駕駛中,極難遇到像車禍等極端場景,這導致了僅有不超過1%的數據可用于最終訓練,高價值數據的稀缺性成為制約端到端訓練的一大瓶頸。
另一方面,由于端到端的本質是對人類駕駛行為的最佳模仿,遇到沒有見過的新場景,端到端方案的駕駛決策存在很大的不確定性,為駕駛安全帶來風險,同時,基于模仿學習的技術范式可以做到接近人類但難以突破人類能力上限。因此,性能和安全性也成為了端到端發展的兩大瓶頸。
今年年初,DeepSeek-R1基于純強化學習的關鍵創新引發了廣泛的關注,基于強化學習的大模型技術路線可以遷移到端到端輔助駕駛算法的訓練與研發之中。2025年2月,商湯絕影發布了行業首個與世界模型協同交互的端到端技術方案R-UniAD,通過世界模型生成在線交互的仿真環境,以此進行端到端模型的強化學習訓練,行業開始邁向生成式智駕。
本屆上海車展上,商湯絕影全面展示了R-UniAD技術方案,基于世界模型和強化學習兩大核心技術,構建集“視覺-語言-行動-強化學習”于一體的VLAR技術架構,實現生成式智駕的核心突破。
基于世界模型和強化學習,絕影構建集“視覺-語言-行動-強化學習”于一體的VLAR技術架構
商湯絕影的R-UniAD是「多階段強化學習」端到端技術方案,具體分為三個階段,首先是依靠冷啟動數據通過模仿學習進行云端的端到端輔助駕駛大模型訓練;然后基于強化學習,讓云端的端到端大模型與世界模型協同交互,持續提升端到端模型的性能;最后云端大模型通過高效蒸餾的方式,實現高性能端到端輔助駕駛小模型的車端部署。
這三個階段的核心在于第二階段的“強化學習與世界模型”,也就是VLAR技術架構。在VLAR技術架構的支持下,R-UniAD能夠重構萬千世界,讓實采Corner Case數據需求降低2個量級;同時依托云端超100萬案例和1024場景類型,構建更加精確、全面的虛擬測試場景,充分探索安全邊界,賦予了輔助駕駛有確定性的安全感,最終通過不斷地強化學習訓練出來的模型,相較于人類駕駛員的碰撞率降低1個量級,實現遠超人類的駕駛能力。
R-UniAD如何讓安全更有確定性:挖掘復雜場景、4D仿真復現、強化學習、泛化驗證
因為各類施工防護設施搭配不同的空間布局,組合繁雜多變,所以施工占道場景是輔助駕駛領域的棘手難題,也是交通事故頻發的重要場景。上海車展發布會上,商湯絕影現場演示了針對“施工占道剎停”場景,R-UniAD如何依托“VLAR”增強模型能力。
首先,以“施工占道剎停”路測視頻作為輸入,即自車因為沒有識別錐桶封路,在施工區域進行急剎。
接下來是R-UniAD對這個場景基于“絕影開悟”世界模型進行4D仿真復現。第一步是把案例視頻進行解耦,分為3D的動態前景與靜態背景;第二步,使用物理引擎、3DGS等重建和渲染技術對場景進行復現;第三步,用“絕影開悟”世界模型對場景細節進行修復,讓場景變得更加逼真。
完成這三步的流程,傳統方案需要數天時間,R-UniAD僅需幾個小時就能完成,而且場景更為精細可控,一致性達到了95%,相比單一的3DGS技術提高了1.5倍。
然后就是進行針對性強化學習的訓練。在閉環仿真工具鏈中設置對“施工占道剎停”案例自車軌跡的Reward計算維度和分值,包括最大最小加速度、是否到達終點、是否違反交通規則、是否碰撞等維度,并根據規則進行組合計算。端到端模型就在仿真環境中自行駕駛,系統根據自車軌跡給予相應Reward分值反饋。
在初期訓練中,自車因為沖入對向車道或者同向車道被扣分,如果能夠及時剎停變道,就會得到高分。端到端模型不斷生成該場景下各種可能駕駛策略,并與世界模型生成的環境交互,通過數千次強化學習訓練,經過不斷評分反饋,端到端模型會找到最優路徑,能預判施工占道,絲滑變道繞行。
最后,經過泛化訓練后,再遇到類似前方障礙物場景,端到端模型也能及時變道,并顯著提升對此類施工場景的泛化交互能力。
生成式智駕R-UniAD讓安全更有確定性
強化“施工占道場景”的應對能力只是生成式智駕R-UniAD能力顯化的冰山一角。在VLAR技術架構的助力下,商湯絕影能夠針對更多復雜長尾場景、極端工況,進行4D仿真復現、強化學習、泛化驗證,讓端到端模型比人類“看更多”、“學更快”、“開更好”,讓輔助駕駛的安全更有確定性,超越人類駕駛極限。
“絕影開悟”世界模型2.0,生成式智駕R-UniAD的核心基石
世界模型是生成式智駕的基石所在。2024年,在2024年11月“絕影實力AI DAY”上,商湯絕影發布了行業標桿級別的“絕影開悟”世界模型,并已經應用于真值數據的生產。
去年“絕影開悟”世界模型主要聚焦2D視頻生成技術的打磨,今年上海車展,“絕影開悟”升級為2.0版本,進化為近實時在線交互的4D世界模型,能夠實現“4D空間自由交互”,推動智能體邁向通用空間智能,成為商湯絕影決勝智駕戰場的重磅武器。
絕影開悟世界模型2.0
“絕影開悟2.0”具備三大能力,首先是“面向量產的數據生成”,它具有多樣性場景的可控生成的能力,為模型訓練提供了海量且豐富的訓練數據。而且,它還能一鍵生成極端高風險場景。
例如,Cut-in 場景是行車時極為常見但非常重要的場景,“絕影開悟2.0”能夠從100多個維度組合生成萬千Cut-in場景,包括白天、黃昏、凌晨、夜晚等不同光照類型;晴天、陰天、雨天等不同天氣;從高速到城市道路等不同道路等級;不同的車型,不同的Cut-in距離和車輛速度等等。
此外,極端風險場景(如車禍、道路塌陷等)難以采集,成本也非常高昂。“絕影開悟2.0”只需輸入一段提示詞,就可以生成極端風險場景,讓端到端模型可以在安全的虛擬環境中,讓系統反復學習和應對這些危險場景,從而在實際駕駛中更好地預判和規避風險。
細致的分類,可控的生成,有助于模型更好應對特定場景,對提升輔助駕駛的安全性和可靠性有著重要意義。
其次,“絕影開悟2.0”能夠實現“復雜場景自由復現”,根據不同需求,任意修改和調整場景中的各種要素,既可以替換特定車輛、插入新的車輛,或者刪除不需要的車輛,也能改變道路的布局、車輛的速度,創造稀缺復雜場景,從而豐富訓練場景的多樣性。
最后,“絕影開悟2.0”具備近實時交互能力,比行業 SOTA 提升 5 倍之多,讓仿真訓練過程更加高效和逼真,車輛的決策和反饋能夠幾乎在瞬間得到響應;同時感知結果接近真實精標數據98%,能避免因數據風格差異帶來的 Sim-to-Real 遷移時能力退化問題,為端到端模型打造了“云端虛擬訓練場”。
厚積薄發,商湯絕影全力推進輔助駕駛量產交付
商湯絕影的生成式AI技術和產品持續創新,商業化落地也全面開花,量產交付正在加速推進。
在“絕影2025上海車展發布會”上,東風汽車集團研發總院智能化技術首席總工程師張振林透露,他們和絕影團隊正在攜手推動UniAD一段式端到端方案的量產落地,“除了端到端的合作,未來東風汽車也將持續加大在智能化領域的研發投入,與絕影在開悟世界模型、DriveAGI等方面展開深度合作。”
在輔助駕駛領域,商湯絕影的量產方案目前已合作4家車企,上車7款車型,2025年更將厚積薄發,全力推進輔助駕駛方案的量產交付。今年3月底,絕影和廣汽聯合打造的行業首批基于地平線征程?6M的輔助駕駛方案正式量產上市。2025年,絕影還有更多基于地平線征程?6打造的輔助駕駛方案量產落地奇瑞等眾多車企伙伴,在英偉達DIRVE AGX Thor平臺部署的絕影UniAD一段式端到端量產方案也將于2025年第四季度量產交付東風汽車。
商湯絕影輔助駕駛的量產成果,并將于2025年全力推進輔助駕駛方案的量產交付
不止如此,絕影基于地平線征程?6打造的量產方案得到中汽研的認證,是首個獲得中汽研《CATARC 標志認證實施規則–“征程之星”領航輔助駕駛認證》的輔助駕駛產品。
此外,本次上海車展期間,無論是基于地平線征程?6打造的高速輔助駕駛、城區輔助駕駛,還是一段式端到端量產方案的城區泛化,商湯絕影都在展館外開放了實車體驗。
生成式智駕R-UniAD讓商湯絕影的輔助駕駛模型通過與世界模型生成的無限場景進行不斷地強化學習與交互,在每一次的行駛中成長、進步。豐富的量產經驗,讓絕影具備強大的工程化能力。兩者相互融合,助力絕影打造真正安全、可靠的輔助駕駛方案,和車企伙伴一起,為用戶創造更加安全可信賴的出行體驗。
注:本文所提及的“智駕”、“智能駕駛”等,指L2級輔助駕駛。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.