版權聲明:本文版權為網易汽車所有,轉載請注明出處。
網易汽車4月24日報道 4月23日,2025上海車展上,商湯絕影展示了一系列生成式AI汽車產品,包括以VLAR技術架構為核心的生成式智駕R-UniAD技術方案,并發布近實時在線交互的4D世界模型“絕影開悟2.0”。在輔助駕駛領域,商湯絕影的量產方案已合作4家車企,上車7款車型。今年3月底,絕影和廣汽聯合打造基于地平線征程?6M的輔助駕駛方案正式量產上市,在英偉達DIRVE AGX Thor平臺部署的絕影UniAD一段式端到端量產方案,也將于2025年第四季度量產交付東風汽車。
面向智能座艙,商湯絕影行業首發專為車載AIOS打造的AI內核“絕影千機”,助力車企打造下一代AIOS,“家庭新成員”New Member全新升級,New Member擁有多模態識人、深度思考、免喚醒多人多輪對話等功能。此外,商湯絕影的健康管家、安全衛士和3D交互等AI座艙創新產品也相繼亮相。
商湯絕影CEO、商湯科技聯合創始人、首席科學家王曉剛表示:“真正的AI汽車是將生成式AI深度融入智駕和座艙,既讓輔助駕駛安全變得更有確定性,也要讓每一輛車擁有‘有趣的靈魂’。”
絕影2025上海車展發布會商湯絕影CEO、商湯科技聯合創始人、首席科學家王曉剛
展示以VLAR為核心的生成式智駕R-UniAD
算法、算力和數據三者共同推動著人工智能技術的螺旋式上升和進步,隨著強化學習等算法引入到大模型訓練的思路得到驗證,新的尺度定律正在開啟,數據價值被進一步深入挖掘,模型能力天花板被打開。與此同時,智能駕駛范式也正在加速演進。
2025年2月,商湯絕影發布行業首個與世界模型協同交互的端到端技術路線R-UniAD,通過世界模型生成在線交互的仿真環境,以此進行端到端模型的強化學習訓練,以打破數據瓶頸,提升系統性能上限。本屆上海車展上,商湯絕影全面展示了R-UniAD技術方案,基于世界模型和強化學習兩大核心技術,構建集“視覺-語言-行動-強化學習”于一體的VLAR技術架構,實現生成式智駕的核心突破。
基于世界模型和強化學習,絕影構建集“視覺-語言-行動-強化學習”于一體的VLAR技術架構
施工占道場景是輔助駕駛領域的棘手難題,也是交通事故頻發的重要場景。商湯絕影現場演示了針對“施工占道剎停”場景,R-UniAD如何依托“VLAR”增強模型能力。
首先,以“施工占道剎停”路測視頻作為輸入,R-UniAD基于“絕影開悟”世界進行模型4D仿真復現,然后端到端模型生成該場景下各種可能駕駛策略,并與世界模型生成的環境交互,反復強化學習中找到最優路徑,能預判施工占道,絲滑變道繞行。經過泛化訓練后,遇到類似場景,端到端模型也能及時變道,并顯著提升對此類施工場景的泛化交互能力。
生成式R-UniAD突破了現階段端到端范式下數據、安全和性能的三大瓶頸,將實采場景數據的需求降低兩個數量級;同時,基于強化學習算法,模型充分探索多元場景的安全邊界;最終,R-UniAD將能夠實現遠超人類的駕駛能力,打造智能駕駛的新路標。
“絕影開悟”世界模型2.0,決勝智駕戰場的武器
世界模型是生成式智駕的基石所在。2024年,在2024年11月“絕影實力AI DAY”上,商湯絕影發布了行業標桿級別的“絕影開悟”世界模型,并已經應用于真值數據的生產。
去年“絕影開悟”世界模型主要聚焦2D視頻生成技術的打磨,今年上海車展,“絕影開悟”升級為2.0版本,進化為近實時在線交互的4D世界模型,能夠實現“4D空間自由交互”,成為商湯絕影決勝智駕戰場的重磅武器。
絕影開悟世界模2.0
“絕影開悟2.0”具備三大能力,首先是“面向量產的數據生成”,它具有多樣性場景的可控生成的能力,能一鍵生成極端高風險場景,為模型訓練提供了海量且豐富的訓練數據。
其次它能夠實現“復雜場景自由復現”,可以根據不同的需求,隨心所欲地修改和調整場景中的各種要素,改變道路的布局、車輛的速度和類型,助力重構仿真測試場景。
最后,“絕影開悟2.0”具備近實時交互能力,比行業 SOTA 提升5倍之多,讓仿真訓練過程更加高效和逼真,車輛的決策和反饋能夠幾乎在瞬間得到響應;同時感知結果接近真實精標數據98%,能避免因數據風格差異帶來的 Sim-to-Real 遷移時能力退化問題,為端到端模型打造“云端虛擬訓練場”。
行業首發AI內核“絕影千機”,助力車企打造下一代AIOS
生成式AI不僅帶來了智駕新范式,同時也在深度融入智能座艙。商湯絕影重磅發布行業首個專為車載AIOS打造的AI內核“絕影千機”,助力車企打造下一代AIOS。最核心的三大技術包括MOE多模態大模型、類人記憶框架以及原生智能體框架。同時,AI 基礎系統模塊、AIOS 工具鏈和生成式 UI等外圍技術,為三大核心模塊提供支持與交互。
商湯絕影行業首發AI內核“絕影千機”
依托于“日日新SenseNova V6”基模型,商湯絕影構建了覆蓋0.1B 至70B汽車垂類模型矩陣,模型首字延遲小于300ms,吐字速度高達47 Tokens/s,性能超越DeepSeek,還能在快慢思考之間自如切換,契合每一種場景需求。
同時,具備類人情感的座艙系統,離不開記憶。商湯絕影構建了業內首個端側類人記憶框架,賦予AIOS真正的認知力與成長性,每一次交互都讓它更懂用戶。
為了便于打造智能體生態,絕影構建了業內首個支持 MCP 協議的端側原生智能體框架。它具備強大的自主規劃能力,可進行多步的精準規劃和執行。它支持 MCP 規范,能快速接入各類生態服務和工具能力,目前已集成100+ 智能體與1000+ API。這個框架還支持多智能體協調機制,能夠實現并發、串行及混合模式下的高效協同,整體性能提升超過30%。
“聰明搭子”New Member全新升級
商湯絕影去年發布了“A New Member For U”(你的家庭新成員),讓每一輛車擁有“有趣的靈魂”。今年上海車展,New Member全新升級,還能在車展現場上車進行沉浸式體驗。
首先New Member擁有了多模態識人能力,不需要用戶專門進行注冊,它在座艙多人交互的過程推測出每個人的名字,與相貌的結合,人物之間的關系。New member不僅“認識你”,還能“理解你”,在和用戶長期的互動過程當中,它不但能夠記住興趣愛好,還能記住生活的點滴,產生共情,從而更貼心地進行互動。
同時,它還具備深度思考的能力,表達會更加生動有趣。同時,當用戶提出需求時,小影不是被動響應,而是會結合記憶與場景,主動分析疲憊情緒、家庭需求甚至天氣變化進行綜合性的深度思考,然后給出最合適的方案,成為懂你、會揣摩的“聰明搭子”。
最后,New Member在業內首次實現免喚醒的多人多輪對話能力。之前行業做到的是大模型一對一的交流,如今New Member未被喚醒也能關注并理解座艙內成員間的對話,并能隨時參與到對話當中,做到“不過度打擾,但時刻陪伴”,展現“有趣靈魂”該有的模樣。
在現場的演示視頻中,車內四人正在討論去雨崩徒步需要的裝備,New Member會主動搭話,稱贊那位提示大家注意低溫要帶羽絨服的朋友;在查漏補缺攜帶物品的同時,它記得車主喜歡攝影,主動提醒攜帶單反和三腳架,可以拍攝山頂星空。
針對“雨崩徒步”的多人對輪對話,New Member結合記憶進行深度思考后的接話
另一個場景中,四個同事下班后臨時決定一起聚餐,但四個人住的地方分散在上海各區,彼此距離較遠,同時飲食偏好也有差異,New Member能夠聽懂每個人的潛臺詞,綜合回家的距離、口味訴求,就像一個“規劃大師”,給出了大家都能接受的推薦餐廳。
New Member還能提供有溫度的情感互動和陪伴。一對情侶想去南京旅游,但因為是開車還是乘坐高鐵出行產生了分歧和爭論,后來女生質問“男生是不是不愛她了”,New Member能理解語言背后的情緒,對女生進行安撫,并提供建議和幫助,給予情感支持。
AI座艙創新產品矩陣,全場景守護出行體驗
基于語言大模型、多模態大模型、文生圖大模型和“大醫”醫療大模型等組成的 AI 大模型體系,商湯絕影構建了健康管家、安全衛士、3D交互等AI座艙創新產品矩陣。
商湯絕影已量產上車行業首個醫療AI大模型產品“旅醫”。依托行業領先的醫療檢測模型和「大醫」大模型,絕影對用戶進行對標醫療級的健康監測,打造用戶專屬健康檔案,針對性推送健康科普內容,打造全出行周期的健康管家,同時,還將通過整合第三方線上醫療服務的能力,貫通車艙醫療生態圈,助力“旅醫”成長為用戶的全場景私人醫生。
商湯絕影量產上車行業首個醫療AI大模型產品“旅醫”
安全始終是智能汽車的基石。商湯絕影將展示行業領先的DMS/OMS、多模態哨兵等多項安全產品,守護全場景的生命與財產安全。本屆上海車展,絕影發布“駕駛失能”產品,通過傳感器檢測駕駛員面部、肢體姿態,結合車輛操控行為和呼氣酒精含量,實時判斷其狀態并及時提醒,一旦駕駛員失去駕駛能力,自動安全停車并撥打求救電話,保障出行安全。
得益于絕影車艙量產數據積累與人眼3D重建算法突破,商湯絕影3D視線交互算法技術達到新高度。艙內3D視線結合車外前視相機,能夠辨識人眼所關注的人、車、建筑、二維碼、花草樹木等目標,真正實現“視線所及,所見即所得”。
3D視線與輔助駕駛深度融合,帶來更安全的駕乘體驗。結合對艙外的人、車及其他障礙物的檢測,3D視線可實時識別潛在風險。如當前方有行人突然奔跑欲橫穿馬路,而駕駛員視線未關注該方向,系統便會主動預警,提醒注意行人穿越風險。同時,AEB等安全功能的觸發靈敏度可根據3D視線智能調整,若駕駛員持續注視接近的障礙物,系統會降低預警頻率,甚至無需提醒;反之,若駕駛員視線偏離,系統則保持正常靈敏度,及時響應。
打通艙內外的3D視線還能讓用車體驗更流暢。以離開停車場為例,現在用戶要拿出手機掃碼,流程長、體驗差。通過3D視線結合車外攝像頭,用戶只需注視出口處二維碼的同時說“我要繳費”,系統即可自動完成掃碼支付,實現更便捷的無感通行。
加速推進量產交付,與合作伙伴攜手共創AI新進程
商湯絕影的生成式AI技術和產品持續創新,商業化落地也全面開花,量產交付正在加速推進。
在“絕影2025上海車展發布會”上,東風汽車集團研發總院智能化技術首席總工程師張振林透露,他們和絕影團隊正在攜手推動UniAD一段式端到端方案的量產落地,“除了端到端的合作,未來東風汽車也將持續加大在智能化領域的研發投入,與絕影在開悟世界模型、DriveAGI等方面展開深度合作。”
在輔助駕駛領域,商湯絕影的量產方案目前已合作4家車企,上車7款車型,2025年更將厚積薄發,全力推進輔助駕駛方案的量產交付。今年3月底,絕影和廣汽聯合打造的行業首批基于地平線征程?6M的輔助駕駛方案正式量產上市。今年還有更多基于地平線征程?6打造的輔助駕駛方案量產落地奇瑞等眾多車企伙伴,在英偉達DIRVE AGX Thor平臺部署的絕影UniAD一段式端到端量產方案也將于2025年第四季度量產交付東風汽車。
商湯絕影輔助駕駛的量產成果,并將于2025年全力推進輔助駕駛方案的量產交付
此外,本次上海車展期間,無論是基于地平線征程?6打造的高速輔助駕駛、城區輔助駕駛,還是一段式端到端量產方案的城區泛化,商湯絕影都在展館外開放了實車體驗。
作為中國智能座艙AI軟件的領頭羊,商湯絕影的座艙 AI 軟件市場份額已連續5年位列行業第一,并打造了超過20個行業首發的智能座艙產品與功能。2025年初,商湯絕影聯手知名車企伙伴,實現行業首個原生流式多模態座艙產品量產上車。行業首個醫療AI大模型產品“旅醫”于2025年3月正式量產上車星途攬月(參數丨圖片),為用戶打造全場景的健康管家。
截至2024年底,商湯絕影已與超30家國內外車企達成合作,覆蓋130余款車型,量產交付累計突破360萬輛。
隨著生成式AI深度融入并重構智能汽車產業,作為加速智能汽車駛入AGI時代的戰略合作伙伴,商湯絕影致力于打造“共生共創共享”合作新模式,在基礎設施、大模型能力和數據閉環等領域開展深度合作的基礎上,雙方進一步挖掘生成式AI在智能駕駛和智能座艙領域的潛力,共創AI新進程。
注:本文所提及的“智駕”、“智能駕駛”等,指L2級輔助駕駛。