【4月14日,香港】汽車行業開始進入全新的大模型研發浪潮。4月14日,小鵬汽車在香港舉辦AI技術分享會,首次披露正在研發720億參數的超大規模自動駕駛大模型,即“小鵬世界基座模型”。未來,小鵬將通過云端蒸餾小模型的方式將基模部署到車端,給“AI汽車”配備全新的大腦。這款模型同時也將賦能小鵬的AI機器人、飛行汽車等。
小鵬汽車自動駕駛負責人李力耘介紹,小鵬基模是一個以大語言模型為骨干網絡,使用海量優質駕駛數據訓練的多模態大模型,具備視覺理解能力、鏈式推理能力和動作生成能力。通過強大的強化學習訓練,基座模型不斷自我進化,將逐步發展出媲美甚至超越人類的自動駕駛技術。
李力耘透露,為了研發基模,小鵬汽車早在去年就開始布局AI基礎設施,現已建成國內汽車行業首個萬卡智算集群,用以支持基座模型的預訓練、后訓練、模型蒸餾、車端模型訓練等任務,小鵬汽車將這套從云到端的生產流程稱之為“云端模型工廠”。目前,小鵬“云端模型工廠”擁有10 EFLOPS的算力,集群運行效率常年保持在90%以上,從云到端的全鏈路迭代周期可達平均5天一次。
小鵬世界基座模型:具備長思維鏈推理能力,參數規模高達720億
早在2024年下半年,小鵬汽車已開始面向L4級別的自動駕駛研發全新的“AI大腦”,即小鵬世界基座模型。小鵬研發團隊利用優質自動駕駛訓練數據,先后開發了多個尺寸的基座模型,目前已經著手推進72B(72 Billion,即720億)超大規模參數世界基座模型的研發,參數量是主流 VLA 模型的35 倍左右。
小鵬世界基座模型的一大優勢是具備鏈式推理能力(CoT),在充分理解現實世界的基礎上,能夠像人類一樣進行復雜的常識推理,并將推理結果轉化為行動,例如輸出方向盤、剎車等控制信號,實現和物理世界的交互。
未來,經由基座模型的賦能,智能駕駛系統有望從“模仿人類”進化到“超越人類”,最終能夠處理全場景的自動駕駛問題,包括一些模型從來沒在訓練數據中遇到的問題。
從設計之初,小鵬汽車就將基模定位為一個可以泛化到多種具身終端的基座模型。李力耘表示:“小鵬世界基座模型是小鵬自動駕駛真正走向L3、L4的基礎,也會是未來小鵬所有物理AI終端的通用模型。”后續,小鵬世界基座模型將全面賦能小鵬AI體系全圖譜,應用到小鵬汽車的AI汽車、AI機器人、飛行汽車上。
從0打造云端模型工廠,開啟AI時代模型生產新范式
為了開發小鵬世界基座模型,小鵬汽車打造了一座“云端模型工廠”,工廠“車間”涵蓋基座模型預訓練和后訓練(強化學習訓練)、模型蒸餾、車端模型預訓練到部署上車的完整生產鏈路。“云端模型工廠”采用強化學習、模型蒸餾的技術路線,能夠高效生產“小身材、大智商”的端側模型,甚至為不同需求的汽車定制不同的“大腦”,讓“千人千面”的模型研發成為可能。
小鵬汽車從2024年開始搭建AI基礎設施(AI Infra),當前已建立起萬卡規模的智能算力集群,是目前國內汽車行業最大的自動駕駛算力集群。小鵬汽車的算力儲備達到10EFLOPS,集群利用率常年高達90%以上,高峰時期的運行效率甚至達到98%。
小鵬世界基座模型負責人劉博士介紹,多模態模型訓練的主要瓶頸不僅是 GPU,也需要解決數據訪問的效率問題。小鵬汽車自主開發了底層的數據基礎設施(Data Infra),使數據上傳規模提升22倍、訓練中的數據帶寬提升15倍;通過聯合優化 GPU / CPU 以及網絡 I/O,最終使模型訓練速度提升了 5 倍。目前,小鵬汽車用于訓練基座模型的視頻數據量高達2000萬clips,這一數字今年將增加到2億clips。
依托強大的AI基礎設施和數據基礎設施,小鵬開啟了全新的基座模型研發范式,從云端模型預訓練到車端模型部署,整個“云端模型工廠”的迭代周期達到平均5天一次。
時隔一年,小鵬汽車在物理世界AI領域取得三大階段性成果
2024年是汽車行業的“端到端”之年,在率先量產端到端大模型一年之時,小鵬汽車又在物理世界大模型研發上再進一步。小鵬汽車在分享會上披露了基模研發的三個階段性成果:
l 階段性成果1:驗證規模法則在自動駕駛領域持續生效;
l 階段性成果2:在后裝算力的車端成功實現基模控車;
l 階段性成果3:啟動72B參數基模訓練,搭建針對強化學習的模型訓練框架。
規模法則(Scaling Law)揭示了大模型的性能如何隨著模型的計算量、訓練數據量和參數量的提升而提升,被視為AI領域的“摩爾定律”。規模法則在大語言模型(LLM,Large Language Model)領域已被充分驗證,但自動駕駛基座模型復雜得多,它的訓練數據遠不止單模態的文本數據,還包括攝像頭信息、導航信息等關于物理世界的多模態數據,本質上,它要求模型對物理世界形成認知和理解。利用駕駛數據訓練基模,尤其是參數規模逐步擴大到百億級別之后,規模法則是否還持續生效?此前行業內不曾有過充分的驗證。
小鵬團隊首次驗證了規模法則在自動駕駛領域持續生效,劉博士表示:“過去一年,我們做了大量實驗,在10億、30億、70億、720億參數的模型上都看到了明顯的規模法則效應:參數規模越大,模型的能力越強。同樣的模型大小,訓練數據量越大,模型的能力也會越強。”
不久前,小鵬汽車將理論變為現實,在后裝算力的車端上用小尺寸基模實現了控車。盡管只是非常早期的實車測試,全新基模已經展現出令人驚喜的基礎駕車技能。
小鵬汽車去年就已開始研發強化學習技術,用以提升基座模型的性能天花板。劉博士表示,強化學習能夠幫助模型自我進化,學會處理訓練數據中沒有的長尾問題,做到極致安全的自動駕駛。只有足夠強大的基座模型,才能被強化學習不斷激發出能力上限。這也是小鵬汽車選擇云端蒸餾路線的原因之一:在云端不計成本地訓練出足夠聰明且泛化能力強的模型,將其蒸餾到適配車端算力的小尺寸模型上,最終可讓車端模型的性能超越車端算力“一畝三分田”的限制。
值得一提的是,強化學習、云端蒸餾等技術方案,在今年爆火的DeepSeek論文中都得到了驗證。
基模研發是小鵬汽車“AI化”轉型的重要一步,不過,即便來到“大模型時代”,過去“規則時代”的領先經驗仍在發揮作用。在開發強化學習的獎勵模型(Reward Model)時,研發團隊基于規則經驗設計了獎勵函數,將規則時代的沉淀轉化為了訓練基座模型的生產力。
同時,小鵬汽車已經著手開發世界模型(World Model),作為“云端模型工廠”的重要一環,支持基座模型的性能優化。劉博士介紹,小鵬的世界模型是一種實時建模和反饋系統,能夠基于動作信號模擬出真實環境狀態,渲染場景,并生成場景內其他智能體(也即交通參與者)的響應,從而構建一個閉環的反饋網絡,幫助基座模型不斷進化,逐漸突破過去“模仿學習”的天花板。
作為中國智能電動汽車領軍者,小鵬汽車以"未來出行探索者"為定位,構建起輻射北京、上海等地的研發網絡和肇慶、廣州智能制造基地。通過全棧自研XPILOT智能駕駛系統及核心硬件,打造出XNGP全場景導航等創新技術,累計專利突破3000項。企業全球化布局加速成型,同步推進歐美研發與營銷網絡建設,2020年登陸紐交所(XPEV)創行業募資紀錄,2021年完成港交所雙重上市(9868.HK),成為首個橫跨中美資本市場的中國新勢力。
當前,小鵬汽車正通過800V高壓平臺、AI大模型等技術持續突破智能駕駛邊界,以"科技普惠"理念推動智能電動汽車普及,展現出引領全球智能出行浪潮的強勁勢能。關于小鵬世界基座模型研發和訓練成果更多的細節,今年6月小鵬汽車將會在計算機視覺國際頂會CVPR上進一步分享,敬請期待。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.