IT之家 4 月 14 日消息,小鵬汽車今日在香港舉辦 AI 技術分享會,首次披露正在研發 720 億參數的超大規模自動駕駛大模型 ——“小鵬世界基座模型”。官方表示,小鵬未來將通過云端蒸餾小模型的方式將基模部署到車端,同時也將賦能小鵬的 AI 機器人、飛行汽車等。
小鵬汽車自動駕駛負責人李力耘介紹,小鵬基模是一個以大語言模型為骨干網絡,使用海量優質駕駛數據訓練的多模態大模型,具備視覺理解能力、鏈式推理能力和動作生成能力。通過強化學習訓練,基座模型不斷自我進化,將逐步發展出媲美甚至超越人類的自動駕駛技術。
李力耘還透露,為了研發基模,小鵬汽車早在去年就開始布局 AI 基礎設施,現已建成國內汽車行業首個萬卡智算集群,用以支持基座模型的預訓練、后訓練、模型蒸餾、車端模型訓練等任務,小鵬汽車將這套從云到端的生產流程稱之為“云端模型工廠”。
IT之家從小鵬汽車獲悉,目前小鵬“云端模型工廠”擁有 10 EFLOPS 的算力,集群運行效率常年保持在 90% 以上,從云到端的全鏈路迭代周期可達平均 5 天一次。另外,小鵬研發團隊利用自動駕駛訓練數據,先后開發了多個尺寸的基座模型,目前已經著手推進 72B(72 Billion,也即 720 億)超大規模參數世界基座模型的研發,參數量是主流 VLA 模型的 35 倍左右。
后續,小鵬世界基座模型將全面賦能小鵬 AI 體系全圖譜,應用到小鵬汽車的 AI 汽車、AI 機器人、飛行汽車上。為了開發小鵬世界基座模型,小鵬汽車還打造了一座“云端模型工廠”,工廠“車間”涵蓋基座模型預訓練和后訓練(強化學習訓練)、模型蒸餾、車端模型預訓練到部署上車的完整生產鏈路。
小鵬汽車官方表示,其從 2024 年開始搭建 AI 基礎設施(AI Infra),當前已建立起萬卡規模的智能算力集群,是目前國內汽車行業最大的自動駕駛算力集群。小鵬汽車的算力儲備達到 10EFLOPS,集群利用率常年高達 90% 以上,高峰時期的運行效率甚至達到 98%。目前,小鵬汽車用于訓練基座模型的視頻數據量高達 2000 萬 clips,這一數字今年將增加到 2 億 clips。
IT之家附小鵬汽車 2024 年三大階段性成果:
階段性成果 1:驗證規模法則在自動駕駛領域持續生效 階段性成果 2:在后裝算力的車端成功實現基模控車 階段性成果 3:啟動 72B 參數基模訓練,搭建針對強化學習的模型訓練框架
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.