一凡 發自 副駕寺智能車參考 | 公眾號 AI4Auto
接入DeepSeek后,理想又為車機自研了一個推理模型:
它能幫你編故事哄孩子,提供買房建議,還能制定旅游攻略,直接篩掉你不想要的體驗。
雖然此前的推理模型也能勝任這些任務,不過理想自研推理模型有所不同——
它能自主分析,你的問題需要不需要思考,需要深度思考還是短思考。
行業爭著接入了DeepSeek的當下,理想選了一條新路徑,打造了「汽車版DeepSeek」。
汽車版DeepSeek有什么特點?
為什么理想要花大力氣自研推理模型,而不是直接上車DeepSeek?
帶著這些問題,智能車參考第一時間上車“拷問”了一番理想同學:
不是,你一句“我不喝豆汁兒”,他就真給你做北京一日游攻略啊。
實測「汽車版DeepSeek」
更新理想OTA 7.2版本后,進入語音設置界面會看到一個深度思考的按鈕,就像咱們日常用的DeepSeek一樣,點擊打開:
你也可以用語音對話,讓理想同學幫你打開。
不過與常見推理模型不同的是,即便打開了深度思考開關,理想同學也不會每條對話都陷入沉思,而是模型自主決策要不要思考,要思考多久:
- 車控命令「不思考」,理想同學直接執行
- 簡單需求「短思考」,車機上方會顯示生成中
- 復雜需求才「深度思考」,理想同學還會說「emmm,我得想想」
實際體驗下來,像“我好熱啊”、“腰好酸”、“還有多久到目的地”這類對話,即便是處于「深度思考」模式下,理想同學也會分別打開空調、座椅按摩、顯示目的地,瞬間響應,無需思考。
而對于車主的一些復雜需求,比方說,你想去北京旅游,但又不想品鑒老北京豆汁兒,那就直接把定制攻略的需求說給理想同學。
稍等幾秒,私人定制的旅行攻略就出來了,精確到每個小時去哪兒玩,吃什么(pass掉了豆汁),花多少錢。:
家孩子在車上不睡覺鬧騰,你可以讓TA現編個故事哄哄孩子:
老婆打電話溝通房子買哪兒,你也可以問問理想同學:
這都是理想同學深度思考后給出的答案,而且比常見的推理模型響應要快一點。
自主選擇思考長度,更快的深度思考,這背后是怎么實現的?
「汽車版DeepSeek」的實現過程
理想此前自研的MindGPT大家都比較熟悉了,「汽車版DeepSeek」實際就是以MindGPT為基座模型,進行了后訓練,指令微調和強化學習多階段優化。
首先,由于模型能力和數據質量直接相關,所以理想在訓練數據上做了非常細致的工作。
據介紹,理想基于過去已有的1100多個技能體系,根據問題復雜度和場景,對數據做了精細歸類。
數據類型主要分三種:
第一類,適合做長推理的多輪對話樣本,規模在數十萬級,用DeepSeek去產出思考過程,然后將產出結果作為訓練深度思考能力的數據。
第二類,不適合做長推理,但是仍然需要短思考的數據,還是借助DeepSeek加工形成的短思考數據,規模大概在十萬級。
第三類則是以往存儲的不需要思考的數據,這部分數據最多,據了解規模在百萬級,理想從中做了抽樣。
這三類數據最終合在一起對模型做后訓練,模型就具備了長思考能力,同時也會自主決策是否需要思考,以及思考長短。
完成模型訓練后,理想又遇到了另一個痛點:
如何讓模型在深度思考的同時,又能響應的更快?
理想關注的首要指標是首token響應時間,最快可達0.3秒。
背后主要是三項措施:
- PD分離,將Prefill和Decoder分離部署
- 由于Prefill階段對首Token影響最大,這一階段采用高性能Attention機制
- 多卡并行推理工程優化
看上去實現過程并不復雜,但實際上理想遇到了很多挑戰,春節復工歸來就定下了4月初上新的時間點,然后開啟沖刺,時間緊,任務重。
為什么理想車端不直接用DeepSeek,而是自研推理模型?
為什么自研車端推理模型?
據理想汽車透露,其打造車端推理模型有內外兩大因素:
據介紹,實際上此前理想的車主就有這方面需求。有的車主日常會問車機一些時事新聞,然后想了解背后的投資建議,比如最近瘋漲的金價。
也有車主上班路上突然接到通知要開會,但是對會議主題涉及的市場又不夠了解,想讓模型歸納相關信息進行分析。
過去的模型不能滿足車主這方面的需求,理想便考慮上車推理模型。
然后DeepSeek火爆海內外,加速了上車過程。
DeepSeek強大的破圈效應讓很多用戶第一次了解到AI的威力,原來AI可以深度思考,提供如此強大的分析能力。
有的車主就直接來問理想:
- 你們什么時候接入DeepSeek?
這樣的問題,相信業內不只有理想收到了。這也是為什么春節復工后,一眾車企爭先宣布接入DeepSeek。
實際上,理想同學App此前也接入了滿血版的DeepSeek。
那為什么還要理想要在車端自研推理模型呢?
理想汽車認為,DeepSeek更傾向電腦和手機等終端場景,車載場景更加垂直,不管是車主的相關知識需求,還是對話要求的響應速度,都需要打造一個「汽車版DeepSeek」。
現有的推理模型,一般思考時間都比較長,而且思考后輸出的內容也很長,但車主并不是每次對話都需要一個很豐富的內容作為回應。你是個好模型,只是咱們不合適。
所以理想認為,需要一個「汽車版的DeepSeek」,能提高模型思考能力的同時,也能更靈活快速地響應車主對話,避免車主問一個問題無法得到及時回復,而且回復顯得冗長。
模型自主決策是否思考和思考長度,這區別于目前的主流方案。
這一特性有希望推廣到其他場景嗎?
理想汽車也對未來趨勢做出了展望,這很可能會是后續AI助手應用的一個發展方向。
結合當前行業進展,以及理想對理想同學的追求來看,或許理想未來會在端側部署大模型,以加快響應車主相關需求。
也有分析指出,由于英偉達Thor即將上車,更充沛的算力和前瞻設計,也為未來實現「艙駕一體」提供了可能。
會深度思考的理想同學,是不是朝著李想此前提出的「硅基家人」,又近了一步doge?
理想自研推理模型,解決你的痛點了嗎?
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.