離職小鵬汽車，去到英偉達后，吳新宙與前老板何小鵬的關系，依然很融洽。

9月19日，2024云棲大會上，小鵬汽車董事長兼CEO何小鵬，以及英偉達全球副總裁、汽車事業部負責人吳新宙等圍繞“生成式AI重塑自動駕駛”主題展開了一場圓桌對話。

針對FSD入華，大模型對自動駕駛加持程度，乃至未來汽車市場格局，兩者都有著高度一致的認知。

倒是在誰是“甲方”問題上，相互謙讓起來。盡管剛剛高調宣布自研的圖靈智駕芯片流片成功，但何小鵬還是表示，很多芯片需要與英偉達等伙伴一起合作，直呼英偉達是其甲方。

吳新宙雖然不同意“甲方”的言論，但也順勢做起廣告。他表示，汽車生態，尤其是生成式AI發生后，全棧自研的門檻更高，需要英偉達這樣的供應商去彌補一下短板。“我們可以只提供大模型，也可以提供全棧方案，幫助車企把智駕提升到市場主流產品水平。”

不到半小時的時間里，聊技術、聊合作、聊未來，這對前CP，倒是其樂融融。

01

面對特斯拉FSD入華，不慌

“FSD入華，我借用小鵬經常說的兩個字，不慌。”談到對特斯拉FSD入華的態度，吳新宙對其技術表達贊賞的同時，但認為國內車企可以應對。

他表示，特斯拉每一步都給大家驗證了這個東西是可行的，這是FSD最大的一個作用。它推動了業界往下一步的發展，真的是提高了上限，很多動作就變得非常擬人化，這個非常重要。

不過，他也認為FSD下限問題還沒有完全解決掉，原來的邏輯錯誤在FSD里還是有，可以說是大模型上限的第一步嘗試。“中國場景有很多的復雜東西。我相信中國車企技術上的積累是非常好的，哪怕是同臺競技，也是不分伯仲的水平”。

何小鵬在美國體驗特斯拉FSD

“我是非常期盼的。我們需要不一樣的，很好的技術去沖擊這個市場，能夠讓我們看到這個市場的變化”。何小鵬的態度則更積極一些。

他認為，FSD在去年有了長足的進步。“以前不管是中國的NGP，還是海外FSD都是很基礎的自動輔助駕駛，FSD用了端到端的大模型后，讓我們看到的一個巨大的變化，就是更擬人，很流暢，是當地的老司機。”

他還透露，小鵬的NGP最近也在開端到端的全域模型測試版，已經看到在整個橫向的切線、轉彎、并道巨大的變化，甚至感覺它比我開車時切線還要流暢和有效率，這個變化大家一定要體會。

02

端到端可以把自動駕駛上、下限都做到更高

特斯拉FSD技術能夠快速迭代的很大原因，在于端到端大模型技術的落地。

作為技術領域大拿，吳新宙對于端到端大模型進行了自己的解讀。

他表示，端到端大模型對于自動駕駛的應用來說有兩個階段，這兩個階段都對自動駕駛的上限會有一個比較大的提高。

第一階段是端到端，在現有的架構上，把上游的模型和下游的模型通過一種方式連接起來，用數據端到端進行訓練。這個業界已經有很多工作在做了。有了這樣的能力以后，其實就可以更多把自動駕駛的開發變成數據驅動。

第二階段是大模型，端到端大模型。把一些通用的大模型真正的放到自動駕駛，可以進一步提高自動駕駛的上限。

傳統自動駕駛架構的典型代表：Apollo 3.0 軟件架構

“我在自動駕駛領域工作超過十年了，也見證了自動駕駛整個的變化和進展。”吳新宙稱，自動駕駛現有的算法大多是基于規則的，講起來很簡單，從看到什么到怎么做，但是要把它很好的拆解是很難的事情。現在大部分的算法棧還是很深的算法棧，需要很多人類工程師盡可能想到所有可能性，但這種方法有上限。

首先是對于行為的量化，人類開車非常靈活，但從自動駕駛算法上，特別是規則維度的算法棧來講會過度量化人的行為。好的算法棧在狀態機里面會有上百種行為，比較基礎的算法棧，比如說做LCC可能就是一到兩種行為。但是不管你怎么做量化，怎么做清洗，有時候車開的就是比較機械。

其次是現有算法棧在通用性上有非常大的限制。我們為了訓練一個模型，特別是感知模型，需要上百萬輛數據集修復，在規控上也是這樣。這會導致大量的工程量和測試量，通用性上在數據沒有見過的地方、場景，車就會不知道怎么反應。

“因為自動駕駛在大部分的時候都是小腦問題，不太需要做邏輯推理的，但是如果要真正把車開好，在很多時候還是需要邏輯推理”。吳新宙指出。

而未來通過大模型空間強大的關聯能力，可以形成非常強的記憶能力，將自動駕駛的上限推到非常不一樣的高度。吳新宙認為，有了這樣能力后，將可以處理復雜場景，把百公里接管變成千公里、萬公里，真正打開L3到L4的大門。

何小鵬（中）、吳新宙（右）等在2024云棲大會進行圓桌對話

何小鵬則更多從過去經驗對端到端發展進行了預測。

他以自動駕駛舉例稱，自動駕駛大概1925年開始研發；1999年豐田開始做；2009年谷歌開始做；2014年百度開始做，2017年小鵬開始做，到今天自動駕駛還沒有規模落地。

“如果說把大模型從我的角度分類，一個是數字世界的大模型，一個是物理世界的大模型，還有一個新的仿真世界的大模型，這三個不同的模型將來肯定會融會貫通”。何小鵬認為，這個過程從數字世界可能會變化很快，但從物理世界的變化一定會比大家想像得慢。

不過，他也認同，端到端大模型可以幫助企業把自動駕駛高度做得更高，且下限也可以提高。“對于最普通的用戶，從現在到未來36個月可以讓每個人在每個城市都像老司機一樣開車，這是端到端大模型對于用戶的強感知”。

03

端到端不一定是最終方案，但一定有價值

至于“端到端是不是自動駕駛終極方案”，兩人的回答都相對顯得樂觀但謹慎。

吳新宙稱，從現有技術框架上來看，不敢說大模型是最后的方式，但一定是一個巨大的突破。“我認為未來把人類工程師設計的一些方法、或者一些特征點從全棧中逐步去除，一定是一個不可逆轉的趨勢”。

但是，吳新宙表示，有了大模型的能力以后，還是要非常注重安全和全棧的可解釋性，有一些配合的工作要去做。至于大模型是不是“終極方案”，“這很難講，一定會有新的技術、下一步突破讓我們看到更多的可能性。”

自動駕駛架構演進示意圖。資料來源：辰韜資本

對于這個觀點，何小鵬也表達了認同，他表示，如果從十年、二十年看，不知道大模型是不是最后的，但是一定比以前的算法泛化、規模能力更強。

“我跟很多L4公司聊天，他們都認為用原來的方式，高精地圖加上一個區域，寫很多規則，能夠把接管率做到很低，是一個最正確的道路。”對此何小鵬并不是很認同。他覺得，這是從軟件角度看世界。如果從硬件角度，比如說我關注的是能不能把它做到規模，當你足夠大的規模以后才有足夠低的成本。

為什么手機攝像頭做得很小，汽車的攝像頭做得很大？他以手機舉例稱，“最開始我進入這個行業，覺得一個是車規，一個是消規，錯了，是規模”。

一個大型的硬件，無論是汽車、機器人，或者是以后的AI+大型硬件的組合，對于消費者來看都是花了一萬塊錢、十萬塊錢，甚至數十萬買的硬件，如何持續、穩定的發展非常重要。

他認為，在硬件的邏輯體系里面，基于規則的L4在一個相對穩定的小范圍可以做得很好。但一旦當端到端的模型未來兩年普及，這種成本又低，下限又高，上限更高的技術，會降維打擊沖擊現有市場。

04

AI+汽車時代，車市模式將大變樣

技術不斷迭代、沖擊，車企能否適應，未來還會有誰會留在牌桌上？

針對這個問題，何小鵬的回答比較寬泛。他表示，未來在牌桌上的玩家會比較少。“下一個階段新能源車市場的賽點就是誰能夠每年生產跟銷售100萬臺新能源汽車，這只是一個淘汰賽的入門權，也就是說我沒有就被淘汰了”。

何小鵬駕駛小鵬汽車P7（參數丨圖片）+亮相2024云棲大會

何小鵬認為，未來如果一個硬件產品不具備AI能力，那么它的品牌受影響的程度會是非常大，但如果擁有了AI之后，全球的將來的硬件加軟件，它的生產能力、銷售方式都會發生變化。

比如銷售層面，以前的汽車都是車廠賣給合作伙伴銷售，因此就沒有辦法對汽車進行運營，進行售后服務，進行后收費。

而最近兩三年不僅僅看到中國汽車生產模式的變化，更多的也在思考運營方式的變化，思考端到端的服務，從產品研發到最后的售后服務運營全部要做。

他判斷，“這些變化會形成最后規模經濟的變化，軟件的規模經濟，生態硬件的規模經濟，全球品牌下的足夠規模，這兩個的規模一旦合并在一起。我覺得中國將來會有機會留在牌桌上的企業會比較少”。