“外界對大模型有相當(dāng)多的誤解,”近日據(jù)媒體報道,李彥宏的一則內(nèi)部講話曝光。在最近一次和員工交流中,李彥宏談及三個大模型認(rèn)知誤區(qū),涵蓋了大模型競爭、開源模型效率、智能體趨勢等熱點話題。
李彥宏談到,未來大模型之間的差距可能會越來越大。他表示,大模型的天花板很高,現(xiàn)在距離理想情況還相差非常遠(yuǎn),所以模型要不斷快速迭代、更新和升級;需要能幾年、十幾年如一日地投入,不斷滿足用戶需求,降本增效。
以下為內(nèi)部講話內(nèi)容
問:有觀點認(rèn)為,大模型之間的能力已經(jīng)沒有壁壘了?
李彥宏:這個說法我不同意。我認(rèn)為外界對大模型有相當(dāng)多的誤解,每一個新模型發(fā)布時,肯定都想說自己有多好,每次都去跟GPT-4o做比較,拿測試集或者弄一些榜單,說我的得分已經(jīng)跟它差不多了,甚至某些單項上得分已經(jīng)超過它了,但這并不能證明這些新發(fā)的模型跟OpenAl最先進(jìn)的模型相比已經(jīng)沒有那么大的差距了。?
模型之間的差距是多維度的,一個維度是能力方面,不管是理解能力、生成能力、邏輯推理能力還是記憶能力等這些基本能力上的差距;另一個維度是成本方面,你想具備這個能力或者想回答這些問題,你付出的成本是多少?有些模型可能推理速度很慢,雖然也達(dá)到同樣的效果了,但實際上它的體驗還是不如最先進(jìn)的模型。還有就是對于測試集的over-fitting,每一個想證明自己能力的模型都會去打榜,打榜時他就要猜別人到底在測什么、哪些題我用什么樣的技巧就能做對,所以從榜單或者測試集上看,你覺得能力已經(jīng)很接近了,但到實際應(yīng)用中還是有明顯差距的。
部分自媒體的炒作,再加上每個新模型發(fā)布的時候都有宣傳的動力,使得大家有一種印象,認(rèn)為模型之間的能力差別已經(jīng)比較小了,其實真不是這樣。在實際使用過程當(dāng)中,我不允許我們的技術(shù)人員去打榜,真正衡量文心大模型能力的是,你在具體應(yīng)用場景當(dāng)中到底有沒有能夠滿足用戶的需求,有沒有能夠產(chǎn)生價值的增益,這是我們真正在乎的。
我們需要看到,一方面模型能力之間還有比較明顯的差距,另外一方面天花板很高,你今天做到的跟你實際想要做到的、跟理想狀態(tài)還差得非常遠(yuǎn),所以模型還需要不斷快速地去迭代、去更新、去升級。即使今天你看到差距也許沒有那么大了,再過一年你看看差距有沒有拉大? 有誰能夠持續(xù)不斷地幾年甚至十幾年如一日往這個方向上去投入,讓它越來越能夠滿足用戶的需求、滿足場景、滿足提升效率或者說降低成本等需求?不同的模型之間差距不是越來越小,是會越來越大的,只是他們不知道真實需求的時候,只去做測試集的題可能覺得差不多了。
所謂的領(lǐng)先12個月或者落后18個月,我認(rèn)為沒有那么重要。我們每個公司都處在完全競爭的市場環(huán)境中,你不管做什么方向都有很多競爭對手,如果你能永遠(yuǎn)保證領(lǐng)先對手12~18個月,那是天下無敵的,不要覺得12—18個月是很短的時間,哪怕你能保證永遠(yuǎn)領(lǐng)先競爭對手6個月,那就贏了,你的市場份額可能是70%,而對手可能僅為20%甚至10%的份額。
問:有人說開源模型正在縮小與閉源模型的差距,這會摧毀閉源大模型公司的商業(yè)模式嗎?
李彥宏:這個問題跟上一個問題是高度關(guān)聯(lián)的,我剛才講一個模型除了能力或效果之外還要看效率,效率上開源模型是不行的。閉源模型準(zhǔn)確地講應(yīng)該叫商業(yè)模型,商業(yè)化的模型是無數(shù)個用戶或者說客戶在共享同樣的資源,在分?jǐn)傃邪l(fā)成本、分?jǐn)偼评碛玫臋C器資源和GPU,而開源模型需要你自己去部署一套東西,部署之后GPU的使用率是多少呢?我們的文心大模型3.5、4.0也好,使用率都是90%多,你部署一個開源模型有多少人在用?我們對外講文心大模型每天調(diào)用量超過6億,每天生成的token數(shù)超過萬億,哪個開源模型可以說自己一天調(diào)用量是多少、生成了多少token?沒有人用的話成本怎么分擔(dān)?推理成本怎么能夠跟商業(yè)化模型相比呢?
在大模型時代之前,大家習(xí)慣了開源意味著免費、意味著成本低。那時市面上那種商業(yè)化的產(chǎn)品,每一個版本都要為之付錢,比如買一個電腦裝Windows,可能微軟要從中收多少錢,而你如果跑一個Linux就不用花這個錢了。由于Linux是開源的,所有程序員都可以看到代碼,哪兒做的不好我可以去更新,更新了再check in,大家眾人拾柴火焰高,你在巨人的肩膀上可以不斷地進(jìn)步。但是這些東西在大模型時代都不成立,大模型時代大家經(jīng)常講的是GPU有多貴,算力是決定大模型成敗的一個關(guān)鍵因素,開源的模型給你送算力嗎?它不給你送算力,怎么能夠讓算力高效地被利用?開源模型解決不了這個問題。
以前你買電腦的時候就已經(jīng)為算力付費了,但大模型的推理不是這樣,這個推理其實很貴。所以說開源大模型的價值在教學(xué)科研這些領(lǐng)域,要想搞清楚大模型的工作原理是啥,如果不知道源代碼什么的肯定是有劣勢的,但是真正在商業(yè)領(lǐng)域,當(dāng)你追求的是效率、效果,追求的是最低的成本時,開源模型是沒有優(yōu)勢的。
問:AI應(yīng)用的演進(jìn)方式是什么?為什么強調(diào)智能體?
李彥宏:大模型發(fā)展的過程必然要經(jīng)歷這幾個階段,一開始是對人進(jìn)行輔助,最后出來什么東西需要人把最后一道關(guān),我們確定它的效果是OK的,各方面都不錯才會讓它出去,這是Copilot階段;再往下走就是Agent智能體,外界對于Agent有各種各樣不同的定義,最主要還是說它有了一定的自主性,具備自主使用工具、反思、自我進(jìn)化等能力;這種自動化程度再往下走就變成一個所謂的Al Worker,能夠像人一樣做各種各樣的腦力和體力勞動,各方面的工作都可以獨立完成。肯定要有這么一個過程。
“智能體是大模型最重要的發(fā)展方向”這個判斷,其實是一個非共識。百度Create大會上我們發(fā)了三個產(chǎn)品,AgentBuilder、AppBuilder、ModelBuilder,其中AgentBuilder和AppBuilder都是講智能體的,一個門檻更低一些,另一個功能更強大一些。當(dāng)我們解釋完了之后,有些人終于開始明白這東西確實有意思,能夠產(chǎn)生價值,而且已經(jīng)可以相對比較低門檻地做出來大家感覺可用的東西。從那時候開始智能體的熱度才慢慢上來,也開始有很多人看好智能體這個發(fā)展方向,但是到今天為止智能體還不是共識,像百度這樣把智能體作為大模型最重要的戰(zhàn)略、最重要的發(fā)展方向的公司并不多。
為什么我們這么強調(diào)智能體?因為智能體的門檻確實很低,我們?nèi)ツ暾f要卷應(yīng)用、大家都去做應(yīng)用,其實很多人還是說不知道該怎么做,不知道這個方向能不能做出來,我到底要用到什么能力才能夠在這個場景下產(chǎn)生價值,這里面有無數(shù)不確定性,大家不知道怎么從模型變成應(yīng)用。但是智能體提供了一個非常直接、非常高效、非常簡單的方式,在模型之上構(gòu)建智能體是相當(dāng)方便的,這也是為什么今天每周都有上萬個新的智能體在文心平臺上被創(chuàng)造出來。?
智能體方面我們已經(jīng)看到了趨勢,也有比較好的先決條件,除了模型本身的能力比較強大之外,我們也有很好的分發(fā)通路。百度的APP,尤其是百度搜索一天有數(shù)以億計的人在用,用戶的需求主動向我們表達(dá)了,哪一個智能體能更好地去回答他這些問題,去滿足他這些需求,這是一個自然匹配的過程,所以我們是最能夠幫助這些開發(fā)者分發(fā)他們智能體的。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.