99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

獨(dú)家對(duì)話清華系明星AI創(chuàng)企,性價(jià)比終將推動(dòng)芯片國(guó)產(chǎn)替代

0
分享至



編者按:

北京時(shí)間4月16日,據(jù)彭博社報(bào)道,英偉達(dá)周二在監(jiān)管文件中表示,美國(guó)政府已于周一通知公司,H20芯片未來(lái)在出口至中國(guó)時(shí)需要“無(wú)限期”申請(qǐng)?jiān)S可證。

英偉達(dá)因此預(yù)警稱,公司將在本財(cái)年第一季度計(jì)入大約55億美元的費(fèi)用,這些費(fèi)用與H20系列芯片相關(guān)的“庫(kù)存、采購(gòu)承諾及相關(guān)準(zhǔn)備金”有關(guān)。

正如英偉達(dá)所言,進(jìn)一步收緊出口限制只會(huì)強(qiáng)化中國(guó)擺脫美國(guó)技術(shù)依賴的決心,并將削弱美國(guó)企業(yè)的競(jìng)爭(zhēng)力。

現(xiàn)在,美國(guó)政府給英偉達(dá)的心臟刺入了一把尖刀,更是給國(guó)產(chǎn)芯片生態(tài)發(fā)展送了一個(gè)助攻。

今年3月,鳳凰網(wǎng)科技與專注做AI智能算力基礎(chǔ)系統(tǒng)軟件的公司清程極智進(jìn)行了一場(chǎng)對(duì)話,這正是一家專注于推動(dòng)國(guó)產(chǎn)芯片發(fā)展的公司,其最近開(kāi)源的赤兔,可以幫助國(guó)產(chǎn)芯片更好跑滿血版DeepSeek。

鳳凰網(wǎng)科技 出品

作者 董雨晴

在五道口的清華科技園,很容易偶遇清華系的人工智能公司,但今天,這里最忙碌的身影不再專屬于基座大模型六小龍,更為顯眼的是位于中間層的AI infra(基礎(chǔ)設(shè)施)公司。

清程極智就是這樣一家企業(yè),2023年底,清華大學(xué)計(jì)算機(jī)系里的一伙人創(chuàng)辦了清程極智,清華大學(xué)計(jì)算機(jī)系長(zhǎng)聘教授翟季冬出任首席科學(xué)家,翟教授曾經(jīng)帶領(lǐng)清華超算團(tuán)隊(duì)奪得過(guò)十幾個(gè)世界冠軍,清程極智的核心成員也多來(lái)自于清華計(jì)算機(jī)系高性能計(jì)算研究所,CEO湯雄超即是如此。

他們是國(guó)內(nèi)少有的有過(guò)十萬(wàn)臺(tái)服務(wù)器超大規(guī)模國(guó)產(chǎn)算力集群使用和調(diào)優(yōu)經(jīng)驗(yàn)的團(tuán)隊(duì)。而大規(guī)模集群的訓(xùn)練和推理,是算力發(fā)展過(guò)程中最復(fù)雜的一種情況。

成立僅一年,清程極智就拿到了兩輪投資,其中包括北京市人工智能產(chǎn)業(yè)投資基金與中科創(chuàng)星。中科創(chuàng)星曾表示,國(guó)內(nèi)AI Infra市場(chǎng)在編譯器和并行訓(xùn)練推理系統(tǒng)等核心技術(shù)軟件方面尤為空缺,而清程極智是國(guó)內(nèi)少有的完全掌握全棧研發(fā)能力的團(tuán)隊(duì)。

今年初,DeepSeek的爆火,為AI infra添了一把柴。更早就預(yù)判到推理側(cè)需求的清程極智直接迎來(lái)了業(yè)務(wù)上的爆發(fā)。

湯雄超告訴鳳凰網(wǎng)科技,清程極智的新增需求幾乎都來(lái)自于推理側(cè)。“我們之前是有推理算力需求快速增長(zhǎng)這樣的一些判斷,但是沒(méi)想象到它來(lái)得這么快,這么洶涌”。

隨著整個(gè)大模型算力需求的趨勢(shì)從訓(xùn)練側(cè)轉(zhuǎn)向推理側(cè),相應(yīng)的硬件供給矛盾也逐漸凸顯。“DeepSeek也在某種程度上拉大了國(guó)產(chǎn)算力與英偉達(dá)的差距”。

湯雄超認(rèn)為,DeepSeek通過(guò)算法的創(chuàng)新突破了大規(guī)模硬件的瓶頸,這可以很好的解決當(dāng)前國(guó)內(nèi)算力不足的窘迫,給AI企業(yè)提供一個(gè)創(chuàng)新的樣本。

但同時(shí),DeepSeek的技術(shù)創(chuàng)新主要圍繞英偉達(dá)H卡的架構(gòu),DeepSeek模型采用的FP8數(shù)據(jù)格式與英偉達(dá)H系列卡深度綁定,未來(lái)可能還會(huì)支持更新的FP4等,但目前大多數(shù)國(guó)產(chǎn)芯片尚沒(méi)法原生支持FP8, “從這個(gè)層面看,硬件層面產(chǎn)品的代際差距拉大了”。如何發(fā)揮Infra層的作用,通過(guò)軟硬協(xié)同,將優(yōu)秀的國(guó)產(chǎn)大模型和國(guó)產(chǎn)硬件更好的協(xié)同起來(lái),以及把市場(chǎng)上的閑置算力更好的用起來(lái),是清程極智始終在思考的。

抱著這樣的想法,今年初,清程極智與清華共同開(kāi)源了大模型推理引擎“赤兔”,通過(guò)赤兔的部署,大部分英偉達(dá)老卡舊卡及國(guó)產(chǎn)芯片都可支撐DeepSeek滿血版,與此同時(shí)在首期開(kāi)源的版本中,對(duì)比國(guó)際主流開(kāi)源推理引擎,在算力減少一半的基礎(chǔ)上,速度還能翻番。

赤兔的出現(xiàn)對(duì)于國(guó)產(chǎn)算力而言是一股強(qiáng)大的驅(qū)動(dòng)力,特別針對(duì)國(guó)產(chǎn)算力在支持DeepSeek方面是重要的催化劑,于當(dāng)下而言更是恰逢其時(shí)。

一些例子已在證明。去年,算力概念火熱時(shí)期,就有聲音認(rèn)為,市場(chǎng)上部分國(guó)產(chǎn)算力是屬于空置狀態(tài)。但DeepSeek的火熱激活了國(guó)產(chǎn)算力市場(chǎng)。據(jù)湯雄超觀察,他發(fā)現(xiàn)DeepSeek走紅之后,此前不少閑置的算力已經(jīng)運(yùn)轉(zhuǎn)起來(lái)。

赤兔的出現(xiàn),更是對(duì)國(guó)產(chǎn)算力的重大利好。短期來(lái)看,它實(shí)現(xiàn)了 DeepSeek FP8 精度模型在存量GPU 上的無(wú)損且高效部署。長(zhǎng)期來(lái)看,赤兔的開(kāi)源是國(guó)產(chǎn)大模型、國(guó)產(chǎn)算力和國(guó)產(chǎn)引擎閉環(huán)形成中的必要一環(huán)。

在這個(gè)特別的時(shí)期,鳳凰網(wǎng)科技《浪潮》與清程極智CEO湯雄超進(jìn)行了一場(chǎng)對(duì)話,聊了聊他對(duì)于DeepSeek爆火之后,國(guó)產(chǎn)生態(tài)變化的思考,以下是對(duì)話全文,經(jīng)編輯發(fā)布:



談推理側(cè)需求的爆發(fā):閑置的算力都用起來(lái)了

鳳凰網(wǎng)科技:你們最近一兩個(gè)月在忙著做什么?

湯雄超:變化主要在業(yè)務(wù)精力的調(diào)整上。我們是做AI智能算力基礎(chǔ)系統(tǒng)軟件的,業(yè)務(wù)精力的投入力度顯然也是跟市場(chǎng)上算力需求的變化是相匹配的。去年其實(shí)大部分的算力需求是來(lái)自于預(yù)訓(xùn)練這一側(cè),包括非常多的像英偉達(dá)、不同廠商的國(guó)產(chǎn)卡,千卡集群、萬(wàn)卡集群、異構(gòu)集群上做預(yù)訓(xùn)練,優(yōu)化他們的訓(xùn)練性能,加速降本。

去年我們也有在做推理的一些工作,我們和燧原科技一起做的高吞吐推理一體機(jī)拿了不少獎(jiǎng)項(xiàng),在多模態(tài)方面,我們?nèi)ツ晔歉鷶?shù)科技聯(lián)合優(yōu)化,對(duì)于圖片生成有接近5倍的提速。但是相對(duì)來(lái)說(shuō),去年推理側(cè)的算力需求相對(duì)于預(yù)訓(xùn)練側(cè)來(lái)說(shuō)是比較小的,今年DeepSeek走紅之后,我們感覺(jué)到的最大的一個(gè)變化,就是推理算力的占比有一個(gè)非常大的提升。

鳳凰網(wǎng)科技:大概是一個(gè)什么樣的比例變化?

湯雄超:現(xiàn)在我們新增的業(yè)務(wù)基本上都來(lái)自于推理側(cè)。其實(shí)我們之前是有這樣的一些判斷,但是我們沒(méi)有想象到它來(lái)得這么快,這么洶涌。去年底的時(shí)候,OpenAI的o1發(fā)布了之后,其實(shí)大家也都能感覺(jué)到推理算力的占比一定是會(huì)提升的,但是當(dāng)時(shí)的話,OpenAI還是遙遙領(lǐng)先。開(kāi)源的話其實(shí)之前一直也主要以Llama和千問(wèn)這種傳統(tǒng)的大模型為主,但是DeepSeek R1的出現(xiàn)確實(shí)很驚艷,我們也看到隨著而來(lái)整個(gè)推理算力,包括推理方面的需求都變得非常多。

鳳凰網(wǎng)科技:我記得你去年其實(shí)就說(shuō)過(guò),部署一體機(jī)可能還是應(yīng)該專注于推理側(cè)。

湯雄超:其實(shí)現(xiàn)在回過(guò)頭來(lái)看,我們現(xiàn)在正在做的就是當(dāng)初的判斷,比如當(dāng)初判斷推理算力將有大規(guī)模爆發(fā),隨之帶來(lái)的大模型私有化部署需求等也是我們正在忙碌的事。而且我們也看到,現(xiàn)在推理跟訓(xùn)練有一些趨同的地方在于大家都會(huì)逐漸形成對(duì)集群算力有需求的狀態(tài)。以前推理市場(chǎng)更多是獨(dú)自的分散需求現(xiàn)在也需要一個(gè)集群。但是確實(shí)從所需要的芯片能力來(lái)說(shuō),訓(xùn)練側(cè)對(duì)計(jì)算能力可能要求還是更高一些

鳳凰網(wǎng)科技:推理算力需求的爆發(fā)也隨之帶來(lái)了國(guó)產(chǎn)算力的爆發(fā)嗎?

湯雄超:兩個(gè)方面來(lái)說(shuō),一方面隨著大模型私有化部署需求的增加,我們會(huì)看到一些以前的閑置算力確實(shí)正在被消化。

但另一方面我們也可以看到DeepSeek拉大了國(guó)產(chǎn)算力和英偉達(dá)的差距。有一種聲音是認(rèn)為DeepSeek的出現(xiàn)是縮小了國(guó)產(chǎn)算力和英偉達(dá)之間的差距,我認(rèn)為這種說(shuō)法也沒(méi)錯(cuò),因?yàn)樵诔笠?guī)模預(yù)訓(xùn)練集群的場(chǎng)景下,國(guó)產(chǎn)算力和英偉達(dá)的差距非常大,系統(tǒng)穩(wěn)定性、可用性、芯片出貨量等等都是問(wèn)題;現(xiàn)在DeepSeek破除了對(duì)超大規(guī)模預(yù)訓(xùn)練集群的依賴,讓更多的算力需求轉(zhuǎn)向推理側(cè),相當(dāng)于降低了使用國(guó)產(chǎn)算力替代方案的難度。

但是我們單純從推理側(cè)來(lái)說(shuō)的話,其實(shí)DeepSeek的出現(xiàn)更加拉大了國(guó)產(chǎn)算力跟英偉達(dá)的差距。雖然大家也看到DeepSeek開(kāi)源了非常多的東西,但他們的一些技術(shù)創(chuàng)新更多是跟英偉達(dá)

H卡架構(gòu)的卡綁定的,很多優(yōu)化無(wú)法直接復(fù)制到國(guó)產(chǎn)算力上。

DeepSeek滿血版本身是FP8原生訓(xùn)練的,但目前幾乎所有的國(guó)產(chǎn)卡都不支持FP8的計(jì)算,如果要部署DeepSeek滿血版,需要把FP8轉(zhuǎn)換成其它數(shù)據(jù)格式,這樣有時(shí)會(huì)導(dǎo)致顯存占用大,用起來(lái)非常卡,有時(shí)會(huì)使模型精度受損,推理的效果不盡人意,那這樣的話大家用國(guó)產(chǎn)卡的意愿又沒(méi)有那么高了,同時(shí)未來(lái)英偉達(dá)會(huì)支持FP4等新的數(shù)據(jù)類型,現(xiàn)在的差距在未來(lái)有可能進(jìn)一步加大,從這個(gè)角度上來(lái)說(shuō),DeepSeek的出現(xiàn)讓這個(gè)差距顯得更加明顯。

我們前段時(shí)間開(kāi)源了赤兔,因?yàn)槲覀冇X(jué)得DeepSeek幾乎是一個(gè)我們?cè)陂_(kāi)源社區(qū)能拿到的最好的模型,但是它跟非常難獲得的硬件是深度綁定的,大家利用現(xiàn)有的硬件條件把它充分利用起來(lái)還是有很高的門檻,因此我們開(kāi)源了赤兔推理引擎,讓市場(chǎng)上的英偉達(dá)的大部分老卡舊卡以及國(guó)產(chǎn)芯片,支持FP8計(jì)算模型的推理,同時(shí)又做了一些優(yōu)化助力計(jì)算效率的提升,使得不僅用的起來(lái),還比原來(lái)便宜,速度也更快。



談赤兔開(kāi)源:給國(guó)產(chǎn)芯片送助攻

鳳凰網(wǎng)科技:赤兔的開(kāi)源對(duì)行業(yè)來(lái)說(shuō)價(jià)值不小,你們當(dāng)時(shí)為什么直接選擇了開(kāi)源?

湯雄超:我們本身是一個(gè)商業(yè)公司,但是我們覺(jué)得開(kāi)源赤兔推理引擎或者開(kāi)源這件事本身跟我們獲得商業(yè)上的收益并不是沖突的。第一我們覺(jué)得赤兔的技術(shù)方案確實(shí)非常的有價(jià)值,是可以給整個(gè)國(guó)產(chǎn)AI行業(yè)的生態(tài)帶來(lái)正向影響的,我們也非常愿意和大家能夠共享這樣一個(gè)技術(shù)的進(jìn)步,從另外一個(gè)方面,從商業(yè)上的角度來(lái)考慮的話,我們的價(jià)值肯定是多維的?說(shuō)個(gè)最簡(jiǎn)單的例子,雖然赤兔是開(kāi)源的,但是需要基于赤兔進(jìn)行部署,需要運(yùn)維,而我們本身是最懂赤兔的。

更長(zhǎng)期的角度上來(lái)說(shuō),比如都是支持原生FP8的推理訓(xùn)練,但實(shí)際上我們也可以提供不同性能水平的算子的實(shí)現(xiàn),能夠通過(guò)軟硬協(xié)同更廣泛的提升國(guó)產(chǎn)AI芯片的性能。但是從更本質(zhì)的角度來(lái)說(shuō),我們?cè)趧?chuàng)立之初就是希望能夠促進(jìn)國(guó)產(chǎn)生態(tài)的發(fā)展,我們也相信算力國(guó)產(chǎn)化是大趨勢(shì),所以我覺(jué)得像這種比較有意義的事情,還是比較愿意開(kāi)源出來(lái),讓大家一起來(lái)分享idea。

鳳凰網(wǎng)科技:你剛才說(shuō)原來(lái)大家浪費(fèi)的算力已經(jīng)被用起來(lái)了,能不能舉個(gè)例子?

湯雄超:我們了解到的是,有很多庫(kù)存的國(guó)產(chǎn)算力,可能本來(lái)囤在一些算力中心里面,但在春節(jié)后陸陸續(xù)續(xù)的全都跑起來(lái)了。之前有很多的算力是不太好用起來(lái)的,甚至就處于一個(gè)關(guān)機(jī)的狀態(tài),今年確實(shí)我們想租,他們說(shuō)已經(jīng)租完了,沒(méi)有了。

鳳凰網(wǎng)科技:之前聽(tīng)說(shuō)很多大廠本來(lái)都有自己開(kāi)發(fā)的卡,但是自己的大模型也沒(méi)有用自己的卡,為什么沒(méi)用起來(lái)?

湯雄超:也不能說(shuō)完全沒(méi)有用起來(lái),可能就是相對(duì)用的比例沒(méi)有那么的高,因?yàn)槲矣X(jué)得主要還是英偉達(dá)的卡設(shè)計(jì)的水平,所能獲得的全球最先進(jìn)的產(chǎn)能,以及多年以來(lái)維持的生態(tài)上的優(yōu)勢(shì),使得業(yè)務(wù)部門在有選擇的情況下,還是會(huì)傾向于用比較簡(jiǎn)單易用的、性價(jià)比高的英偉達(dá)的卡。

鳳凰網(wǎng)科技:所以這可能對(duì)國(guó)產(chǎn)算力的發(fā)展也是個(gè)阻礙。

湯雄超:我對(duì)國(guó)產(chǎn)芯片長(zhǎng)期發(fā)展之后的性價(jià)比優(yōu)勢(shì)是比較有信心的。因?yàn)閺拈L(zhǎng)期的角度來(lái)看,從過(guò)往的經(jīng)驗(yàn)來(lái)看,我覺(jué)得國(guó)產(chǎn)的東西在性價(jià)比上面卷贏國(guó)外沒(méi)有什么大的問(wèn)題,但肯定是需要有一個(gè)發(fā)展的過(guò)程。

鳳凰網(wǎng)科技:今年對(duì)國(guó)產(chǎn)算力,會(huì)有一個(gè)比較明顯的曲線變化嗎?

湯雄超:我覺(jué)得受太多因素的影響,我很難去評(píng)估什么時(shí)候會(huì)發(fā)生一個(gè)變化。首先國(guó)內(nèi)的芯片設(shè)計(jì)水平肯定是在持續(xù)的發(fā)展,包括我們合作了這么多家芯片公司,也感覺(jué)到大家新一代的芯片都會(huì)比老一代的有一個(gè)非常大的提升。

但我覺(jué)得可能會(huì)有很多偶然因素在里面。另外在軟件生態(tài)上的話,我覺(jué)得也是看大家生態(tài)共建的水平怎么樣,這本身也是我們把赤兔開(kāi)源出來(lái),希望大家一起來(lái)做的事情。

鳳凰網(wǎng)科技:你們現(xiàn)在覺(jué)得哪些國(guó)產(chǎn)芯片的表現(xiàn)比較好?

湯雄超:如果我們看的話,去年也有一些國(guó)產(chǎn)芯片公司,已經(jīng)開(kāi)始走IPO的流程了,這些其實(shí)就相對(duì)來(lái)說(shuō),是比較成熟的,已經(jīng)迭代了好幾個(gè)版本。芯片行業(yè)的話,雖然大家在做設(shè)計(jì)的時(shí)候都會(huì)考慮到很多,但確實(shí)有很多問(wèn)題是要在使用中,在社區(qū)里面才會(huì)有反饋的,就包括我們?cè)?010 年左右的時(shí)候,清華實(shí)驗(yàn)室這邊就在搞英偉達(dá)CUDA的這些東西,其實(shí)那個(gè)時(shí)候也感覺(jué)各種問(wèn)題。因?yàn)橹按蠹叶际窃谟⑻貭?X86 上面做,英特爾的東西已經(jīng)很成熟了,一做CUDA就發(fā)現(xiàn)適配性不好,自己也不習(xí)慣,一度感覺(jué)也沒(méi)那么好用。但是過(guò)了幾年之后,等到 2015 年的時(shí)候再想在CUDA上面去找一些它的缺陷就比較困難了。到現(xiàn)在的話實(shí)際相對(duì)來(lái)說(shuō)CUDA生態(tài)也都變成一個(gè)很成熟的生態(tài),所以我覺(jué)得這些其實(shí)都是要有一個(gè)發(fā)展的過(guò)程。



談AI創(chuàng)企的發(fā)展:大模型跑起來(lái)只是第一步,還有很多問(wèn)題沒(méi)解決

鳳凰網(wǎng)科技:你們?cè)诔闪⒅?“助力國(guó)產(chǎn)化”“大規(guī)模集群訓(xùn)練”等標(biāo)簽讓人印象深刻,現(xiàn)在公司發(fā)展了一年多,你認(rèn)為這些代表你們的標(biāo)簽有變化嗎?

湯雄超:我們之所以給別人留下了這個(gè)印象,只是說(shuō)我們的技術(shù)特長(zhǎng)和既往的項(xiàng)目經(jīng)驗(yàn),在國(guó)產(chǎn)化方面積累是非常深的,特別是在大規(guī)模集群的訓(xùn)練方面。我們當(dāng)時(shí)成立公司的時(shí)候,其實(shí)主要考慮到我們自身的團(tuán)隊(duì)基因或者說(shuō)背景,我們有非常強(qiáng)的并行計(jì)算方面的,以及像這種芯片架構(gòu)適配方面的優(yōu)勢(shì)。因?yàn)槲覀冞^(guò)去做高性能計(jì)算,10年前就遇到過(guò)今天芯片行業(yè)的問(wèn)題,今天AI領(lǐng)域發(fā)生的一切,我們都非常熟悉。但是通過(guò)一些軟硬件的協(xié)同設(shè)計(jì),做一些比較好的軟件實(shí)現(xiàn)的話,還是能夠把國(guó)產(chǎn)算力充分發(fā)揮起來(lái)的。本身如果從性價(jià)比的角度去看,我們會(huì)發(fā)現(xiàn)這種國(guó)外最先進(jìn)的算力,是有高溢價(jià)的,如果真的愿意在軟件上面去做一些工作的話,其實(shí)最終國(guó)產(chǎn)的算力方案未必就不如國(guó)外的。

AI的發(fā)展肯定對(duì)算力的需求是越來(lái)越大的,首先,模型越來(lái)越大,AI的滲透率也會(huì)越來(lái)越高,另外從長(zhǎng)期來(lái)看的話,可能會(huì)更多的轉(zhuǎn)向一個(gè)自主可控的國(guó)產(chǎn)算力趨勢(shì)。兩個(gè)明確的大方向下,我們覺(jué)得做這樣的一個(gè)公司,就是非常正確的事情。

鳳凰網(wǎng)科技:你覺(jué)得大模型的數(shù)據(jù)可能會(huì)越來(lái)越大,但現(xiàn)在各家可能已經(jīng)不再去刻意卷參數(shù)了,甚至是不做預(yù)訓(xùn)練了?

湯雄超:我們現(xiàn)在看到的是說(shuō)預(yù)訓(xùn)練的玩家可能會(huì)進(jìn)一步的減少。就是可能有一些實(shí)力特別強(qiáng)的,還是會(huì)堅(jiān)持去做預(yù)訓(xùn)練,對(duì)于更多玩家來(lái)說(shuō),他可能覺(jué)得我自己做預(yù)訓(xùn)練,不如等著這些寡頭來(lái)推出新的開(kāi)源模型,像前段時(shí)間DeepSeek又發(fā)了V3的更新版,阿里的千問(wèn),其實(shí)更新都挺快的,所以對(duì)于很多參與者來(lái)說(shuō),自己做預(yù)訓(xùn)練可能就不如等一下這些技術(shù)寡頭再給大家發(fā)一個(gè)新的福利。

鳳凰網(wǎng)科技:所以六小龍可能得換條路走?

湯雄超:我覺(jué)得對(duì)于更多新玩家來(lái)說(shuō),如果是做這種基于公開(kāi)數(shù)據(jù)集的預(yù)訓(xùn)練的話,一個(gè)是貴,一個(gè)是感覺(jué)還不如等大廠發(fā),另外一個(gè)角度上,對(duì)于一些做垂域大模型的公司來(lái)說(shuō),他可以深入到不同行業(yè)里面去,針對(duì)這些行業(yè)私有數(shù)據(jù)去做微調(diào),做這種后訓(xùn)練。這塊也比較有市場(chǎng),因?yàn)槲覀兇_實(shí)看到通用大模型也不是全知全能的,肯定也需要獲得一些行業(yè)的特有知識(shí),才能夠在垂類里面有更好的表現(xiàn)。

鳳凰網(wǎng)科技:你們現(xiàn)在做哪些類型的需求多一些?

湯雄超:其實(shí)都會(huì)有,我們現(xiàn)在更偏向于做這種本地化部署的業(yè)務(wù),因?yàn)槲覄倓傉f(shuō)推理業(yè)務(wù),其實(shí)你可以簡(jiǎn)單分成,云上的MaaS和線下本地化部署。本地化部署的話,顯然大家一說(shuō)就覺(jué)得像政企肯定會(huì)有很多這種強(qiáng)的數(shù)據(jù)安全的合規(guī)需求。其實(shí)也有很多我們所謂的這種私企或者民營(yíng)企業(yè),其實(shí)他們也會(huì)有比較強(qiáng)的數(shù)據(jù)安全的要求,比如說(shuō)金融行業(yè)或者法律行業(yè)。

我們覺(jué)得DeepSeek對(duì)大家有一個(gè)啟蒙的作用,讓大家意識(shí)到用大模型是大勢(shì)所趨了。或者說(shuō)之前我覺(jué)得大模型更多是c端的在玩,現(xiàn)在就是強(qiáng)調(diào)了私有化部署,大家都會(huì)自問(wèn)我的企業(yè)是不是真的要把大模型用起來(lái)了,所以現(xiàn)在不管是咨詢的還是真實(shí)迫切需要部署的,真的還挺多的。

鳳凰網(wǎng)科技:您說(shuō)到清程更偏向于做這種本地化部署的業(yè)務(wù),現(xiàn)在市場(chǎng)上對(duì)MaaS也有一些不同的聲音,您如何看待MaaS?

湯雄超:首先關(guān)于MaaS的需求是真實(shí)存在的,大家都是有共識(shí)的,就包括我自己也會(huì)調(diào)API來(lái)做一些開(kāi)發(fā),因?yàn)榇_實(shí)調(diào)云上API比自己部署要稍微簡(jiǎn)單。

但是大家討論比較多的是,有人用產(chǎn)品,但是你做產(chǎn)品也要有成本,那在商業(yè)上是不是盈利的?我覺(jué)得其實(shí)因素會(huì)非常的多,比如說(shuō)算力的成本,產(chǎn)品的調(diào)用量,包括客戶付費(fèi)的這種意愿等等,我覺(jué)得這些平時(shí)都比較復(fù)雜,而且這幾個(gè)因素本身不是固定不變的。

我們也有MaaS,也有一些客戶,他可能在私有化部署的時(shí)候,就是不想買硬件。如果我先租的話,先云上部署的話,先試試東西是不是真的有用,然后之后再說(shuō),我覺(jué)得很多東西的存在價(jià)值肯定是多維的。

所以我是覺(jué)得MaaS能不能盈利的話,其實(shí)可能會(huì)要用發(fā)展的眼光去看待,并不能一概而論。首先算力成本是不是會(huì)持續(xù)的下降?因?yàn)榘凑找郧拔覀兯熘倪@種摩爾定律來(lái)說(shuō),其實(shí)算力成本就是會(huì)逐年下降的。第二點(diǎn)是模型的能力,或者說(shuō)同樣尺寸的模型能提供的能力是不是能夠持續(xù)的增長(zhǎng)?我現(xiàn)在需要671B的模型,提供了一個(gè)表現(xiàn),是不是過(guò)兩年之后我只要100B的模型就可以了?另外就是客戶付費(fèi)的意愿,現(xiàn)在如果是單純的聊天,我肯定不愿意付很多錢,但是如果他未來(lái)幫我承接了很多很有價(jià)值的業(yè)務(wù),那可能我付費(fèi)的能力就提升了,比如現(xiàn)在收費(fèi)標(biāo)準(zhǔn)是100萬(wàn)token16塊錢,未來(lái)如果是高價(jià)值業(yè)務(wù)的話,可以提高價(jià)格啊。

鳳凰網(wǎng)科技:目前本地化部署這塊業(yè)務(wù),清程的研發(fā)壓力會(huì)在哪些方面?

湯雄超:主要還是看我們追求一個(gè)什么樣的目標(biāo),因?yàn)楸旧砦覀兪窍胂驑I(yè)界提供更加靈活的算力底座,包括支持不同架構(gòu)的算力芯片。除了英偉達(dá)的這種旗艦的顯卡之外,也會(huì)支持一些老一點(diǎn)的型號(hào),或者是一些國(guó)產(chǎn)GPU卡。因?yàn)橛泻芏嗥髽I(yè)其實(shí)它也是先從低門檻的入手開(kāi)始,會(huì)慢慢的擴(kuò)大,所以我們會(huì)希望說(shuō)算力底座是有彈性可伸縮的,你一開(kāi)始不太好說(shuō)直接批一個(gè)200萬(wàn)的預(yù)算來(lái)買東西,而是買一個(gè)比如說(shuō)幾萬(wàn)、十幾萬(wàn)的這種小的機(jī)器,上面可能就插了一兩張卡,等到有預(yù)算的時(shí)候,就補(bǔ)到8卡的一臺(tái)機(jī)器。

其實(shí)這兩點(diǎn)也是我們前段時(shí)間跟清華聯(lián)合發(fā)布開(kāi)源赤兔引擎時(shí)提到的,我們會(huì)專注于做靈活的部署方案跟多元化的算力底座的支持,但是要支持這兩個(gè)特性的話,確實(shí)會(huì)給研發(fā)帶來(lái)一些額外的量。

鳳凰網(wǎng)科技:比如說(shuō)哪些額外的工作量?

湯雄超:如果我只針對(duì)英偉達(dá)的H20來(lái)做,那我就只做一款芯片,但如果說(shuō)我要支持更多的底層算力芯片的話,我需要考慮不同芯片的特性。從另外一個(gè)角度來(lái)說(shuō),雖然這么做短期內(nèi)會(huì)難一些,但是我們還是會(huì)往這個(gè)方向去。這一方面還是剛剛提到,我們從公司成立之初,就覺(jué)得長(zhǎng)期的國(guó)產(chǎn)化趨勢(shì)是比較明確的。從另外一個(gè)角度來(lái)說(shuō),我們的AI行業(yè)肯定不可能一直受制于人,你現(xiàn)在覺(jué)得H卡好用,但是明天就傳來(lái)說(shuō)H20也要禁售,然后就一波漲價(jià),當(dāng)然后來(lái)也沒(méi)有禁售(編者注:本次對(duì)話發(fā)生于3月中下旬)。對(duì)我們來(lái)說(shuō)就相當(dāng)于算力底座是不可靠的,肯定不是一個(gè)好消息。為了能夠滿足這種不同芯片架構(gòu)的適配,其實(shí)我們也有一些這種自動(dòng)化的代碼生成的手段來(lái)加速這樣一個(gè)研發(fā)的過(guò)程,就包括其實(shí)去年我們一直在公開(kāi)場(chǎng)合說(shuō),我們主要是三塊產(chǎn)品,一塊是大規(guī)模的訓(xùn)練系統(tǒng),一塊是高性能推理引擎,還有一個(gè)就是智能編譯器,可以去做一些自動(dòng)化的高性能代碼生成,這樣就可以減少一些算子開(kāi)發(fā)的人力,加快我們的研發(fā)過(guò)程。

不過(guò)即使加速了也還是會(huì)有一些額外的壓力,但是我們覺(jué)得事情是值得做的,就包括我們前段時(shí)間開(kāi)源赤兔,在英偉達(dá)平臺(tái)上可能只是一件錦上添花的事情,但是對(duì)國(guó)產(chǎn)算力來(lái)說(shuō),它就是成本降一半的一個(gè)非常有價(jià)值的事情。所以我們研發(fā)團(tuán)隊(duì)做完了之后,確實(shí)也比較有成就感,大家其實(shí)也都挺開(kāi)心的。

鳳凰網(wǎng)科技:你們現(xiàn)在人才方面的壓力會(huì)比較大嗎?

湯雄超:壓力挺大的,我們的技術(shù)門檻確實(shí)比較高。但我們公司還是保持嚴(yán)選狀態(tài),除了技術(shù)上的能力,更多看重人才對(duì)我們團(tuán)隊(duì)文化的認(rèn)同。

鳳凰網(wǎng)科技:你們現(xiàn)在更需要哪些方面的人才?

湯雄超:因?yàn)槲覀儠?huì)持續(xù)的去做好推理引擎,AI系統(tǒng)層面的人才是我們一直關(guān)注的。另外因?yàn)?AI 應(yīng)用落地的速度可能會(huì)加快,所以了解上層具體場(chǎng)景的解決方案的同學(xué),我們最近也聊的比較多。大模型跑起來(lái)本身只是 AI 應(yīng)用的第一步,一個(gè)基礎(chǔ)的聊天窗口,它能解決一些問(wèn)題,但是也有很多問(wèn)題它不太好解決。最典型的,幾乎所有的企業(yè)都想要一個(gè)知識(shí)庫(kù),都想要有一個(gè)智能問(wèn)答機(jī)器人,那其實(shí)不是說(shuō)有一個(gè) API就結(jié)束了,我還是要去做一些事情。可能是通過(guò)微調(diào)的方式,或者通過(guò)一些別的方式,才能滿足千行百業(yè)的實(shí)際需求。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
夫妻離婚8年,丈夫去南京出差住五星級(jí)酒店,保潔阿姨讓他驚呆

夫妻離婚8年,丈夫去南京出差住五星級(jí)酒店,保潔阿姨讓他驚呆

林林故事揭秘
2025-04-16 17:33:12
全網(wǎng)瘋傳“高鐵上插花視頻”:這種畸形儀式感,正在禍害中國(guó)女生

全網(wǎng)瘋傳“高鐵上插花視頻”:這種畸形儀式感,正在禍害中國(guó)女生

小故事娛樂(lè)
2024-12-04 16:42:02
法國(guó)球員炮轟WTT:擺4張桌子就收費(fèi)350,八強(qiáng)獎(jiǎng)金才370,合理嗎?

法國(guó)球員炮轟WTT:擺4張桌子就收費(fèi)350,八強(qiáng)獎(jiǎng)金才370,合理嗎?

十點(diǎn)街球體育
2025-04-25 00:30:02
央視撐腰也質(zhì)疑?華為抬上L3自動(dòng)駕駛被指虛假宣傳、新文字游戲?

央視撐腰也質(zhì)疑?華為抬上L3自動(dòng)駕駛被指虛假宣傳、新文字游戲?

道哥說(shuō)車
2025-04-24 10:59:22
34+10+5,超級(jí)新星專打硬仗,帶隊(duì)奪冠,你可成聯(lián)盟第一人

34+10+5,超級(jí)新星專打硬仗,帶隊(duì)奪冠,你可成聯(lián)盟第一人

硯底沉香
2025-04-25 02:14:04
美媒:勇士今夏以庫(kù)明加和穆迪作為籌碼,交易引進(jìn)“億元先生”?

美媒:勇士今夏以庫(kù)明加和穆迪作為籌碼,交易引進(jìn)“億元先生”?

仰臥撐FTUer
2025-04-24 09:41:12
安徽一市委書記調(diào)整

安徽一市委書記調(diào)整

上觀新聞
2025-04-24 20:10:31
39歲高考陪讀媽媽,出軌后說(shuō)出實(shí)話,揭開(kāi)陪讀媽媽群體真實(shí)狀態(tài)

39歲高考陪讀媽媽,出軌后說(shuō)出實(shí)話,揭開(kāi)陪讀媽媽群體真實(shí)狀態(tài)

蘇大強(qiáng)專欄
2024-07-12 14:32:55
心理學(xué):怎樣停止大腦里的胡思亂想

心理學(xué):怎樣停止大腦里的胡思亂想

松果正念袁老師
2025-02-28 11:28:36
浙江一29歲太太,因“樓道一玄關(guān)柜”走紅,還擺滿花草,太壯觀了

浙江一29歲太太,因“樓道一玄關(guān)柜”走紅,還擺滿花草,太壯觀了

手工制作阿愛(ài)
2025-04-25 02:53:48
柬埔寨德崇扶南運(yùn)河項(xiàng)目正式復(fù)工

柬埔寨德崇扶南運(yùn)河項(xiàng)目正式復(fù)工

大道微言
2025-04-24 10:21:50
拒絕逆轉(zhuǎn)!米切爾30+6+6騎士滅熱火2-0,希羅33+6+5

拒絕逆轉(zhuǎn)!米切爾30+6+6騎士滅熱火2-0,希羅33+6+5

湖人崛起
2025-04-24 10:06:36
外交部回應(yīng)菲律賓涉仁愛(ài)礁言論:菲方7輪運(yùn)補(bǔ)均提前通報(bào)中方

外交部回應(yīng)菲律賓涉仁愛(ài)礁言論:菲方7輪運(yùn)補(bǔ)均提前通報(bào)中方

財(cái)聯(lián)社
2025-04-24 15:30:17
26歲朝鮮女孩遠(yuǎn)嫁新疆多年,十年后啟程回家,丈夫給了6888元

26歲朝鮮女孩遠(yuǎn)嫁新疆多年,十年后啟程回家,丈夫給了6888元

秋風(fēng)專欄
2025-04-24 10:49:29
悲歌壯懷,淞滬會(huì)戰(zhàn)國(guó)軍齊赴上海,以下省參戰(zhàn)部隊(duì)幾乎全部戰(zhàn)死

悲歌壯懷,淞滬會(huì)戰(zhàn)國(guó)軍齊赴上海,以下省參戰(zhàn)部隊(duì)幾乎全部戰(zhàn)死

史政先鋒
2024-11-01 15:34:13
球市慘淡G3灰熊主場(chǎng)票價(jià):最低僅12美元 折合人民幣87.44元

球市慘淡G3灰熊主場(chǎng)票價(jià):最低僅12美元 折合人民幣87.44元

直播吧
2025-04-24 22:49:10
偶遇董力阿諾帶娃出游,7歲兒子正臉曝光,皮膚白皙像媽媽,好帥

偶遇董力阿諾帶娃出游,7歲兒子正臉曝光,皮膚白皙像媽媽,好帥

春序娛樂(lè)
2025-04-24 17:27:46
2018年,中興給美國(guó)跪了,交了146億人民幣,得到了什么?

2018年,中興給美國(guó)跪了,交了146億人民幣,得到了什么?

愛(ài)看劇的阿峰
2025-04-22 19:15:50
曼城的痛!25歲阿爾瓦雷斯驚艷破門,現(xiàn)場(chǎng)視角,太絲滑了

曼城的痛!25歲阿爾瓦雷斯驚艷破門,現(xiàn)場(chǎng)視角,太絲滑了

側(cè)身凌空斬
2025-04-25 06:11:17
1960年珠峰歸屬成疑,毛主席問(wèn)尼泊爾:你們打算將珠峰全部劃走?

1960年珠峰歸屬成疑,毛主席問(wèn)尼泊爾:你們打算將珠峰全部劃走?

轉(zhuǎn)身微笑梅
2025-04-23 19:28:57
2025-04-25 06:55:00
鳳凰網(wǎng)科技 incentive-icons
鳳凰網(wǎng)科技
鳳凰科技,讓科技更性感
3219文章數(shù) 1052關(guān)注度
往期回顧 全部

科技要聞

3.99萬(wàn)"白菜價(jià)",人形機(jī)器人半馬亞軍爆單

頭條要聞

烏克蘭基輔遭大規(guī)模襲擊 已致12人死亡

頭條要聞

烏克蘭基輔遭大規(guī)模襲擊 已致12人死亡

體育要聞

拒當(dāng)黑八倒霉蛋!廣廈又站到了遼寧面前

娛樂(lè)要聞

黃曉明生二胎!葉柯產(chǎn)女住上海高級(jí)醫(yī)院

財(cái)經(jīng)要聞

特朗普考慮對(duì)華關(guān)稅分級(jí)方案

汽車要聞

純電CLA L及Vision V概念車 奔馳這次玩大了

態(tài)度原創(chuàng)

本地
親子
時(shí)尚
公開(kāi)課
軍事航空

本地新聞

云游湖北 | 漢川文旅新體驗(yàn):千年陶藝邂逅湖光

親子要聞

“懷孕同事想讓我每天幫她打飯”上熱搜:遠(yuǎn)離你身邊的巨嬰思維者

比T恤更時(shí)髦,它才是2025最火的上衣

公開(kāi)課

李玫瑾:為什么性格比能力更重要?

軍事要聞

紹伊古:不排除俄羅斯恢復(fù)核試驗(yàn)的可能

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版 主站蜘蛛池模板: 龙胜| 新巴尔虎左旗| 枞阳县| 阳原县| 中方县| 丰镇市| 济宁市| 贵德县| 宁波市| 南乐县| 德保县| 色达县| 隆尧县| 当涂县| 临沭县| 肥西县| 松溪县| 广灵县| 新民市| 和平区| 迁安市| 都江堰市| 筠连县| 桂林市| 河源市| 团风县| 原阳县| 奉化市| 陇西县| 阆中市| 太康县| 响水县| 介休市| 元阳县| 岳阳县| 化隆| 琼结县| 咸宁市| 和静县| 四会市| 铁力市|