這兩周,各種DeepSeek一體機徹底火了。
目前看,DeepSeek對ToB市場最大的拉動,就是賣服務器硬件的,幾乎所有「鏟子商」全部下場推出一體機,而且還不斷升級換代。
我們盤點了部分一體機廠商↓
其實,2024年就有不少廠商推出了一體機,但銷售不溫不火,關(guān)鍵一點就是沒有太靠譜的可落地模型。
如今,有了DeepSeek這個“免費”當紅炸子雞,開箱即用的一體機立馬成了香餑餑。
甚至,去年很多客戶“大上猛上快上”的算力資源、智算硬件,也真正有了用武之地。
一體機的配置和價格
大家肯定好奇,所謂“滿血一體機”的配置如何?價格大概啥行情?
上周,有特大粉分享了一份某司DeepSeek一體機的內(nèi)部培訓文檔。
我瞄了一眼,看到其中有“滿血一體機”的配置清單。
于是,本著一半求真、一半“調(diào)戲”的目的,我把這個配置清單截圖發(fā)給了DeepSeek,讓它來盤一盤,這樣的一套,需要多少銀子。
你猜DeepSeek怎么說?
DeepSeek竟然把這些配件逐個拆解,噼哩啪啦地算了起來。
我做了截屏,把完整的推理過程和最終的結(jié)果都曬一下。
整個拆解和推理的過程還是比較縝密的,只是最終得出的那個價格吧,屬實有點夸張了,而且配置中的Hxx,應為H20。
接下來群友又爆料,跟原廠銷售打聽了一下,這種配置的一體機的價格大概是150萬左右。
看到這,我只能說:DeepSeek還挺會做人的,報價的時候,給各方都留足了利潤空間。
總體來看,DeepSeek整體拆解邏輯是沒問題的,只是對具體產(chǎn)品配件的市場行情無法精確掌握。
但如果企業(yè)自己通過RAG知識庫,為DeepSeek提供精準的配件價格行情,那么用它來做競品價格分析,絕對是一把好手。
一體機選型建議
關(guān)于一體機的選擇,我們建議以下幾點,僅供甲方老爺們參考↓
?盡量選擇“原生”滿血版一體機:
雖然各種一體機都宣傳支持滿血版DeepSeek,但由于搭配的算力卡能力不同,“滿血”也會打折扣。
DeepSeek V3/R1官方推薦的推理精度是FP8和BF16,而官方只提供FP8權(quán)重的滿血模型,BF16權(quán)重模型需要自行轉(zhuǎn)換。(參見官方文檔第6部分@Github)
理論上講,用原生支持FP8精度的GPU來執(zhí)行推理任務,可以達到最佳滿血效果。
第二選擇是轉(zhuǎn)換為BF16精度,用支持該精度的GPU來推理,精度幾乎無損,但系統(tǒng)開銷會增大,推理效率會降低。
更差的選擇,是把滿血模型量化為int8甚至int4的殘血版,雖然推理效率很高,但是模型精度會大大損失。
這也就是為什么很多人覺得,采用同樣的提示詞提問,市面上那些滿血版DeepSeek,輸出的結(jié)果都不如DeepSeek官方。
其實就是這些“私服”的運營方為了降低算力成本,對滿血模型進行的精度轉(zhuǎn)換或量化。
所以,如果你希望斥巨資買回來的一體機,能和官方DeepSeek一樣聰明,就要讓他原生支持FP8滿血版推理,或者至少也要BF16,別拿INT8/INT4來糊弄。
?盡量選擇有大模型開發(fā)能力的供應商:
一體機買回來、DeepSeek跑起來,并非一勞永逸。
所以,雖然一體機硬件很重要,但不建議選擇“純硬件供應商”的產(chǎn)品。
除了存、算、網(wǎng)、模,還需要一整套的AI工具鏈,讓大模型支持AI應用開發(fā)、知識庫建設、自有業(yè)務場景賦能,以及模型能力的持續(xù)迭代。
DeepSeek不是第一個也不是最后一個爆炸級的模型,相信未來業(yè)界還會有更多驚喜,我們也需要讓一體機與時俱進。
?滿血一體機很貴,預算不夠怎么辦?
從目前看,真·滿血一體機都是百萬級的,預算不夠怎么辦?
如果不是有特別安全要求,選個性能不錯的API也是可以的,先練練手,把智能體開發(fā)、知識庫、業(yè)務整合先跑通,而且可以博采眾長,多家API、多種模型接入。
積極擁抱AI,但也不需要冒進,在DeepSeek這一波引領下,大模型一定會越來越普惠,練好內(nèi)功才是關(guān)鍵!
早成未必有成,晚達未必不達。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.