在沖向 AI PC 的賽道上,每一個(gè)芯片、設(shè)備企業(yè)都生怕落后。
這場(chǎng)競(jìng)速賽,目前蘋果生態(tài)大幅領(lǐng)先,愛范兒在上周的 Mac Studio 評(píng)測(cè)中,成功在本地部署并運(yùn)行 DeepSeek Q4 量化版 671B 和 70B 版本,而且 token 吞吐性能不錯(cuò),展現(xiàn)了 M3 Ultra 芯片以及高達(dá) 512GB 統(tǒng)一內(nèi)存的實(shí)力。
而在 x86 陣營(yíng)這邊,目前最有競(jìng)爭(zhēng)力的「車隊(duì)」AMD,正在試圖加速超車。
在 3 月 18 日舉辦的 AMD AI PC 創(chuàng)新峰會(huì)上,公司高級(jí)副總裁、計(jì)算與圖形總經(jīng)理 Jack Huynh 展示了在 AMD 架構(gòu)筆記本電腦上運(yùn)行 DeepSeek 大模型的能力。
根據(jù)現(xiàn)場(chǎng)展示,一臺(tái)搭載 AMD 銳龍 AI Max+ 395 處理器的筆記本電腦,順利運(yùn)行了 DeepSeek-通義千問融合 7B 大模型。Token 秒速并沒有公開,但根據(jù)現(xiàn)場(chǎng)肉眼觀測(cè)的結(jié)果,結(jié)合我們過往在不同機(jī)型上測(cè)試的經(jīng)驗(yàn),現(xiàn)場(chǎng)速度應(yīng)該至少能夠達(dá)到 15 tok/s 以上。
需要說明的是,根據(jù)現(xiàn)場(chǎng) demo 區(qū)顯示,這一部署和運(yùn)行結(jié)果依賴 AMD StrixHalo LLM 軟件,一個(gè) AMD 開發(fā)的大模型運(yùn)行環(huán)境。根據(jù)我們的理解,背后邏輯簡(jiǎn)單來說,AMD 會(huì)對(duì)支持的大模型進(jìn)行內(nèi)部?jī)?yōu)化,顯著降低單位 token 激活參數(shù)成本,然后再將支持能力通過銳龍 AI 軟件實(shí)裝到用戶本地設(shè)備。
而銳龍 AI Max 處理器家族本身也支持了更高的顯存分配能力。在現(xiàn)場(chǎng)我們看到,AI Max 支持最高 96GB 的顯存分配,讓處理器集顯獲得了高端獨(dú)立顯卡才能實(shí)現(xiàn)的性能,而這一性能既可以用于 AI 訓(xùn)練和推理計(jì)算,也可以用于游戲。
經(jīng)過優(yōu)化之后,參數(shù)量再大也不愁。在 demo 區(qū)的示例中我們看到,前述同款芯片在華碩 ROG 幻 X 2025 款筆記本電腦上,最高可以運(yùn)行 Meta 開發(fā)的 Llama 3.1 70B 大語(yǔ)言模型。
盡管參數(shù)量極大,過往對(duì)硬件要求也極高,遠(yuǎn)超過去業(yè)界對(duì)于移動(dòng)計(jì)算設(shè)備本地推理能力的認(rèn)知上限——筆記本電腦現(xiàn)在也可以順利且輕松地運(yùn)行數(shù)百億參數(shù)量的大模型了。
AMD 這樣做的目的,是確保基于大模型的企業(yè)級(jí)應(yīng)用和科研能力,能夠被普及到 x86 陣營(yíng)的筆記本,甚至配置更輕便的移動(dòng)計(jì)算設(shè)備。目前,AMD AI PC 環(huán)境支持 DeepSeek 1.5B、7B 等主流型號(hào)的大模型。
如果筆記本不足夠的話,AMD 也為真正的重型用戶提供了能夠運(yùn)行 DeepSeek R1 全參數(shù)大模型的服務(wù)器方案,領(lǐng)先了英偉達(dá)一步(后者可能會(huì)在明天凌晨更新 AI 計(jì)算集群模塊化產(chǎn)品)。
現(xiàn)場(chǎng)展示了兩種不同方案,其一是 AMD 自主的方案,基于 vllm 框架,采用 8 x W7900/78000 顯卡,可以完全離線本地部署 DeepSeek 671B,為企業(yè)內(nèi)部研發(fā)和知識(shí)產(chǎn)權(quán)保駕護(hù)航。
其二是 AMD 和群聯(lián)電子合作的 aiDAPTIV+ 方案,大致邏輯是讓顯卡通過 NAND 閃存擴(kuò)展內(nèi)存,從而打破單卡的顯存瓶頸。通過現(xiàn)有 AMD 顯卡,同樣可以在單機(jī)的形態(tài)下實(shí)現(xiàn) DeepSeek 671B 全參數(shù)級(jí)別訓(xùn)練的能力。
當(dāng)然,大多數(shù)人只是純粹的 AI 應(yīng)用用戶,而非開發(fā)者。所以 AMD 在這次峰會(huì)現(xiàn)場(chǎng)也和 OEM 合作伙伴一起,展示了各類主流形態(tài)的消費(fèi)級(jí) AI 應(yīng)用。
很有意思的是現(xiàn)場(chǎng)的 demo 之一,由清醒異構(gòu)開發(fā),基于 AMD Ryzen AI 平臺(tái)的大模型圖片生成工具「繪夢(mèng)師」。它支持文生圖、圖生圖、邊畫邊生圖等生成模式,而且完全可以在本地運(yùn)行,不需要聯(lián)網(wǎng)。
再比如聯(lián)想展示的個(gè)人智能體「小天」作為 PC 端的 AI 入口,其背后的大模型可以根據(jù)個(gè)人數(shù)據(jù)訓(xùn)練和優(yōu)化,在前臺(tái)具備任務(wù)分解和規(guī)劃、自然交互、長(zhǎng)期記憶、工具調(diào)用等能力。
最近一年時(shí)間里,AI 技術(shù)發(fā)展的太過于迅猛,能力上限一再提高,大模型可選項(xiàng)也與日俱增。但受制于設(shè)備本地計(jì)算能力,PC 行業(yè)也在面臨很大的挑戰(zhàn)。
而考慮到最大的友商目前面臨非技術(shù)困難,AMD 作為 x86 陣營(yíng)另一個(gè)底層計(jì)算技術(shù)頭部廠商,認(rèn)為自己必須肩負(fù)責(zé)任,迎接挑戰(zhàn),領(lǐng)導(dǎo)變革,讓 AI 能夠真正通過 AI PC 進(jìn)入千家萬戶和千行百業(yè)。
在峰會(huì)上,AMD 給了 OEM 合作伙伴很大的露出機(jī)會(huì)。包括微軟、聯(lián)想、華碩、宏碁、惠普等生態(tài)合作伙伴,紛紛帶來了基于最新 AMD 銳龍 AI 處理器家族的 PC 新品。
AI PC 的品牌和機(jī)型的選擇權(quán)寬度,AI PC 產(chǎn)品本身的大模型運(yùn)算能力,以及不同消費(fèi)級(jí)場(chǎng)景的應(yīng)用豐富度,對(duì)于 PC 品牌和芯片廠商們?cè)?AI 時(shí)代守住本陣營(yíng)市場(chǎng)份額尤為重要。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.