99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

筆記本跑百億大模型?在 AMD 這里沒問題

0
分享至


在沖向 AI PC 的賽道上,每一個(gè)芯片、設(shè)備企業(yè)都生怕落后。

這場(chǎng)競(jìng)速賽,目前蘋果生態(tài)大幅領(lǐng)先,愛范兒在上周的 Mac Studio 評(píng)測(cè)中,成功在本地部署并運(yùn)行 DeepSeek Q4 量化版 671B 和 70B 版本,而且 token 吞吐性能不錯(cuò),展現(xiàn)了 M3 Ultra 芯片以及高達(dá) 512GB 統(tǒng)一內(nèi)存的實(shí)力。

而在 x86 陣營(yíng)這邊,目前最有競(jìng)爭(zhēng)力的「車隊(duì)」AMD,正在試圖加速超車。

在 3 月 18 日舉辦的 AMD AI PC 創(chuàng)新峰會(huì)上,公司高級(jí)副總裁、計(jì)算與圖形總經(jīng)理 Jack Huynh 展示了在 AMD 架構(gòu)筆記本電腦上運(yùn)行 DeepSeek 大模型的能力。

根據(jù)現(xiàn)場(chǎng)展示,一臺(tái)搭載 AMD 銳龍 AI Max+ 395 處理器的筆記本電腦,順利運(yùn)行了 DeepSeek-通義千問融合 7B 大模型。Token 秒速并沒有公開,但根據(jù)現(xiàn)場(chǎng)肉眼觀測(cè)的結(jié)果,結(jié)合我們過往在不同機(jī)型上測(cè)試的經(jīng)驗(yàn),現(xiàn)場(chǎng)速度應(yīng)該至少能夠達(dá)到 15 tok/s 以上。


需要說明的是,根據(jù)現(xiàn)場(chǎng) demo 區(qū)顯示,這一部署和運(yùn)行結(jié)果依賴 AMD StrixHalo LLM 軟件,一個(gè) AMD 開發(fā)的大模型運(yùn)行環(huán)境。根據(jù)我們的理解,背后邏輯簡(jiǎn)單來說,AMD 會(huì)對(duì)支持的大模型進(jìn)行內(nèi)部?jī)?yōu)化,顯著降低單位 token 激活參數(shù)成本,然后再將支持能力通過銳龍 AI 軟件實(shí)裝到用戶本地設(shè)備。

而銳龍 AI Max 處理器家族本身也支持了更高的顯存分配能力。在現(xiàn)場(chǎng)我們看到,AI Max 支持最高 96GB 的顯存分配,讓處理器集顯獲得了高端獨(dú)立顯卡才能實(shí)現(xiàn)的性能,而這一性能既可以用于 AI 訓(xùn)練和推理計(jì)算,也可以用于游戲。

經(jīng)過優(yōu)化之后,參數(shù)量再大也不愁。在 demo 區(qū)的示例中我們看到,前述同款芯片在華碩 ROG 幻 X 2025 款筆記本電腦上,最高可以運(yùn)行 Meta 開發(fā)的 Llama 3.1 70B 大語(yǔ)言模型。

盡管參數(shù)量極大,過往對(duì)硬件要求也極高,遠(yuǎn)超過去業(yè)界對(duì)于移動(dòng)計(jì)算設(shè)備本地推理能力的認(rèn)知上限——筆記本電腦現(xiàn)在也可以順利且輕松地運(yùn)行數(shù)百億參數(shù)量的大模型了。

AMD 這樣做的目的,是確保基于大模型的企業(yè)級(jí)應(yīng)用和科研能力,能夠被普及到 x86 陣營(yíng)的筆記本,甚至配置更輕便的移動(dòng)計(jì)算設(shè)備。目前,AMD AI PC 環(huán)境支持 DeepSeek 1.5B、7B 等主流型號(hào)的大模型。

如果筆記本不足夠的話,AMD 也為真正的重型用戶提供了能夠運(yùn)行 DeepSeek R1 全參數(shù)大模型的服務(wù)器方案,領(lǐng)先了英偉達(dá)一步(后者可能會(huì)在明天凌晨更新 AI 計(jì)算集群模塊化產(chǎn)品)。

現(xiàn)場(chǎng)展示了兩種不同方案,其一是 AMD 自主的方案,基于 vllm 框架,采用 8 x W7900/78000 顯卡,可以完全離線本地部署 DeepSeek 671B,為企業(yè)內(nèi)部研發(fā)和知識(shí)產(chǎn)權(quán)保駕護(hù)航。


其二是 AMD 和群聯(lián)電子合作的 aiDAPTIV+ 方案,大致邏輯是讓顯卡通過 NAND 閃存擴(kuò)展內(nèi)存,從而打破單卡的顯存瓶頸。通過現(xiàn)有 AMD 顯卡,同樣可以在單機(jī)的形態(tài)下實(shí)現(xiàn) DeepSeek 671B 全參數(shù)級(jí)別訓(xùn)練的能力。


當(dāng)然,大多數(shù)人只是純粹的 AI 應(yīng)用用戶,而非開發(fā)者。所以 AMD 在這次峰會(huì)現(xiàn)場(chǎng)也和 OEM 合作伙伴一起,展示了各類主流形態(tài)的消費(fèi)級(jí) AI 應(yīng)用。

很有意思的是現(xiàn)場(chǎng)的 demo 之一,由清醒異構(gòu)開發(fā),基于 AMD Ryzen AI 平臺(tái)的大模型圖片生成工具「繪夢(mèng)師」。它支持文生圖、圖生圖、邊畫邊生圖等生成模式,而且完全可以在本地運(yùn)行,不需要聯(lián)網(wǎng)。


再比如聯(lián)想展示的個(gè)人智能體「小天」作為 PC 端的 AI 入口,其背后的大模型可以根據(jù)個(gè)人數(shù)據(jù)訓(xùn)練和優(yōu)化,在前臺(tái)具備任務(wù)分解和規(guī)劃、自然交互、長(zhǎng)期記憶、工具調(diào)用等能力。

最近一年時(shí)間里,AI 技術(shù)發(fā)展的太過于迅猛,能力上限一再提高,大模型可選項(xiàng)也與日俱增。但受制于設(shè)備本地計(jì)算能力,PC 行業(yè)也在面臨很大的挑戰(zhàn)。

而考慮到最大的友商目前面臨非技術(shù)困難,AMD 作為 x86 陣營(yíng)另一個(gè)底層計(jì)算技術(shù)頭部廠商,認(rèn)為自己必須肩負(fù)責(zé)任,迎接挑戰(zhàn),領(lǐng)導(dǎo)變革,讓 AI 能夠真正通過 AI PC 進(jìn)入千家萬戶和千行百業(yè)。


在峰會(huì)上,AMD 給了 OEM 合作伙伴很大的露出機(jī)會(huì)。包括微軟、聯(lián)想、華碩、宏碁、惠普等生態(tài)合作伙伴,紛紛帶來了基于最新 AMD 銳龍 AI 處理器家族的 PC 新品。

AI PC 的品牌和機(jī)型的選擇權(quán)寬度,AI PC 產(chǎn)品本身的大模型運(yùn)算能力,以及不同消費(fèi)級(jí)場(chǎng)景的應(yīng)用豐富度,對(duì)于 PC 品牌和芯片廠商們?cè)?AI 時(shí)代守住本陣營(yíng)市場(chǎng)份額尤為重要。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
謝浩男決定不演了!一覺醒來,發(fā)現(xiàn)謝浩男刪除了清明節(jié)視頻

謝浩男決定不演了!一覺醒來,發(fā)現(xiàn)謝浩男刪除了清明節(jié)視頻

魔都姐姐雜談
2025-04-07 10:13:18
觀點(diǎn):現(xiàn)在該停止關(guān)注哈馬斯的謊言了

觀點(diǎn):現(xiàn)在該停止關(guān)注哈馬斯的謊言了

荷蘭豆愛健康
2025-04-07 12:48:58
連平:“對(duì)等關(guān)稅”對(duì)中國(guó)經(jīng)濟(jì)影響幾何?怎樣應(yīng)對(duì)?

連平:“對(duì)等關(guān)稅”對(duì)中國(guó)經(jīng)濟(jì)影響幾何?怎樣應(yīng)對(duì)?

首席經(jīng)濟(jì)學(xué)家論壇
2025-04-08 18:42:34
貴州省3名縣處級(jí)干部接受紀(jì)律審查、監(jiān)察調(diào)查

貴州省3名縣處級(jí)干部接受紀(jì)律審查、監(jiān)察調(diào)查

貴陽(yáng)網(wǎng)
2025-04-07 11:51:24
2025年五一勞動(dòng)節(jié)放假安排:一共休5天!還有4個(gè)好消息要告訴大家

2025年五一勞動(dòng)節(jié)放假安排:一共休5天!還有4個(gè)好消息要告訴大家

小噎論事
2025-04-07 12:34:38
特朗普坐不住了,馬斯克萬萬沒料到

特朗普坐不住了,馬斯克萬萬沒料到

要塞陣地官方
2025-04-07 15:42:51
香港最牛“淫師”有多可怕?一技讓女首富欲罷不能,15年砸錢32億

香港最牛“淫師”有多可怕?一技讓女首富欲罷不能,15年砸錢32億

民間精選故事匯
2025-02-17 08:10:13
19歲蒯紀(jì)聞曬圖紀(jì)念生涯首進(jìn)中超比賽名單,王鈺棟:等你了親愛的

19歲蒯紀(jì)聞曬圖紀(jì)念生涯首進(jìn)中超比賽名單,王鈺棟:等你了親愛的

直播吧
2025-04-08 09:57:16
出租房暗藏非法代孕活動(dòng)?杭州市衛(wèi)健委:查封涉事場(chǎng)所

出租房暗藏非法代孕活動(dòng)?杭州市衛(wèi)健委:查封涉事場(chǎng)所

界面新聞
2025-04-08 13:21:29
深圳交警發(fā)文!全市嚴(yán)查

深圳交警發(fā)文!全市嚴(yán)查

深圳晚報(bào)
2025-04-08 18:21:28
4月6日俄烏:烏克蘭舉國(guó)哀悼,俄總統(tǒng)支持率創(chuàng)新高

4月6日俄烏:烏克蘭舉國(guó)哀悼,俄總統(tǒng)支持率創(chuàng)新高

山河路口
2025-04-06 17:40:03
這兩所985大學(xué)嚴(yán)重“掉隊(duì)”,沒有A+學(xué)科,經(jīng)常被稱為末流985

這兩所985大學(xué)嚴(yán)重“掉隊(duì)”,沒有A+學(xué)科,經(jīng)常被稱為末流985

教育導(dǎo)向分享
2025-04-05 20:34:43
重磅!上海五大新城再出臺(tái)重大規(guī)劃!

重磅!上海五大新城再出臺(tái)重大規(guī)劃!

小蜜情感說
2025-04-08 15:19:16
10年前成功奪冠,震驚全美的杜克四少后來發(fā)展如何??jī)H1人還在NBA

10年前成功奪冠,震驚全美的杜克四少后來發(fā)展如何??jī)H1人還在NBA

大衛(wèi)的籃球故事
2025-04-07 17:58:33
宋清輝被胖東來起訴后,丑惡一幕出現(xiàn):跳樓身亡的兒子成應(yīng)戰(zhàn)工具

宋清輝被胖東來起訴后,丑惡一幕出現(xiàn):跳樓身亡的兒子成應(yīng)戰(zhàn)工具

不寫散文詩(shī)
2025-04-08 00:11:40
不怕打仗!臺(tái)海演習(xí)后中美兩軍在上海開會(huì),解放軍把話挑明了

不怕打仗!臺(tái)海演習(xí)后中美兩軍在上海開會(huì),解放軍把話挑明了

林子說事
2025-04-08 13:08:43
小米正式辟謠回應(yīng)!評(píng)論區(qū)被網(wǎng)友圍觀,盧偉冰罕見強(qiáng)硬表態(tài)

小米正式辟謠回應(yīng)!評(píng)論區(qū)被網(wǎng)友圍觀,盧偉冰罕見強(qiáng)硬表態(tài)

牛斯克
2025-04-07 21:00:19
國(guó)務(wù)院國(guó)資委:全力支持央企控股上市公司,不斷加大增持回購(gòu)力度

國(guó)務(wù)院國(guó)資委:全力支持央企控股上市公司,不斷加大增持回購(gòu)力度

每日經(jīng)濟(jì)新聞
2025-04-08 15:16:01
隱藏身份?美媒:當(dāng)對(duì)陣火箭時(shí) 追夢(mèng)就換上了這身皮膚

隱藏身份?美媒:當(dāng)對(duì)陣火箭時(shí) 追夢(mèng)就換上了這身皮膚

直播吧
2025-04-08 11:44:13
33歲李志賢屠戮申真谞兩條龍 逆勢(shì)爆發(fā)二奪韓國(guó)麥馨杯冠軍

33歲李志賢屠戮申真谞兩條龍 逆勢(shì)爆發(fā)二奪韓國(guó)麥馨杯冠軍

野狐圍棋
2025-04-08 16:47:14
2025-04-08 19:16:49
愛范兒 incentive-icons
愛范兒
消費(fèi)科技第一媒體
37106文章數(shù) 2597899關(guān)注度
往期回顧 全部

數(shù)碼要聞

三星三防平板 Tab Active 5 Pro 通過認(rèn)證:驍龍 7s Gen 3 芯片

頭條要聞

美媒談"貿(mào)易戰(zhàn)":"明代中國(guó)"已給特朗普政府敲響警鐘

頭條要聞

美媒談"貿(mào)易戰(zhàn)":"明代中國(guó)"已給特朗普政府敲響警鐘

體育要聞

極限一穿四,他把韓國(guó)主場(chǎng)打到靜音

娛樂要聞

尷尬!甲亢哥想聯(lián)動(dòng)大張偉,卻被迫錄節(jié)目

財(cái)經(jīng)要聞

"中國(guó)版平準(zhǔn)基金"橫空出世 央行表態(tài)

科技要聞

iPhone在美會(huì)賣2萬元上嗎?在中國(guó)會(huì)漲價(jià)嗎

汽車要聞

一季度車企銷量:下沉與上行,覺醒與迷惘

態(tài)度原創(chuàng)

教育
藝術(shù)
健康
公開課
軍事航空

教育要聞

允許孩子小錯(cuò)不斷,他才能大錯(cuò)不犯

藝術(shù)要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

在中國(guó),到底哪些人在吃“偉哥”?

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

特朗普對(duì)俄不滿 指責(zé)俄持續(xù)襲擊烏克蘭

無障礙瀏覽 進(jìn)入關(guān)懷版 主站蜘蛛池模板: 南川市| 三江| 浪卡子县| 临武县| 防城港市| 广州市| 上栗县| 克拉玛依市| 舟曲县| 鄄城县| 镇安县| 芦溪县| 醴陵市| 湖北省| 宜良县| 鄯善县| 台南县| 和政县| 来宾市| 雷州市| 旺苍县| 湘潭县| 原平市| 武强县| 景谷| 互助| 全州县| 泸溪县| 泗阳县| 锡林浩特市| 嘉兴市| 巴里| 漾濞| 桂阳县| 安国市| 渝中区| 巴南区| 昔阳县| 宣威市| 杭州市| 从江县|