很多時(shí)候工程架構(gòu)解決的是復(fù)雜性問(wèn)題，對(duì)于 LLM 來(lái)說(shuō)，模型結(jié)構(gòu)相對(duì)固定，結(jié)構(gòu)核心部分已經(jīng)變成全手寫以達(dá)成最佳性能，好像所有的 LLM 模型幾乎可以使用同一套 API。

AI推理需求即將爆發(fā)，甚至也可以說(shuō)已經(jīng)爆發(fā)的2025年，真正適配AI大模型大規(guī)模落地的底層AI infra應(yīng)該是什么樣的？

DeepSeek V3 作為目前公開(kāi)資料可以看到的最復(fù)雜、最精巧的大模型 infra 設(shè)計(jì)，緊密結(jié)合算法和Infra，可以說(shuō)在模型的部署上是最高端的一波了，真正發(fā)揮出了模型的極致性能。DeepSeek 把路走通以后，也許未來(lái)很多大模型框架，都會(huì)往沿著這個(gè)方向繼續(xù)演進(jìn)。

我整理了DeepSeek的資源大全，涉及到DeepSeek 的官方鏈接、開(kāi)源項(xiàng)目、專業(yè)的技術(shù)分析文章，以及不斷更新的行業(yè)資訊，你想知道的關(guān)于 DeepSeek 的一切，都可以在這里找到。掃碼免費(fèi)領(lǐng)取??（下滑還有更多福利）

研夢(mèng)非凡3月11日晚（周二）邀請(qǐng)了手握10余篇頂會(huì)的楊導(dǎo)師給大家從DeepSeek-V3 的技術(shù)報(bào)告入手，深入探討 AI Infrastructure 的關(guān)鍵技術(shù)與創(chuàng)新實(shí)踐，展示如何通過(guò)高效的計(jì)算集群、訓(xùn)練框架、低精度訓(xùn)練以及推理部署優(yōu)化，推動(dòng)大規(guī)模語(yǔ)言模型的性能與效率提升。

掃碼預(yù)約直播課領(lǐng)資料+福利

課程內(nèi)容

1. 計(jì)算集群（Compute Clusters）

如何構(gòu)建高效、可擴(kuò)展的計(jì)算集群，以支持 DeepSeek-V3 這種擁有 6710 億參數(shù) 的大規(guī)模混合專家模型（MoE）的訓(xùn)練與推理。

2. 訓(xùn)練框架優(yōu)化（Training Framework）

• DualPipe 與計(jì)算-通信重疊：通過(guò) DualPipe 技術(shù)實(shí)現(xiàn)計(jì)算與通信的高效重疊，最大化硬件利用率。

• 跨節(jié)點(diǎn)全對(duì)全通信的高效實(shí)現(xiàn)：優(yōu)化多節(jié)點(diǎn)間的通信效率，減少訓(xùn)練中的瓶 頸。

• 極致內(nèi)存節(jié)省與最小開(kāi)銷：在保證性能的同時(shí)，顯著降低內(nèi)存占用，提升訓(xùn)練穩(wěn)定性。

3. FP8 低精度訓(xùn)練（FP8 Training）

• 混合精度框架：通過(guò)混合精度訓(xùn)練加速模型收斂，同時(shí)保持高精度模型的性 能。

• 量化與乘法精度提升：在低精度訓(xùn)練中通過(guò)量化與乘法優(yōu)化，進(jìn)一步提升模 型精度。

• 低精度存儲(chǔ)與通信：減少存儲(chǔ)與通信開(kāi)銷，顯著降低訓(xùn)練成本。

4. 推理與部署（Inference and Deployment）

• Prefilling 與 Decoding 優(yōu)化：通過(guò)預(yù)填充和解碼階段的優(yōu)化，提升推理效率，降低延遲。

• 硬件設(shè)計(jì)建議：針對(duì)通信與計(jì)算硬件的優(yōu)化建議，為未來(lái) AI 基礎(chǔ)設(shè)施的設(shè)計(jì)提供參考。

楊導(dǎo)師

【簡(jiǎn)介】畢業(yè)于知名計(jì)算機(jī)名校。博士期間研究方向聚焦為計(jì)算機(jī)視覺(jué)，自然語(yǔ)言處理，高效的深度學(xué)習(xí)訓(xùn)練和推理方法，大語(yǔ)言模型輕量化與高效微調(diào)技術(shù)。

曾在多家公司擔(dān)任算法研究員，并進(jìn)行計(jì)算機(jī)視覺(jué)，高效模型壓縮算法，多模態(tài)大語(yǔ)言模型的研究，包括模型量化，剪枝，蒸餾，編譯以及高效稀疏化訓(xùn)練與推理。

【科研成果】在國(guó)際頂級(jí)會(huì)議CVPR,ICCV, EMNLP等發(fā)表13篇論文，并擔(dān)任CVPR,ICCV,ECCV,ICML,ICLR, NeurIPS等重要會(huì)議和期刊的審稿人。

多項(xiàng)發(fā)明專利，指導(dǎo)學(xué)生有耐心，教學(xué)嚴(yán)謹(jǐn)，思維邏輯縝密，已經(jīng)指導(dǎo)數(shù)十篇論文。對(duì)于成果好的學(xué)生，幫助學(xué)生寫推薦信和指導(dǎo)申請(qǐng)碩/博申請(qǐng)。

研夢(mèng)非凡可指導(dǎo)的研究方向

主流方向科研論文常用方法

掃碼預(yù)約直播課領(lǐng)資料+福利

夢(mèng)非凡科研論文指導(dǎo)方案

idea并不是直接拍腦門拍出來(lái)的，是一遍一遍實(shí)驗(yàn)、跑代碼、改模型、思路修正的過(guò)程中產(chǎn)生的。研夢(mèng)非凡1V1定制化論文指導(dǎo)，和研夢(mèng)導(dǎo)師一起找idea，研夢(mèng)導(dǎo)師指導(dǎo)實(shí)驗(yàn)，共同解決數(shù)據(jù)問(wèn)題。授之以漁——搭建論文寫作框架，增刪改查，針對(duì)性實(shí)驗(yàn)指導(dǎo)！哪里薄弱補(bǔ)哪里！

全程1v1論文輔導(dǎo)掃碼咨詢助教

研夢(mèng)非凡導(dǎo)師團(tuán)隊(duì)

研夢(mèng)非凡的導(dǎo)師來(lái)自海外QStop50、國(guó)內(nèi)華五、C9、985高校的教授/博士導(dǎo)師/博士后，世界500強(qiáng)公司算法工程師，以及國(guó)內(nèi)外知名人工智能實(shí)驗(yàn)室研究員。

這是一支實(shí)力強(qiáng)大的高學(xué)歷導(dǎo)師團(tuán)隊(duì)，在計(jì)算機(jī)科學(xué)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等領(lǐng)域，積累了豐富的科研經(jīng)歷，研究成果也發(fā)表在國(guó)際各大頂級(jí)會(huì)議和期刊上，在指導(dǎo)學(xué)員的過(guò)程中，全程秉持初心，堅(jiān)持手把手個(gè)性化帶教。包括但不限于以下導(dǎo)師～～

<<< 左右滑動(dòng)見(jiàn)更多 >>>

掃碼預(yù)約研夢(mèng)非凡1v1導(dǎo)師meeting

研夢(mèng)非凡隸屬于蘇州研途教育，深耕考研輔導(dǎo)行業(yè)13年，累計(jì)服務(wù)1w+付費(fèi)學(xué)員（60%高校學(xué)生/教師，40%職場(chǎng)精英）；科研為本，質(zhì)量為先！我們有：500+ 國(guó)內(nèi)外頂尖高校博士/教授，互聯(lián)網(wǎng)大廠/獨(dú)角獸公司的高級(jí)算法科學(xué)家組成的教師團(tuán)隊(duì);深度定制的科研服務(wù)，根據(jù)每位學(xué)員的實(shí)際情況，提供個(gè)性化的科研輔導(dǎo)方案，確保交付結(jié)果;一站式、全方位科研支持，從選題到方案設(shè)計(jì)，從實(shí)驗(yàn)實(shí)施到論文撰寫、成果發(fā)表，4V1全流程保姆式服務(wù)！