剛肝完Claude 3.7 Sonnet,睡了兩小時,馬不停蹄的又起來看DeepSeek開源項目。
結果時間線上先刷到的是阿里的推理模型QwQ-Max的預覽版。。。
不是哥們,早上5點發,這也太抽象了。。。
但是畢竟阿里,是跟DeepSeek其名的“源神”,還是值得關注一下,反正他們跟我說,正式版很快了,而且也是全部開源。
有興趣的可以先去線上版本https://chat.qwen.ai玩。
左上角選2.5-max,點上深度思考,里面模型用的就是QwQ-Max preview。
回到DeepSeek這邊。
昨天第一天他們發的FlashMLA直接在H800上把性能榨干。短短一天過去,Github Star 就已經8.2k了。
而今天,他們帶來的項目,放得招比第一天還大,承上啟下算是用到極致了。
開源的是一個叫DeepEP的東西,它把電腦里的GPU性能再次拉滿。
開源地址在此:https://github.com/deepseek-ai/DeepEP
1小時左右,Github上已經斬獲1000多顆星了。
AI圈子里老說軟件先行,硬件開路。但DeepSeek要的就是硬件效率,最低的硬件資源干出同水平更強的AI任務性能。
甚至,我感覺,DeepSeek比英偉達更懂怎么榨干GPU。。。
DeepSeek這回開源的技術,實在過于硬核,理解門檻太高,硬核的甚至我都有點看不懂了,但是還是硬著頭皮學習了一波,也提前找了朋友蹲點,第一時間給我拆解了一下。
所以秉持著一個自媒體的原則,給大家簡單科普下。可能會有點錯誤,如果出現,歡迎各位大佬蒞臨評論區進行指導。
我先用一個非常通俗易懂的例子描述一下這玩意。
現在很火的2個AI領域的研究方向,一個是“混合專家模型”(MoE),另一個就是“專家并行”(EP)。這回開源的DeepEP ,就是它倆量身定制的通信庫。
在一個MoE模型里面,你可以簡單的理解為里面有256個專家,給你干不同的事,有些擅長語言,有些擅長數學,有些擅長常識。這種模型叫做"混合專家模型"。
但是呢,過往的MoE模型里面,你可以想象成是這256個專家,都在一個房間里面,靠嘴通信,吵來吵去,要是所有人一起大喊大叫,這有多混亂,效率有多低下,你肯定能想象的出來。
而這個DeepEP呢,相當于設計了一個中間的溝通系統,把一群靠嘴巴溝通的地球人,變成了一群直接思想透明的三體人,靠電磁波交流,速度奇快無比。
所有專家的信息都可以即刻被其他所有三體人專家接收,沒有延遲。(信息在不同GPU專家間以接近光速的方式傳遞,延遲低至186微秒)
而且整個文明可以同時感知一個三體人的所有思想。(支持"all-to-all"通信,一個專家的信息可以同時發送給所有其他專家)
因為三體人的思想是透明化的,讓信息無損傳遞,沒有誤解。(數據在傳輸過程中保持完整性,支持FP8通信)
這就是大概的東西,雖然可能還是需要理解一下,但是我已經盡可能用我的知識來類比了一下。
所以說啊,這就是真正的,三體科技。。。
回到DeepEP的技術和參數這塊,我也列了3個點。
1. 開掛般的內核優化
與DeepSeek-V3 論文一脈相承,DeepEP 提供了一組針對非對稱域帶寬轉發的優化內核,把高吞吐量和低延遲又帶到了一個新水平。不光讓大模型訓練更快了,推理效率也大幅增加了。
他們根據 DeepSeek-V3/R1 的預訓練設置,在 H800 上測試了普通內核性能。
這性能表現,牛逼。
2. 低延遲
對于另一種對延遲敏感的推理解碼,DeepEP 包含一組純 RDMA 的低延遲內核,以最大限度減少延遲。
看到這里,感覺DeepSeek又貼心又硬核,把DeepSeek-V3/R1的核心優化技術之一開源就是這么簡簡單單。
3. 新的通信-計算重疊方法
最后的最后,DeepSeek又給了個驚喜:一種基于鉤子(hook based)的通信-計算重疊方法,牛逼的是,這種方法不占用任何 SM 資源。
就比如你在翻書的同時,就能一目十行了,而不是翻到哪頁看哪頁。
DeepEP 就是這樣,讓 GPU 在傳數據的同時還能計算,一點不浪費時間。
這讓我想起DeepSeek-V3當時論文一發出來,性能效率比把全網都爆了的那種即視感。
恍惚間,我又想起之前,整宿盯的OpenAI十二連彈產品發布會,產品未至,營銷先行。
看完了以后,我基本就是一句話描述他們:
XX OpenAI,XX 奧特曼。
這回,DeepSeek的手筆,讓我感覺才是真的牛逼。
就是給你個代碼庫,簡簡單單,一點套路沒有。
直接把飯喂到你嘴邊。
整體來看,這回的開源也是開箱即用,下載、部署和安裝都一步到位。
這是開源黨的狂歡日,而這樣的狂歡日還有三天。。。
就像DeepSeek在開源頁上所說的那樣。
他們正在 AGI 探索中挑戰自己的極限。
僅僅作為開發者。
以完全透明的方式分享微小但真誠的進展。
DeepSeek。
把進化工具,平等地交到每個人手上。
讓所有普通人都能夠。
跨AI的海,越AI的山。
這一刻,看到DeepSeek做的大事。
才讓我由衷地覺得,AI真好。
以上,既然看到這里了,如果覺得不錯,隨手點個贊、在看、轉發三連吧,如果想第一時間收到推送,也可以給我個星標?~謝謝你看我的文章,我們,下次再見。
>/ 作者:卡茲克、芝蘭山
>/ 投稿或爆料,請聯系郵箱:wzglyay@gmail.com
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.