3月24日,據悉,螞蟻集團使用國產芯片開發了一種訓練人工智能模型的技術,可將成本降低20%。
據中國基金報報道,知情人士稱,螞蟻集團采用了國產芯片,基于所謂的“專家混合”(Mixture of Experts)機器學習方法來訓練模型。該公司取得的效果與英偉達H800等芯片的結果相當。
螞蟻集團,AI重大突破!
據證券時報報道,螞蟻集團Ling團隊的技術成果論文《每一個FLOP都至關重要:無需高級GPU即可擴展3000億參數混合專家LING大模型》已發表在預印版Arxiv平臺上。
據技術成果論文,雖然DeepSeek、阿里通義千問、MiniMax等系列的MoE大模型在特定任務中展現出卓越性能,但是MoE模型的訓練通常依賴高性能計算資源(如英偉達H100/H800等先進GPU),高昂成本制約了在資源受限環境中的普及應用。同時,近年來英偉達高性能芯片持續短缺,相比之下,低性能加速器供應更充足且單機成本更低。這種差異凸顯了構建跨異構計算單元與分布式集群無縫切換技術框架的必要性。
因此,Ling團隊設定的目標是“不使用高級GPU”來擴展模型,并通過提出創新性的訓練策略,旨在突破資源與預算限制實現高效大語言模型訓練,從而推動AI技術向普惠化方向發展。
具體而言,團隊提出的創新策略包括:1)架構與訓練策略革新:動態參數分配與混合精度調度技術;2)訓練異常處理機制升級:自適應容錯恢復系統縮短中斷響應時間;3)模型評估流程優化:自動化評測框架壓縮驗證周期超50%;4)工具調用能力突破:基于知識圖譜的指令微調提升復雜任務執行精度。
據技術論文,Ling團隊在五種不同的硬件配置上對9萬億個token進行Ling-Plus的預訓練,其中使用高性能硬件配置訓練1萬億token的預訓練成本約為635萬元人民幣,但利用螞蟻的優化方法后,使用低規格硬件的訓練成本將降至508萬元左右,節省了近20%,最終實現與阿里通義Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat相當的性能。
此前,DeepSeek通過一系列算法創新及工程優化,使用性能較低的英偉達H800訓練出了性能與頂尖模型相當的V3與R1,為大模型的訓練開辟了新的道路,讓更多的企業和研究機構看到了降低成本、提高效率的可能性。如果螞蟻集團的技術成果得到驗證及推廣,意味著國產大模型能夠尋找成本更低、效率更高的國產芯片或其他替代方案,以進一步降低對英偉達芯片的依賴。
螞蟻集團最新回應
據中國基金報報道,有分析指出,MoE模型的訓練通常依賴于如英偉達所售GPU這類高性能芯片,這使得訓練成本對許多中小企業而言過于高昂,限制了更廣泛的應用。螞蟻集團一直在致力于提高大語言模型的訓練效率,并突破這一限制。從其論文標題即可看出,該公司將目標定為“在無需高端GPU的情況下擴展模型規模”。
這一方向與英偉達的戰略背道而馳。英偉達首席執行官黃仁勛曾表示,即便更高效的模型(如DeepSeek的R1)出現,對計算力的需求仍會持續增長,企業要實現更多營收將依賴更強大的芯片,而非通過更便宜的芯片來削減成本。他堅持打造具備更多處理核心、更高晶體管數量和更大內存容量的大型GPU的戰略。
有分析稱,螞蟻集團的研究論文凸顯出中國AI領域技術創新和發展速度的加快。如果其研究成果屬實,這將表明中國在人工智能領域正逐步走向自主可控,特別是在尋求成本更低、計算效率更高的模型架構來應對英偉達芯片出口限制的背景下。
針對此事,3月24日螞蟻集團回應稱,螞蟻針對不同芯片持續調優,以降低AI應用成本,目前取得了一定的進展,也會逐步通過開源分享。
來源:21財經客戶端、證券時報、中國基金報
為偉大思想而生!
AI+時代,互聯網思想(wanging0123),
第一必讀自媒體
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.