99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

曙光存儲郭照斌:自研“超級隧道”,集中式全閃錨定新航道

0
分享至



在數字化轉型加速的今天,金融、通信、能源、醫療等關鍵行業對存儲系統提出了更嚴苛的要求:金融高頻交易需微秒級響應,醫療影像數據管理需PB級容量承載,AI大模型訓練需千萬級IOPS支撐···

這些關鍵負載場景急需性能與可靠性“雙保險”的自主可控解決方案。最近國產存儲技術迎來突破性進展——曙光存儲集中式全閃FlashNexus以全球頂尖性能與自主可控技術,為關鍵行業提供標桿級解決方案。

2025年2月25日,國際存儲性能委員會(SPC)公布了SPC-1 V3基準測試結果,搭載最新一代國產處理器的曙光存儲FlashNexus以32控架構、超3000萬IOPS性能及0.202ms時延登頂全球榜首。這一成績不僅是性能參數的突破,更標志著國產存儲在核心場景應用能力的全面提升。

作為存儲界“奧林匹克”的SPC-1測試,其嚴苛的斷電恢復、壓力突變等驗證流程,印證了FlashNexus在OLTP、數據庫等關鍵業務中的穩定性。該存儲設備每千IOPS成本僅155.01美元的質價比優勢,更打破了“高性能必高成本”的行業桎梏,使國產技術成為全球數字基建的“黑土地”。這一突破不僅彰顯中國存儲在高端領域的硬實力,而且通過存算協同創新為各行業數字化轉型注入新動能。

3月20日,數據猿專訪了曙光存儲副總裁郭照斌。15年來,郭照斌一直從事存儲系統設計和研發,并屢建奇功。2022年,所研發的曙光分布式存儲ParaStor系統率先登頂最權威的世界級存儲排行榜IO500,將存儲系統性能世界紀錄提高了146%。2025年2月,郭照斌帶領團隊完成曙光存儲FlashNexus SPC-1測試,再破世界紀錄,測試成績全球第一。

AI大模型時代數據
存儲要從”底層支撐“升級為”加速引擎“

隨著生成式AI的崛起,企業數據存儲需求發生了顯著的變化,給傳統存儲模式帶來了不可回避的挑戰。

在工作負載特性上,傳統存儲采用雙態IT模式,即穩態業務數據量與變化相對穩定,對響應及時性要求高,如馬拉松運動員,適配集中式存儲;敏態業務規模變化大,對系統擴展性要求高,像短跑運動員,則由分布式存儲或云存儲來支撐。

進入到AI時代,AI業務模型涵蓋訓練與推理階段,訓練類似于敏態業務,數據量需求大,但對單筆數據延時要求相對不高;而推理階段數據量較小,卻對時延和IOPS要求極高。在一套存儲系統中同時滿足穩態的高速響應與敏態的高擴展、高并發帶寬需求,極大地增加了存儲系統設計的難度。

從性能量化角度來看,在生成式AI爆發前,計算與存儲資源性能相對過剩,企業缺乏追求極致性能的動力。AI時代到來后,算力率先不足,大量GPU投入到AI訓練;當GPU集群規模達到一定程度時,存力就成為一大瓶頸。存儲性能的微小提升,都能顯著提高生成式AI的投資回報比,存儲需求從相對穩定轉向追求極致性能表現。

目前,在大模型訓練與推理環節,數據存儲面臨的挑戰主要集中在速度和可靠性兩大關鍵方面。

在大模型訓練與推理的速度層面,存儲系統的核心目標是通過縮短數據訪問耗時并降低延遲,為CPU/GPU騰出更多運算時間,避免因存儲瓶頸導致算力資源閑置。由于存儲協議遵循固定標準,其性能提升需依賴硬件加速(如全閃存架構)與軟件優化(如多級緩存機制)的雙重路徑:通過在存儲環節引入多級緩存機制如內存級緩存與NVMe SSD緩存結合等,可顯著降低文件序列化、小文件查詢及向量數據庫訪問的延遲;采用分布式并行寫入技術,使千億參數模型的Checkpoint耗時從分鐘級縮短至秒級。

以千億參數模型為例,其單次Checkpoint過程涉及PB級數據寫入,若存儲帶寬不足(如僅1GB/s),完成10TB Checkpoint需耗時約1000秒,導致GPU資源閑置1000秒;而采用TB級帶寬時,僅需幾秒即可完成,極大地提升訓練速度。

這種性能躍升使存儲系統從"基礎支撐"升級為"關鍵引擎",為AI訓練提供毫秒級響應能力,支撐萬卡集群的EB級數據處理需求。

在可靠性方面,大模型訓練不能容忍中途出現故障。若歷經長時間(如一個月)的訓練,因存儲故障導致訓練中斷,那么損失將是巨大的。在大模型訓練過程中,通常會按一定時間周期(如每天或每月)生成 Checkpoint 作為訓練副本,也對存儲的可靠性提出了間接要求,即存儲不僅要快,還得穩定可靠,確保訓練數據安全無虞。

曙光存儲全自研FlashNexus
勇破AI推理加速難題

面對這些嚴苛的挑戰,曙光存儲系統積極革新,以破解AI推理加速難題。郭照斌介紹說,曙光存儲先后兩次突破存儲世界記錄,標志著國產存儲在核心場景應用能力的全面提升。

2022年11月16日,曙光分布式存儲系統ParaStor在IO500存儲性能評測中奪冠,將世界紀錄提高146%。這一成績驗證了其在數據讀寫性能和復雜應用支撐上的世界領先水平,展示了曙光在分布式存儲領域的強大競爭力。

這次登頂SPC-1的曙光存儲FlashNexus則是一款完全自主研發的端到端集中式全閃產品,旨在應對AGI時代海量數據帶來的性能和容量爆發式增長的挑戰。

在存儲領域,SPC-1標準堪稱“存儲界的奧林匹克”,權威性與含金量極高。SPC作為全球首個建立存儲行業性能標準的全球性組織,其制定的SPC-1主要衡量存儲系統在隨機IO業務模型或負載下的吞吐量及IOPS表現,通過模擬數據庫、OLTP等企業關鍵業務場景,疊加八種業務至存儲隔離的三塊區域,對存儲的隨機讀寫性能及處理復雜業務請求的響應能力要求嚴苛。





曙光此次參與SPC-1測試的產品FlashNexus,屬于百控級億級IOPS產品系列中的子型號。此次測試采用32控規模,搭配400塊盤,并非該型號產品擴展極限(最大可擴展至128控)。在32控下,FlashNexus跑出超3000萬IOPS的成績,且每個控制器平均性能不到100萬;若擴展至百控級,性能輸出可達億級IOPS。



FlashNexus產品實測超3000萬IOPS和0.202毫秒時延,在榜單前十名中排名第一,代表了FlashNexus存儲在數據庫、交易系統、計費系統等應用中,相比其他存儲具有更快的響應速度。同時,FlashNexus 通過高性能、智能化管理和高可靠性,為AI推理提供了強大的加速支持,滿足AI推理對低延遲的嚴格要求,確保AI推理過程的連續性和數據安全性,提升了整體系統的效率和響應速度。

郭照斌介紹說,曙光存儲FlashNexus系列產品具備三大顯著特點:

充分運用自主處理器與介質,同時強調“盤、框、控”高效協同,提供“迅若閃電”的極致性能。采用智能硬盤框,利用其自身計算能力分擔部分原本CPU的工作,使控制器CPU專注IO調度;與主流SSD廠商深度聯動,將SSD盤內“智能多流”“盤內回收”等特性與存儲軟件融合,精準調度盤內行為,發揮介質最大性能優勢。



構建“部件級”到“系統級”再到“方案級”多維度可靠性設計架構,提供“安如磐石”的高可靠保障。部件級,獨創RAID QC“四盤校驗”技術,存儲池可同時應對四塊盤故障,保障數據與應用安全,且寫入流程采用隨機寫入數據化、滿條帶鏡像寫,降低大容量SSD時代RAID寫懲罰(Write Penalty)。方案級提供聯網關AA對稱雙活、異地復制方案,支持跨存儲集群保障數據可靠性,業務系統可跨城市部署,就近訪問存儲系統,減少時延,還能實現兩地三中心或四中心多級容災。

利用AI技術,提供“智若洞見”的智能內核驅動。內置AI驅動性能調度引擎,實時感知系統負載與用戶預設業務優先級,動態分配硬件資源,關鍵業務近乎獨占性能通道,非關鍵業務智能限流,提升資源利用率;嵌入AI異常檢測引擎,毫秒級定位系統故障、風險,精確預測性能波動與硬件老化,疊加數據保護與容災架構,實現全鏈路自愈,大幅降低系統故障恢復時間。

另外,曙光存儲FlashNexus在SPC - 1測試中突破3000萬IOPS和0.202毫秒時延,這一斐然成績背后是其多項關鍵技術的突破。

郭照斌介紹道,曙光存儲自研了應用于集中式全閃存儲的“超級隧道”的關鍵技術。該技術圍繞每個CPU核配備獨占資源,構建起從網卡到CPU再到硬盤“一桿子插到底”的“超級隧道”,可以避免資源操作沖突,去除“加鎖機制”,再配合精準的調度規則和精確的AI預測系統,推動了集中式全閃存儲高效穩定運行。

在國產存儲技術發展過程中,曙光存儲在NUMA技術上取得了顯著突破。傳統服務器(如英特爾的服務器)常配置單CPU,性能雖強但成本高,曙光則采用多NUMA或多CPU方式提升性能。

為了解決多NUMA或多CPU方式帶來的CPU之間或NUMA之間訪問代價大的問題,曙光存儲推出了“微控模型”以精準適配硬件特性。在硬件層面,CPU、內存、硬盤等資源采用“分組作業”,彼此獨立運行互不干擾,從而實現性能翻倍提升。例如,對于網卡和盤的配置,若只有一個網卡,曙光存儲可借助虛擬化技術讓每個NUMA都感覺擁有自己的獨立網卡;若有多個網卡則進行分組處理,保證各NUMA域能在高性能模式下獲取最近的硬件資源。

在軟件邏輯層面,曙光存儲從微控視角對數據進行切分,不同邏輯空間關聯的硬件資源相互隔離,就像構建了多條垂直“隧道”。IO數據從網絡進入后,經CPU處理、內存訪問再到硬盤,整個過程都在同一“隧道”內完成,實現數據就近訪問,大大提升了性能。并且,在后端采用多路徑技術,待數據邏輯請求進入時就確定歸屬的微控制器和對應的“隧道”,確保數據能始終快速傳輸直至持久化落盤。這種設計讓系統具備線性可擴展性,CPU數量增加時各CPU間耦合性低,打破了以往依賴單一高性能CPU來提升性能的局限,有效地降低了成本。

曙光存儲還引入了RDMA、NVMe等技術,相比傳統TCP、iSCSI協議更加精簡,能夠減少協議帶來的性能損耗,讓數據更直接地到達硬件。在高性能模式下,傳統CPU依賴中斷的方式存在多種弊端,如中斷開銷干擾正常業務運行,頻繁的上下文切換也會極大增加系統開銷,嚴重影響性能提升。曙光存儲采用“QP + 輪詢”機制,關閉中斷,主動查詢事件,進一步簡化協議實現純用戶態操作,縮短數據路徑,提高性能與可靠性。這一技術應用對硬件設計也產生積極影響,使硬件設計更為簡單,最終實現硬件、協議和執行流程的全面優化,顯著提高了系統可靠性與性能。

曙光存儲獨有的XIO技術(XNIO/XDIO)在FlashNexus的優異性能中也發揮了重要作用。該技術融合了無鎖輪詢與RTC處理,實現數據傳輸“一鍵直達”。

在任務處理方面,XIO技術的協程切換速度極快,僅需0.0000002秒(200納秒),能夠輕松應對百萬級高并發需求,確保任務瞬間切換無卡頓。

在數據傳輸上,XIO技術省去很多中間步驟,與傳統傳輸方式相比,傳輸效率提升10倍。而且在數據傳輸過程中可以同步進行問題排查且不影響性能,為系統穩定高效運行提供了有力保障。

正是這些技術協同作用,共同推動FlashNexus突破3000萬IOPS,在SPC - 1測試中勇奪全球性能第一。

前瞻布局
錨定數據存儲未來新航道

郭照斌表示,在AI大模型時代,數據存儲技術可能會發生顛覆性的變化,主要體現在以下三個方面:

首先,數據存儲會朝著綠色節能方向發展。隨著超算中心的不斷發展以及數據量呈爆炸式增長,特別是大模型訓練在音頻、視頻等領域興起,存儲規模也在不斷擴大,功耗問題日益凸顯。未來采用低功耗存儲介質和技術,如藍光存儲、SCM(存儲級內存)等,以減少能源消耗和碳排放。而綠色節能符合國家“雙碳”要求,必然會成為數據存儲技術的一個重要發展趨勢。

其次,大容量、低功耗存儲介質亟待創新。目前硬盤的容量存在一定限制,難以滿足日益增長的數據存儲需求。在未來,發展更大容量、更低功耗的存儲介質,如大容量SSD(如122TB及以上)、QLC SSD等,以提高存儲密度和能效比。

最后,存儲與應用融合將更為緊密。隨著開源模式或者大模型的興起,數據存儲需要與應用實現更好的契合和更深度的融合。例如,存儲廠商需要打破標準存儲協議的限制,提供滿足應用需求的非標準接口,像針對文件的階段性刪除等特殊功能提供專門的接口,以滿足特定應用需求,也是存儲行業發展需要努力的方向。

未來高端存儲技術將在松耦合的多控制器架構、存儲虛擬化、高性能、加強數據安全性、提高用戶使用體驗和管理效率的智能化等方面發展。

郭照斌指出,在國內存儲領域,硬件核心部件容易被國外“卡脖子”。以前,諸如HDD硬盤這類關鍵部件,國內沒有生產能力,只能從國外進口。不過,隨著國內產業不斷發展,現在閃存盤以及相關的顆粒、工藝等國內已經能夠生產,這意味著國內存儲領域的硬件國產化水平有了一定提升。

在當下“AI大模型話語權爭奪戰”的時代背景下,中國存儲若要爭奪國際話語權,可從以下多方面發力:

一是夯實產業基礎。存儲系統集CPU、網卡、硬盤等眾多部件于一身,中國現已構建起完備且豐富的生產鏈條,各部件的技術能力也不斷提升。以閃存盤領域為例,國內不僅能夠提供優質產品,還掌握了顆粒生產及相關工藝技術,為打造高性能存儲產品筑牢了根基。接下來,持續強化各部件的研發與制造實力,確保產業鏈的自主可控和強大競爭力,是至關重要的基礎工作。

二是強化技術創新。存儲行業存在純自研和基于開源組件兩條發展陣營。以分布式存儲領域為例,像曙光、華為等采用純自研流派的廠商,通過逐行編寫代碼,經過長時間的精心打磨與積累,其產品具有較高的穩定性和性能;而像浪潮、新華三等基于開源組件快速推出產品的陣營,雖然能夠迅速切入市場,不過在穩定性和可靠性方面存在一定差距。

在AI大模型時代,面對復雜數據處理帶來的對存儲性能和穩定性的超高要求,堅持純自研無疑有助于推出契合市場需求的高端產品,助力中國存儲在國際競爭中嶄露頭角。

另一方面,聚焦根技術,促使企業加大研發投入,深入探究底層技術邏輯,掌握核心技術,構筑自主知識產權體系。唯有如此,才能為提升中國存儲的國際話語權提供堅實有力的技術支撐。

第三,優化市場競爭策略。當下國內存儲市場競爭存在一些亂象,部分企業通過低價競爭搶奪市場份額。這種方式雖能短期內會打開市場,但往往卻犧牲了產品質量和服務交付水平,最終會損害整個行業的利益。中國存儲企業理應摒棄單純的價格競爭模式,轉向以技術、性能、服務和專業性為核心的競爭路徑,以此提升產品的附加值和品牌形象。

最后,軟件層面的人才對于存儲技術的發展起著決定性作用。中國在軟件人才培養方面雖已取得一定的成果,但仍需持續發力。一方面,高校和職業院校應及時更新相關專業設置,緊密貼合行業發展需求,培育適應時代的專業人才;另一方面,企業要營造良好的發展環境,制定具有吸引力的激勵機制,吸引國內外優秀人才投身中國存儲產業,為中國存儲產業的技術創新和產品研發注入源源不斷的活力 。

此外,郭照斌還介紹了曙光存儲在集中式全閃存儲領域的未來發展布局。曙光存儲一直致力于實現硬件與硬件的深度融合,通過減少軟件在數據訪問環節的參與,進一步優化存儲性能。例如,在發展歷程中,曙光存儲逐漸過渡到如今的軟硬結合模式,并且未來還期望達成硬件之間的數據交互速度,如同消息在交換機上的快速傳遞一般,使存儲性能提升至20微秒以內。

曙光存儲秉持開放合作的態度,構建開放的存儲生態體系,發展軟件定義存儲(SDS)、容器化存儲編排等技術,支持多協議的數據互通和共享,提升存儲資源的利用率和管理效率,推動存儲產業的協同發展。在硬件組件選型上,曙光存儲熱忱歡迎國內生態合作伙伴共同參與,同時歡迎與合作伙伴在網絡芯片、PCI交換芯片等多個領域展開合作,攜手打造深度耦合的存儲產品形態。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
專打國家元首的金牛座導彈抵烏!紅場勝利日閱兵式需要掂量了

專打國家元首的金牛座導彈抵烏!紅場勝利日閱兵式需要掂量了

大風文字
2025-04-25 18:56:10
又美又颯!吳艷妮13米00奪第七:戰斗天使真美,挑戰世界頂尖選手

又美又颯!吳艷妮13米00奪第七:戰斗天使真美,挑戰世界頂尖選手

李喜林籃球絕殺
2025-04-26 21:09:17
調度中心不雅畫面人員被停職調查,知情者披露兩人疑似身份內情

調度中心不雅畫面人員被停職調查,知情者披露兩人疑似身份內情

Likepres
2025-04-25 22:29:07
儲戶慌嗎?存款方面迎來4個方面的調整,已存的人咋辦?

儲戶慌嗎?存款方面迎來4個方面的調整,已存的人咋辦?

話史官1
2025-04-26 15:03:19
深圳殉情男子遺書稱想與妻子合葬 岳母:連女兒的牙刷他都不舍得丟 想不到他深情到這個地步

深圳殉情男子遺書稱想與妻子合葬 岳母:連女兒的牙刷他都不舍得丟 想不到他深情到這個地步

閃電新聞
2025-04-26 10:42:31
小米YU9曝光,雷軍讓3億中產沸騰了

小米YU9曝光,雷軍讓3億中產沸騰了

互聯網品牌官
2025-04-24 16:06:32
喬-科爾:希望穆里尼奧回英超,想在三、四年內奪冠找他就對了

喬-科爾:希望穆里尼奧回英超,想在三、四年內奪冠找他就對了

直播吧
2025-04-26 21:55:12
2025年一季度出口值30強城市:蘇州、寧波環比大增,鄭州漲勢喜人

2025年一季度出口值30強城市:蘇州、寧波環比大增,鄭州漲勢喜人

Data居士
2025-04-26 10:59:59
美麗的新娘

美麗的新娘

動物奇奇怪怪
2025-04-27 00:35:07
69年九大名單出爐,毛主席發怒:怎么沒他?此人痛哭:主席記得我

69年九大名單出爐,毛主席發怒:怎么沒他?此人痛哭:主席記得我

可樂88
2024-04-26 09:14:34
不滿裁判吹罰?崔康熙:大家都是足球人 有些問題我沒法直說

不滿裁判吹罰?崔康熙:大家都是足球人 有些問題我沒法直說

球事百科吖
2025-04-27 04:40:14
航母才是最大的捕魚船?遼寧艦每次帶回數十噸海鮮,全部銷毀!

航母才是最大的捕魚船?遼寧艦每次帶回數十噸海鮮,全部銷毀!

百態人間
2025-04-22 16:26:25
中年女人有意讓你“拿下”,會有一個表現:兩個字

中年女人有意讓你“拿下”,會有一個表現:兩個字

蓮子說情感
2025-01-11 10:26:07
王勵勤遇當頭一棒!國乒大潰敗,單打16人參賽15人出局;日本強勢

王勵勤遇當頭一棒!國乒大潰敗,單打16人參賽15人出局;日本強勢

莼侃體育
2025-04-26 08:27:26
王菲現身謝霆鋒演唱會!《玉蝴蝶》唱響時,王菲陶醉起舞,太甜了

王菲現身謝霆鋒演唱會!《玉蝴蝶》唱響時,王菲陶醉起舞,太甜了

叨嘮
2025-04-26 02:45:58
1-0大冷門,90分鐘絕殺,英冠第22掀翻英冠第6,蘭帕德率隊2連敗

1-0大冷門,90分鐘絕殺,英冠第22掀翻英冠第6,蘭帕德率隊2連敗

側身凌空斬
2025-04-26 21:39:34
北京房價:泡沫與走勢分析

北京房價:泡沫與走勢分析

流蘇晚晴
2025-04-26 21:36:36
殺人誅心!大S離世后,小玥兒的第一個生日現場曝光,網友集體破防了

殺人誅心!大S離世后,小玥兒的第一個生日現場曝光,網友集體破防了

瞎說娛樂
2025-04-26 10:55:49
大比分2-1!塔圖姆空砍36+9,黑馬雙星合砍61分,凱爾特人遭逆轉

大比分2-1!塔圖姆空砍36+9,黑馬雙星合砍61分,凱爾特人遭逆轉

老梁體育漫談
2025-04-26 10:06:15
突降6℃!湖北接下來大反轉

突降6℃!湖北接下來大反轉

魯中晨報
2025-04-26 11:20:10
2025-04-27 05:28:49
數據猿DataYuan incentive-icons
數據猿DataYuan
數據智能產業創新服務媒體
2046文章數 582關注度
往期回顧 全部

科技要聞

百度心響實測:“能用版Manus”開了個好頭

頭條要聞

特朗普將舉行集會慶祝執政100天 美媒:時機不妙

頭條要聞

特朗普將舉行集會慶祝執政100天 美媒:時機不妙

體育要聞

廣廈19分勝遼寧獲開門紅 孫銘徽13分3助崴腳

娛樂要聞

金掃帚獎出爐,包貝爾意外獲“影帝”

財經要聞

韓國的"宇樹科技" 是怎樣被財閥毀掉的?

汽車要聞

充電5分鐘續航100公里 探訪華為兆瓦超充站

態度原創

游戲
教育
親子
藝術
公開課

夢幻西游:出了雙固傷玉魄卻難過,口袋版成刷80級環裝首選

教育要聞

你說說看,你做做這樣也可以嗎?

親子要聞

這首歌是為有兒子的家庭量身打造的吧? 楊雪呀

藝術要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 潜山县| 东台市| 驻马店市| 合川市| 灌阳县| 科技| 特克斯县| 佛冈县| 凤阳县| 衡山县| 赤水市| 区。| 西贡区| 富川| 彰化市| 岢岚县| 夏邑县| 新宁县| 大足县| 肥城市| 肥东县| 通许县| 华安县| 靖宇县| 连江县| 岳阳县| 潞城市| 密云县| 沐川县| 枣阳市| 潜山县| 陆良县| 岳阳县| 岫岩| 永宁县| 上杭县| 东阳市| 斗六市| 开封县| 温泉县| 阆中市|