當ChatGPT、DeepSeek引爆的生成式AI浪潮席卷全球,企業忽然發現在算法模型持續迭代的表象下,算力基礎設施的桎梏正在成為制約AI落地的“最后一公里”障礙。
03
私有化部署帶動一體機需求
DeepSeek作為第一梯隊的免費開源模型,上線后訪問量激增,成為目前最快突破 3000萬日活躍用戶量的應用程序。
需求井噴也造成了 DeepSeek 始終處于滿負荷算力運行狀態,官網 AP供應不穩定,用戶使用過程中經常出現服務器繁忙導致無法回復用戶問題的狀況。
第三方云服務廠商紛紛上線DeepSeek 開源模型。但許多政企用戶出于保護內部數據的考慮,往往不愿意使用公有云服務,私有化部署需求應運而生。
面對這樣的市場需求,傳統的大模型私有化部署工作量巨大、成本高昂。硬件端需要選購 GPU 服務器、架設機柜購買存儲網絡設備,軟件上需要將大模型與硬件環境適配,還需要專業的運維團隊進行維護管理。某智能制造企業的CTO坦言:“我們購買的8卡服務器集群,實際利用率不足35%,算法團隊和運維團隊每天都在為資源分配扯皮。”
智算一體機構成
智算一體機是面向 AI 場景設計的集成化計算設備,通常將 AI 芯片、服務器硬件、算法框架、行業應用軟件等深度集成,無需額外采購服務器,也無需龐大的運維團隊進行維護。成本更低,形成“開箱即用”的智能算力解決方案。一體機能夠降低算力的使用門檻,且相比于傳統云計算,一體機不會受限于帶寬和延遲,能夠滿足實時推理需求。
具體落地以天翼云 “息壤智算一體機” 為例,其通過自研算力調度引擎和智能推理加速技術,實現推理速度提升 50%,并內置政務、醫療等場景化模板,滿足數據不出域的安全要求。京東云推出的 DeepSeek 大模型一體機則提供靈活部署模式,初創企業可通過公有云 Token 調用低成本入局,而金融、政府客戶可選擇私有化版本,實現本地化模型訓練與推理。
02
3分鐘便可完成DeepSeek模型部署
目前DeepSeek大模型一體機分為推理一體機和訓推一體機,前者內置 DeepSeek-R1 32B、70B、滿血版 671B 等不同尺寸模型,價格在幾十萬到數百萬不等主要面向對數據安全、數據隱私較為敏感的企業用戶。
而訓推一體機的售價更高,用于DeepSeek-R1 32B 模型的預訓練和微調的一體機價格就達到數百萬。而在眾多DeepSeek一體機中,昇騰推出的DeepSeek 一體機系列產品無疑是最耀眼的存在。
昇騰一體機 DeepSeekV3/R 及蒸餾模型推理服務部署推薦配置
在官方推薦配置下,新一體機 70B 蒸餾版R1系統每秒吞吐可達3300 Tokens,確保了大規模數據的高效處理,能夠輕松應對海量文本分析和復雜業務場景模擬。
新一體機擁有更好的多用戶并發和并發時延保障,滿血版DeepSeekV3/R1支持2倍于業界的多用戶并發數,最多可以滿足 192個用戶同時在線,每用戶時延僅50ms,滿足了大型企業多部門協同工作的需求,極大地提升了企業整體和個人的工作效率。
目前已有十余家合作伙伴基于昇騰產品打造自有DeepSeek一體機產品,滿足細分市場的多樣化需求,其中神州數碼推出基于神州鯤泰(搭載昇騰硬件)AI算力的神州問學企業級GenAl 私有化部署解決方案,在神州問學平臺上,用戶僅需3分鐘便可完成DeepSeek模型的部署。
點評:從“機房里的奢侈品”到“辦公室里的生產力工具”,智算一體機正以工程化思維破解AI落地困局。這場由硬件重構引發的產業革命,或將催生比云計算時代更龐大的萬億級市場。正如吳恩達在CES2024所言:“邊緣AI的爆發不是替代云端,而是讓智能真正融入人類社會的毛細血管?!?/strong>
微信訂閱
歡迎通過郵局渠道訂閱2025年《電腦報》
郵發代號:77-19
單價:8元,年價:400元
編輯|張毅
主編|黎坤
總編輯|吳新
爆料聯系:cpcfan1874(微信)
壹零社:用圖文、視頻記錄科技互聯網新鮮事、電商生活、云計算、ICT領域、消費電子,商業故事。《中國知網》每周全文收錄;中國科技報刊100強;2021年微博百萬粉絲俱樂部成員;2022年抖音優質科技內容創作者
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.