最近兩天,DeepSeek又引發了新一輪的討論熱潮——微信搜一搜和百度搜索接連宣布接入DeepSeek,選擇同時調用混元大模型/文心大模型。這意味著,DeepSeek距離我們的生活更進了一步。
隨著DeepSeek對AI行業的沖擊波持續蔓延,它不僅影響到了云,更是進一步促進了端側AI的發展。最近,花旗分析師Laura Chen團隊就表示,別光盯著云端AI看,DeepSeek的出現推動了AI技術更加普及和高效,其崛起將推動小型化模型即邊緣AI的推廣。云端和邊緣處理的混合AI模型會是AI未來的發展方向。
與上述預測相對應的是,越來越多AI芯片、AI模組和一體機廠商開始宣布適配DeepSeek。
端側AI芯片多點開花
有了云端AI,為什么我們還需要邊緣AI?用《韓非子·說林上》中的一句話來解釋,便是“失火而取水于海,海水雖多,火必不滅矣,遠水不救近火也”。云端AI相當于是大海,雖然水多、能力強,但對于特殊的場景終究遠水解不了近渴。
這幾年,大模型領域可以說是“百模大戰”,也可以說是“群模亂舞”。實際上,我們不需要這么非常多的大模型,因為它們非常浪費電力能源,因此根據芯原CEO戴偉民的預測,端側AI將會成為市場的大趨勢,并且到2028年,用于端側微調卡和推理卡的銷售額將超過用于云側的訓練卡。此外,端側AI還能減輕云端服務器的計算負擔,降低對中心化計算資源的依賴,從而降低成本。
隨著算法技術不斷進步,包括模型量化、剪枝、蒸餾等模型壓縮算法,以及專為端側部署設計的軟硬件平臺的出現,AI大模型在端側設備部署正在變得更加高效便捷。
之所以DeepSeek火爆全球,源于其在模型架構、蒸餾技術以及強化學習等方面突破性創新。更重要的是,DeepSeek-R1除了完整版的671B模型,還開發了系列小尺寸蒸餾模型,參數范圍覆蓋1.5B至70B,簡化后的小模型從大模型中繼承了強大的AI能力,盡管參數量減少,但性能依然出色。這進一步推動了端側AI的商業化應用。
從春節至今,就有許多廠商接連宣布適配DeepSeek。
1.阿里巴巴玄鐵:玄鐵團隊已順利完成 DeepSeek-R1 系列蒸餾模型在搭載玄鐵 C920 處理器芯片的相關適配,全程耗時約 1 小時,持續助力未來智能終端算力實現新一輪穩健提速。蒸餾后的Qwen 1.5b模型在某些數據集下的表現超過了GPT-4o和Claude 3.5 Sonnet claude。充分證明了 DeepSeek 在優秀性能的加持下,使得規模較小的大模型也能擁有媲美大模型的性能表現,間接降低了對推理算力的需求,使得高性能大模型在 RISC-V CPU 上高效運行指日可待。
2.安謀科技:預計今年上半年,安謀科技最新一代“周易”NPU處理器將正式亮相市場,該產品在Emulation平臺上完成了部署與優化,并在FPGA平臺上成功實現了端到端應用的演示。經過嚴苛測試驗證,在標準單批次輸入、上下文長度為1024的測試環境中,其在首字計算階段的算力利用率突破40%,解碼階段的有效帶寬利用率高達80%以上。其帶寬利用率呈現高線性特性,能夠靈活適配16GB/s至256GB/s的系統帶寬需求。目前,新一代“周易”NPU軟件棧已支持Llama、Qwen、DeepSeek、ChatGLM和MiniCPM等多種主流大模型,提供與Hugging Face模型庫的對接工具鏈,在硬件層面將對外帶寬提高至256GB/s,有效解決了大模型計算的帶寬瓶頸問題。
3.瑞芯微:瑞芯微RK3588助力香橙派5成功本地運行deepseek-r1 1.5B語言大模型,展現出卓越的性能與適配性。端側運行時,RK3588憑借自身架構和NPU算力,可流暢運行1.5B模型,生成速度每秒十幾token,其能力范圍可以覆蓋6B、7B模型。RK3588是瑞芯微電子推出的一款高性能處理器,采用先進的8nm制程工藝,集成了四核Cortex-A76和四核Cortex-A55 CPU、Mali-G610 MP4 GPU以及6TOPS的獨立NPU。
4.全志科技:宇芯成功在全志T527 Linux系統上本地部署并運行了DeepSeek-R1 1.5B模型。全志T527是一款面向AI計算的8核Cortex-A55 SoC,廣泛應用于物聯網、智能家居、邊緣計算等領域。此外,經測試,Deepseek-R1-Distill-Qwen-1.5B可以在全志A733芯片平臺的平板電腦上較流暢地運行的,并且可以讓Deepseek擁有中學生級別的邏輯推理能力。
5.開芯院:"香山"開源高性RISC-V處理器核成功適配并本地部署DeepSeek-R1-Distill-Qwen-1.5B大模型,此次成功不僅驗證了RISC-V架構處理復雜AI工作負載的能力,也為開源芯片生態的繁榮發展提供了有力支持。
6.愛芯元智:AX650N、AX630C芯片平臺早已在節前完成DeepSeek R1蒸餾版本1.5B、7B、8B適配,并在春節期間,海外開發者已基于AX630C平臺順利復現,DeepSeek端側部署順利出海。
通信模組企業也在積極布局
除了AI芯片,通信模組廠商也在積極適配DeepSeek。
事實上,在AI技術的實際應用中,完全依賴云端處理的方式存在諸多局限性,包括較大時延和用戶隱私等問題。因此,端側AI在滿足隱私保護、提高可靠性、降低延遲、降低云端計算負擔等方面所具有的獨特優勢。“云+端”的混合AI模式已成為當前AI應用落地的主流趨勢,將為企業數字化轉型提供強有力的支撐。
市場調查機構Counterpoint Research發布的研究報告,也映射出上述趨勢:到2030年,AI蜂窩模組的出貨量預計將占物聯網模組總出貨量的25%,相較于2023年6%的占比,實現了顯著增長。
1.美格智能:美格智能憑借其高算力AI模組矩陣與端側大模型部署經驗,結合最新發布的AIMO智能體產品,正加速開發DeepSeek-R1模型在端側落地應用及端云結合整體方案。美格智能基于高通驍龍高性能計算平臺打造的AIMO智能體產品,集成48Tops AI算力,支持混合精度計算(INT4/FP8)與異構計算架構(8核CPU+Adreno GPU+Hexagon NPU),可高效承載7B參數級大模型的端側推理需求。其板載16GB LPDDR5X內存與256GB UFS 4.0存儲,為模型動態加載與實時數據處理提供硬件保障。2025年美格智能將推出單顆模組算力達到100Tops的高階AI硬件,遠期規劃AI模組算力超過200Tops。
2.廣和通:廣和通高算力AI模組及解決方案全面支持小尺寸的DeepSeek-R1模型,高效且靈活地構建深度學習體系,不僅保護數據隱私,更大大提升終端推理和運算能力。廣和通將積極推動DeepSeek等優質模型在高、中、低算力AI模組及解決方案部署,提供不同參數模型服務,進一步降低端側AI的門檻,并優化成本,幫助客戶快速增強終端AI推理能力,賦能更廣泛的物聯網設備實現AI化。搭載了DeepSeek-R1的廣和通AI模組及解決方案將在自動駕駛(實現路徑規劃和動態避障)、機器人控制(復雜環境下自主導航和操作)、智能制造(生產線優化與資源調度)、智慧醫療(手術輔助、智能診斷)、AI智能體(自動化辦公、智能監控與決策)等場景廣泛應用。
3.移遠通信:移遠通信基于邊緣計算模組SG885G,已成功實現DeepSeek模型的穩定運行,并完成了針對性微調。在成功實現DeepSeek模型端側運行的基礎上,移遠通信還完成了該模型的針對性微調,并應用于自身的大模型解決方案中,為客戶提供更精準、更高效的端側AI服務。這一成果不僅彰顯了移遠通信在端側AI領域的技術實力,更體現了其領先的工程化能力,將有力推動AIoT應用的快速發展與落地。
4.芯訊通:芯訊通高算力AI模組SIM9650L已實測跑通DeepSeek R1模型,能夠高效地幫助客戶終端搭建深度學習體系。該產品采用42.5×56.5×2.95mm LGA封裝,搭載Wi-Fi 6E 2×2MIMO,AI算力超過14TOPS。芯訊通所打造的AI模組產品覆蓋多階梯算力能力,應用功能接口豐富,支持多制式網絡連接和全球不同地區頻段,包括SIM9650L、SIM8965、SIM8973、SIM8970、SIM8950LH、SIM8960、SIM8905、SIM8906、SIM8502、SIM8918、SIM6600等系列模組。
5.有方科技:面對“公司是否針對 DeepSeek 相關模型開展了模型適配及端側部署工作”的問題,有方科技在投資者關系平臺上答復表示,公司依托于自身物聯感知體系“云-管-端”架構建立的優勢,積極融合物聯網與人工智能技術,在 Deepseek 模型上,公司一方面正在云側基于模型融合公司運管服云平臺開發城域物聯感知模型,另一方面也正在端側開展模型與模組的適配工作,但目前還處于在研狀態,尚未產生收入。
6.比鄰智聯:中移物聯網有限公司旗下專業模組公司比鄰智聯宣布,Cat.1模組接入DeepSeek與九天大模型,讓萬物會思考。
大模型一體機,開始爆發
AI技術正以“一體機”形態加速滲透至千行萬業。
為什么“一體機”突然火了?根據京東云的介紹,所謂的大模型一體機,能夠讓企業無需糾結于“造輪子”,而是聚焦于“用AI創造價值”。通過將復雜的AI工程化過程封裝為標準化產品,讓客戶能像使用水電一樣便捷地調用大模型能力,無論是金融行業的交易風控,還是政府部門的政務審批,均能實現“數據本地化、模型私有化”,更好地進行AI智能化轉型。
科創板日報報道中則顯示,目前DeepSeek大模型一體機分為推理一體機和訓推一體機。其中,推理一體機內置DeepSeek-R1 32B、70B、671B等不同尺寸模型,價格在幾十萬~數百萬元,面向對數據安全、數據隱私較為敏感的企業用戶;訓推一體機價格就達到數百萬元,用于DeepSeek-R1 32B模型預訓練和微調。
1.中科曙光:發布全國產DeepSeek大模型超融合一體機。這一創新產品將為政府和企業的數字化、智能化轉型按下“加速鍵”。其不僅全面適配DeepSeek系列模型,如DeepSeek V3、DeepSeek R1和DeepSeek Janus Pro,還支持全系列量化蒸餾版本。同時,對QWen2.5、LLama3.2、ChatGLM等主流大模型也全面兼容,滿足各種業務場景需求。
2.聯想:與國產GPU領軍企業沐曦股份今日聯合發布基于DeepSeek大模型的首個國產一體機解決方案。該方案以“聯想服務器/工作站+沐曦訓推一體國產GPU+自主算法”為核心架構,配合聯想AI Force智能體開發平臺,推出智能體一體機與訓推一體服務器雙產品形態,率先實現從千億參數大模型訓練到場景化推理落地的全鏈條覆蓋,為企業破解算力部署復雜、技術門檻高、安全可控難三大核心痛點提供了國產化新路徑。
3.中國電信:為了滿足企業的私有化、國產化部署需求天翼云正式推出息壤智算一體機-DeepSeek版為各行各業提供性能卓越、安全可控的智能算力解決方案。息壤智算一體機-DeepSeek版集國產算力國產模型和國產云服務于一身深度融合了DeepSeek-R1/V3系列大模型實現了從芯片、推理引擎到模型服務的全棧國產化。其擁有全棧自主可控、卓越性能、靈活高效、經濟適用四大特征且無需“云”上接入、開箱即用。
4.中國移動:移動云發揮自身強大的技術優勢,推出智算一體機-DeepSeek版,幫用戶一站式搞定自主可控的DeepSeek模型應用。
5.中國聯通:聯通云宣布推出DeepSeek一體機+GPU云服務器“軟硬一體”解決方案,加速行業客戶適智化轉型。
6.華為:昇騰DeepSeek一體機深度融合昇騰高性能算力底座與DeepSeek全系列大模型能力,覆蓋語言理解、圖像分析、知識推理等全場景需求,為企業提供了一站式的AI解決方案。昇騰推出從服務器、推理卡、到加速模組等豐富的一體機產品形態,全面適配 DeepSeek V3/R1 滿血版 / 蒸餾版本全系列模型,涵蓋智能對話、智能編程、文檔分析、開發板等全場景應用,能夠滿足各類用戶在不同場景下的 AI 需求。
7.浪潮:推出基于DeepSeek模型的“推理一體機”NF5468H7,深度融合DeepSeek全系列模型與國內AI加速卡,打造“開箱即用”的智算解決方案。全面兼容DeepSeek V3(通用底座)、R1(推理優化)、Janus Pro(多模態)等系列模型,支持智能客服與對話、文本分析、工業質檢、醫療影像識別等場景快速適配。搭載國內AI算力產品支持基于DeepSeek的量化及分布式推理,滿足對DeepSeek系列多類型模型的多并發推理業務需求。
8.新華三:紫光股份旗下新華三集團重磅發布基于DeepSeek大模型的一體機UniCube,全面搭載DeepSeek V3、R1模型,并實現671B DeepSeek大模型單機推理及單機訓推一體服務,以強大的變革力,加速百行百業智能進化。
9.紫光云:紫光云公司推出的紫鸞大模型一體機,現已全系優化適配并預制DeepSeek R1系列推理模型,支持英偉達、天數、昆侖芯、燧原科技等異構芯片的統一調度。通過一體化開箱即用私域部署,紫鸞大模型實現了DeepSeek的無憂部署,為政企用戶提供高性價比的生產級AI解決方案,打造安全高效的智能方舟。
10.京東云:發布DeepSeek大模型一體機,基于“本地化開箱即用”的理念,提供從底層算力、模型服務、推理能力、應用開發的全棧解決方案,為金融、政府及企業客戶打造“數據不出域、性能更高效”的AI服務新范式。
11.中興通訊:浙江大學上海高等研究院、一驀科技、壁仞科技、中興通訊聯合打造的智海AI教育一體機,快速實現了國產算力與DeepSeek的適配及知識課程、實訓課題、智能體等教學工具的設計開發,形成了包含AI通識課、專業課、實踐實訓在內的一體化解決方案,讓學校能以更低成本、更高效率利用AI技術,加速人工智能教育的普及與實現。
12.中科通量:在SmarCoAI大模型一體機產品中成功完成DeepSeek R1模型與國產RISC-V智能芯片適配,為國產AI大模型落地再添“芯”動力。SmarCoAI是中科通量推出的基于RISC-V國產智能芯片的高通量大模型系列產品。此次適配,中科通量技術團隊選用了國產自研的RISC-V智能芯片,針對RISC-V架構和AI加速部件,對DeepSeek R1蒸餾的1.5B-70B模型進行了適配工作。測試數據顯示,DeepSeek在SmarCoAI上的性能優異,在RISC-V生態的表現處于業界領先水平。
13.麗臺科技:Leadtek AI一體機適配DeepSeek,它集成了高性能計算、智能資源管理、MLOps 自動化等核心功能,提供高效、靈活、安全的 AI 計算解決方案,幫助各行業突破技術壁壘,推動 AI 創新的快速落地。
14.云天勵飛:云天天書大模型訓推一體機成功適配DeepSeek。該一體機由云天勵飛與華為聯合推出,可以部署在華為昇騰服務器上,支持私有化部署,實現開箱即用,滿足本地化、專屬化的業務需求。此次適配成功,標志著云天天書大模型訓推一體機對邊緣AI場景的應用支持可以進入實際落地階段。在春節期間,云天勵飛官宣DeepEdge10已完成DeepSeek R1系列模型適配。未來,DeepEdge10芯片平臺將在端、邊、云全面支持DeepSeek全系列模型。
端側AI的新時代
隨著該DeepSeek憑借低成本訓練和卓越性能超越ChatGPT登頂中美應用商店榜首,其開源特性與本地部署優勢正深刻影響端側AI產業格局。本地部署在保障數據隱私、提升響應速度和增強定制靈活性方面表現突出,但存在技術門檻高、硬件資源受限等挑戰。
當前,智能手機、自動駕駛等場景已實現端側AI落地,但處理復雜任務時仍面臨生成準確性不足的技術瓶頸,所以過去幾年一直處于不溫不火的狀態。隨著DeepSeek的出現,金融、醫療、教育及電商等行業已經開始出現智能化轉型,尤其在電商領域顯著提升了其市場分析、精準營銷和內容生成效率。
專家預測,DeepSeek下一步可能會聚焦多模態融合(文本/圖像/語音/視頻)和專業領域模型開發,此舉將進一步加速國內AI產業鏈創新,吸引更多資本投入并推動硬件研發,從而徹底顛覆端側AI行業格局。
參考文獻
[1]XuanTie玄鐵:
[2]安謀科技:
[3]全志科技:
[4]全志科技:
[5]北京開源芯片研究院:
[6]愛芯元智:
[7]美格智能:
[8]廣和通:
[9]移遠通信:
[10]芯訊通:
[11]中移物聯網:
[12]比鄰智聯:
[13]財聯社:
[14]中科曙光:
[15]中國電信:
[16]移動云:
[17]聯通終端:
[18]浪潮:
[19]新華三:
[20]紫光云:
[21]京東云:
[22]華為計算:
[23]上海經信委:
[24]中科通量:
[25]麗臺科技:
[26]云天勵飛:
歡迎將我們設為“星標”,這樣才能第一時間收到推送消息。
關注EEWorld旗下訂閱號:“機器人開發圈”
回復“DS”領取《DeepSeek:從入門到精通》完整版
掃碼添加小助手回復“機器人”
進群和電子工程師們面對面交流經驗
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.