【科技快報網(wǎng)】3月26日下午,上海交通大學鯤鵬昇騰科教創(chuàng)新卓越中心特訓營-DeepSeek專場在上海交通大學閔行校區(qū)圖書信息樓成功舉辦。活動旨在基于昇騰技術(shù)的DeepSeek本地化部署實踐分享,培養(yǎng)學員自主創(chuàng)新開發(fā)能力。華為技術(shù)專家與學校老師現(xiàn)場授課,干貨滿滿,吸引了來自計算機、電子信息、人工智能等專業(yè)的60余名學生參加。
技術(shù)筑基:解析DeepSeek大模型核心架構(gòu)
活動伊始,昇騰生態(tài)技術(shù)專家 ZOMI醬,分享了基于昇騰Atlas 800 A2部署滿血DeepSeek-R1-671B的經(jīng)驗,重點分享了如何通過剪枝和量化,讓DeepSeek-R1/V3大模型特性實現(xiàn)加速。他指出,昇騰Atlas 800 A2的硬件特性與DeepSeek模型高度適配。通過結(jié)構(gòu)化剪枝技術(shù),基于昇騰芯片的稀疏計算單元(如CANN的aclSparse接口),對模型中冗余的注意力頭與FFN層通道進行動態(tài)裁剪,在保證任務(wù)精度損失小于1%的前提下,將參數(shù)量壓縮40%,推理時延大幅降低。同時,采用混合量化策略——對計算密集的矩陣乘操作(如Q/K/V投影)啟用INT8動態(tài)量化,結(jié)合昇騰3D Cube架構(gòu)的整數(shù)計算加速,實現(xiàn)算力利用率提升200%;而對精度敏感的LayerNorm等操作保留FP16精度,避免量化誤差擴散。同時,他還介紹了昇騰Attention計算優(yōu)化方法Laser Attention,該技術(shù)通過動態(tài)稀疏計算、低精度無損加速與硬件級算子融合三重創(chuàng)新,為大模型訓練與推理提供顯著效能提升。
(昇騰生態(tài)技術(shù)專家 ZOMI醬)
實踐落地:揭秘DeepSeek高校部署創(chuàng)新方案
大模型憑借出色的文本處理能力,已經(jīng)深入工作生活的方方面面,被廣泛應用于文案寫作、文本處理、數(shù)據(jù)分析等。如何在本地部署一個專屬于自己的大模型?究竟如何跟大模型對話才能發(fā)揮其出色的功能?這些都是初窺門徑的AI開發(fā)者關(guān)心的問題。上海交大網(wǎng)絡(luò)信息中心“交我算”團隊工程師王星澤圍繞在交大本地的昇騰服務(wù)器上部署DeepSeekV3/R1大模型的經(jīng)驗介紹部署方法,包括硬件設(shè)備條件、網(wǎng)絡(luò)拓撲、API封裝、前端集成等。同時,還結(jié)合大模型在高校科研、教學和管理中的實際應用場景,介紹提示詞技巧和使用案例。
(上海交通大學網(wǎng)絡(luò)信息中心計算專員 王星澤)
開發(fā)實戰(zhàn):體驗原生開發(fā)全流程
培訓中,昇思布道師非常work老師的基于香橙派AI pro(20T)開發(fā)板的開發(fā)實戰(zhàn)吸引了現(xiàn)場每一位交大學子,對MindSpore在香橙派開發(fā)板上的能力支持做了詳細的說明,大家迫不及待動手體驗。目前昇思MindSpore AI框架已實現(xiàn)在香橙派AIpro開發(fā)板預置,并在官方網(wǎng)站上線開發(fā)指導教程,通過軟硬結(jié)合,使能開箱即用模型,并提供模型全流程使能套件,支持積木式搭建,覆蓋CV、NLP小模型及1B級大模型(如DeepSeek-R1-Distill-Qwen-1.5B)。學生們可通過動態(tài)圖+類HuggingFace接口靈活調(diào)試,結(jié)合三行代碼調(diào)用JIT即時編譯,兼顧開發(fā)效率與執(zhí)行性能,為邊緣端AI部署提供輕量化解決方案。
(昇思布道師非常work)
本次特訓營是基于上海交通大學鯤鵬昇騰科教創(chuàng)新卓越中心開展的2025年第一場DeepSeek主題特訓營。該中心自2024年6月揭牌成立以來,始終致力于構(gòu)建基于鯤鵬昇騰技術(shù)路線的校級生態(tài)合作平臺,圍繞大學計算產(chǎn)業(yè)前沿課題研究、課程體系建設(shè)、研究人才培養(yǎng)等方面展開合作,為產(chǎn)業(yè)輸出高質(zhì)量鯤鵬昇騰原生人才,孵化和培育根植中國的世界級原生科研創(chuàng)新成果。
據(jù)悉,鯤鵬昇騰科教創(chuàng)新卓越中心特訓營將持續(xù)推進,隨著特訓營在全國重點高校的陸續(xù)開展,校企協(xié)同育人的創(chuàng)新模式正為國產(chǎn)化AI人才培養(yǎng)注入新動能。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.