2月18日,國內(nèi)領(lǐng)先的可觀測與應用安全廠商基調(diào)聽云發(fā)布了《大模型服務(wù)性能評測DeepSeek-R1API版》第一期報告,對多家提供DeepSeek-R1API服務(wù)的廠商進行全面評測,為開發(fā)者和終端用戶提供了重要參考。
DeepSeek-R1推理大模型自2025年1月20日發(fā)布以來備受關(guān)注,其邏輯推理能力出色,引發(fā)全球轟動。然而,隨著用戶量暴增,該模型官方服務(wù)頻繁報錯,服務(wù)器繁忙問題突出。在此背景下,多家第三方服務(wù)商推出相關(guān)服務(wù),市場競爭加劇。
此次評測利用基調(diào)聽云撥測工具,模擬真實用戶進行主動監(jiān)控,從網(wǎng)絡(luò)性能、接口響應時間、推理速度、內(nèi)容生成速度等多個關(guān)鍵指標,對主流云服務(wù)廠商的API接口展開深入測試。評測數(shù)據(jù)綜合了多個城市、運營商、主機和時間維度的分析,確保結(jié)果的科學性與可靠性。
評測結(jié)果顯示,在參與評測的火山引擎、DeepSeek官方、硅基流動、騰訊云、阿里云百煉等廠商中,火山引擎表現(xiàn)最為突出,在API響應性能上全面領(lǐng)先,平均速度、推理速度、生成速度均為最優(yōu),可用性高達99.83%,是API接入的首選推薦。DeepSeek官方雖推理速度較快,但首Token延遲長達7.753秒,可用性僅42.21%,成為明顯短板。硅基流動首Token響應快且可用性穩(wěn)定,但平均速度較弱。騰訊云整體性能較低,總性能最差且可用性一般。阿里云百煉平均速度最慢,首包時間最長,不過可用性尚可。
DeepSeekR1評測結(jié)果(圖片來自基調(diào)聽云公眾號)
從不同維度進一步分析,火山引擎在北京、上海、廣州、深圳、蘇州、成都、重慶、武漢、成都、杭州等所有城市測試中均保持最高性能;DeepSeek官方在重慶的首Token時間最長,其他城市在9秒內(nèi);硅基流動的可用性在廣州表現(xiàn)最差,其他城市在98%以上。運營商維度,DeepSeek官方在中國移動網(wǎng)絡(luò)下建連時間較長,其他運營商下均在0.05秒以內(nèi),其余服務(wù)商指標未見明顯差異。主機維度,騰訊云主機數(shù)量最多、分布最廣,DeepSeek官方主機數(shù)量最少。時間維度上,不同時段各服務(wù)商表現(xiàn)不同,整體受用戶流量和服務(wù)器負載影響。
此次評測為開發(fā)者和企業(yè)用戶提供了深度數(shù)據(jù)支撐,有助于其科學選擇服務(wù)商,優(yōu)化產(chǎn)品體驗。此外,基調(diào)聽云還為普通用戶整理了支持DeepSeek-R1的第三方服務(wù)及相關(guān)網(wǎng)站信息,涵蓋免費和付費模式,方便用戶選擇使用。同時,基調(diào)聽云預告正在對網(wǎng)頁版本的DeepSeek-R1服務(wù)進行評測,后續(xù)將發(fā)布網(wǎng)頁版評測結(jié)果。
附:《大模型服務(wù)性能評測DeepSeek-R1API版》報告原文https://mp.weixin.qq.com/s/WDAQ5qc968HfvzuU3_NntQ
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.