除夕開始霸榜熱搜的DeepSeek,至今熱度未減。因其極高的性價比,引得各方“摩拳擦掌”。
早在春節期間,智齒科技的產研團隊就已經開始測試DeepSeek,并已完成初步接入。但對于AIAgent而言,DeepSeek僅是眾多大模型的選項之一,我們需要找到其更加擅長的使用場景,為我們的客戶提供針對性更強的大模型解決方案。
就在上周,我們已經完成了DeepSeek在幾個典型復雜場景中的實戰測試,以下是測試結論概覽及場景測試詳情,希望能夠為您的智能客服業務帶來新的啟發。
測試結論概述
1.DeepSeek明顯改善相似型號混淆、復雜邏輯計算的幻覺——非常適合零售電商,尤其適合3C數碼、家電等型號多、價格計算邏輯多的品類;
2.DeepSeek對復雜邏輯長文、表格等學習素材的理解能力更強——適合如金融/保險等產品復雜、常用表格呈現材料的品類;
3.對于簡單的答疑、無需復雜理解計算的品類,DeepSeek表現與參照組大模型結果相似。
說明:此測試以“沒有為大模型做任何調優訓練”為前提條件,旨在測試DeepSeek更適合的應用場景。而我們為客戶交付的所有大模型,均會進行長期的調優訓練,不斷提升回答準確度。
01
實測報告·DeepSeek可有效改善“幻覺”問題
測試方法
在每個測試場景中,為DeepSeek和參照組大模型同時上傳相同的學習材料,在均未做任何訓練調優的情況下,分別向兩組大模型提出相同問題,觀察回答結果的差異。
案例1
對「相似型號」的混淆:明顯改善
上傳材料
某型號的水箱容量說明:“PP水箱容量900ml,建議定期清潔水箱”。
測試提問
詢問另一個“相似型號”的問題:“PPMAX的水箱容量是多少?“
說明:學習素材中并沒有PPMAX型號的信息。
測試結果
·參照模型:直接調用PP型號信息回復。——認知混淆,產生“幻覺”
·DeepSeek:識別出“型號不一”,并回復“暫無信息”。——避免產生誤導
案例2
對「復雜邏輯」的計算:表現突出
上傳材料
關于“優惠券使用方法”的規則:“若在后使用的優惠券有門檻的,則系統將在減去前面已使用優惠券額度后的待實付金額基數上,再判定是否滿足后續有使用門檻的優惠券的使用條件”。
測試提問
“我買了100元的商品,有1張100-10滿減券,一張100-10店鋪券,我最終需要支付多少?”
說明:正確答案為90元。需要先判斷優惠券的計算邏輯,多次運算后給出答案。
測試結果
·參照模型:只考慮到客戶有“2張”優惠券,未考慮到規則中的計算邏輯,得出錯誤答案為“80元”。——回答錯誤,造成客戶困擾
·DeepSeek:根據規則計算出客戶的訂單金額“只夠使用一張優惠券”,并給出多種選擇方案,得出正確答案為“90元”。——獨立解決問題
案例3
對「長文材料」的理解:準確完整
上傳材料
關于“XX產品反應遲鈍”的改善方法:材料內容較長,包含檢查電量、系統更新、減少負載、網絡連接、重啟設備、檢查環境等多項步驟。
測試提問
“反應太遲鈍,速度太慢”。
測試結果
·參照模型:僅回答了該產品的移動速度區別,并沒有解決客戶問題。——對學習材料/客戶提問理解不清晰,回答錯誤。
·DeepSeek:可以正確且全面的從產品層面回答問題。——完成獨立解決
案例4
對「多維表格」的理解:調用更準
上傳材料
一張“保險產品線-銷售渠道”的二維表格,展現“每個產品的銷售狀態,及哪些產品正在哪些渠道上銷售”。
(由于涉及客戶隱私,此處不展現具體保險產品名稱)
測試提問
“XXX年金產品的購買時間和購買渠道”
說明:提問中涉及產品在表格中“未在官網和微信渠道”銷售。
測試結果
·參照模型:產品銷售狀態回答正確,但銷售渠道中包含了“官網和微信”渠道。——渠道回答不準確,可造成誤導。
·DeepSeek:區分多款子產品的銷售狀態,且銷售渠道回答正確。——完成獨立解決
由上述典型場景測試可見:DeepSeek在未做訓練調優前,對復雜材料的學習能力相對較強,且對提問的理解準確度、回復清晰度更優。
但受制于當前DeepSeek平臺的熱度及遭遇網絡攻擊的情況,我們在測試中還發現,DeepSeek會存在一定程度的超時或無響應,但這屬于DeepSeek端業務承載力層面的臨時意外情況,相信在當前形勢推動下,DeepSeek將很快解決這一問題。
02
智齒應用·提供「解決方案級」AIAgent智能客服
智齒科技AIAgent已經完成與DeepSeek的對接,目前正在推進十余家AIAgent老客戶進行業務測試。但我們所做的,并不僅僅是幫助客戶“對接”某個大模型。我們更希望將技術能力、應用能力、運營能力,以及過往對各行業的經驗沉淀結合在一起,為客戶提供「解決方案級」的AIAgent大模型智能客服應用。
通過部署智齒科技AIAgent產品,您將從以下多個方面,得到智齒為您提供的支持:
1.最新的大模型技術對接
“智能化”是智齒科技的第一發展戰略,尤其在新一代人工智能技術AIAgent領域的應用上,我們會緊跟前沿技術,快速對接新出現的優質大模型技術(如DeepSeek),并開展典型細分場景的高壓測試,幫助企業“趟平智能化道路”。
2.高響應度的解決方案策劃
我們會結合每一位大模型客戶的實際業務情況,定制針對性的大模型解決方案,完整策劃大模型的選擇、提升智能客服獨立解決率策略,提供“千人千面”的交付服務。
3.持續調優陪跑
AIAgent的應用并不是一蹴而就,需要持續的對大模型進行學習輔助、錯誤標注、測試訓練等,這要求AI訓練師擁有豐富的經驗及細致的打磨。智齒科技經驗豐富的AI訓練師,能夠幫助企業持續陪跑,不斷調優AIAgent的表現。
除了獨立運營的AIAgent產品之外,智齒科技還擁有AICopilot智能輔助、AIInsight智能洞察的全方位智能化能力,將為企業打造完整的AI客戶聯絡中心,有效提升客戶聯絡的綜合效率。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.