金磊 發自 上海
量子位 | 公眾號 QbitAI
不得了。
現在的國產AI應用,一口氣看好幾分鐘的視頻,都可以直接做推理和解析了!
瞧~只需“喂”上一段柯南片段,AI就搖身一變成“名偵探”做剖析:
視頻地址:https://mp.weixin.qq.com/s/JIsEmAk1T16YcYpXAOrJHw
它會對整個視頻的內容先做一個總結,再按照秒級,對視頻片段做內容上的推演。
如果再給這個AI“喂”上一段足球游戲,它又會秒變成一位資深解說員:
視頻地址:https://mp.weixin.qq.com/s/JIsEmAk1T16YcYpXAOrJHw
這一次,在視頻總結和視頻要點之后,我們繼續提出要求:
- 請幫我剪輯視頻中的片段,包含任意由客戶指定的場景,提取相關片段,標明時間范圍,并為每個片段配上解說文案,用戶場景為:進球時刻。
它就會立即執行深度思考,自動剪輯出一段8秒的高光片段,并附上建議搭配的音樂或音效:
這便是商湯最新升級的日日新SenseNova V6解鎖的新能力——
原生多模態通用大模型,采用6000億參數MoE架構,實現文本、圖像和視頻的原生融合。
從性能評測來看,SenseNova V6已經在純文本任務和多模態任務中,多項指標均已超越GPT-4.5、Gemini 2.0 Pro,并全面超越DeepSeek V3:
在強推理能力上,日日新V6/V6 Reasoner的多模態和語言深度推理任務上同時超過了OpenAI的o1和Gemini 2.0 flash-thinking的水平。
同時在小版本的模型上,SenseNova V6的各項成績也超越GPT-4o:
縱觀整體,可以將商湯此次發布新模型的特點總結為三個關鍵詞——
強推理、強交互和長記憶。
那么具體效果如何,我們繼續往下看。
邊看邊聽邊理解的AI
這次我們的實測主要聚焦在實時音視頻交互的能力上。
我們直接用全新版本的商量APP(內測版)來做一波測試。
測試的視頻,便是最近大火的韓劇《苦盡柑來遇見你》中女主媽媽讓婆婆陪她一起去拍遺像的片段:
視頻地址:https://mp.weixin.qq.com/s/JIsEmAk1T16YcYpXAOrJHw
AI在看了整整五分鐘視頻之后,對于我們的三連問都給出了精準的答案:
- 你覺得剛才這兩位女士是什么關系?
- 你覺得這兩個女士為什么要去照相館照相?
- 畫面中這位女士最后的結果是怎么樣的?
不僅如此啊,從AI的回復中,我們也可以聽出情緒上的變化,對于這樣令無數人催淚的橋段,它作答的情緒也是略帶sad。
再來一個比較有意思的——看圖猜城市:
AI的回答如下:
視頻地址:https://mp.weixin.qq.com/s/JIsEmAk1T16YcYpXAOrJHw
在一番深度思考之后,AI是精準猜到了長沙這個城市。
類似的,我們再來做一個猜成語的游戲,題目長這樣:
這一次,AI更是沒有過多的“廢話”,直擊要害地給出了答案——緣木求魚。
視頻地址:https://mp.weixin.qq.com/s/JIsEmAk1T16YcYpXAOrJHw
不光是有趣,在面對日常生活中的問題,商湯SenseNova V6更是能夠體現它有用的價值。
比如給小朋友輔導數學題,現在真的就是一拍一問就可以的事情了。
要知道,普通大模型只會提供千篇一律的標準答案,無法基于不同的解題思路提供指導。
但日日新V6不但能識別手寫體,還能夠提供針對錯誤點的一對一引導式講解,并給與高效輔導:
視頻地址:https://mp.weixin.qq.com/s/JIsEmAk1T16YcYpXAOrJHw
從多種維度的實測來看,SenseNova V6是具備了高度擬人化的感知、表達和情感理解能力,可針對不同的對話內容和場景需求,即時靈活地切換語氣、情感與音調。
同時,它還擁有較強的實時交互、視覺識別、記憶思考、持續對話和復雜推理等能力。
除此之外,商湯的SenseNova V6,還上身了今年持續爆火的具身智能,可以說是用它多模態的能力,給機器人裝上大腦、眼睛、耳朵和嘴巴:
怎么做到的?
看完各種實測,我們再來聊聊SenseNova V6背后的原理。
為了更好地理解,量子位與商湯科技聯合創始人、執行董事及人工智能基礎設施和大模型首席科學家林達華請教了一番。
首先,就是商湯自研的原生多模態融合訓練技術。
這是一種能夠將多種模態信息(如文本、圖像、視頻、音頻等)在模型架構和訓練過程中進行深度融合的AI模型架構。
與傳統的將語言模型和多模態模型分立的方式不同,它通過橋接技術(如補充訓練數據和模態關聯機制)實現模態間的協同,避免傳統方法中“蹺蹺板效應”(即增強某一模態能力導致另一模態能力下降)。
這種設計能更自然處理復雜場景(如漫畫理解、視頻分析),捕捉跨模態的細節關聯(如圖像中的隱含信息)。
在今年1月份的權威評測榜單SuperCLUE(語言模型綜合榜單)和OpenCompass(多模態綜合榜單)上均位列國內第一,這也充分證明了該技術的強大潛力。
其次,是多模態長思維鏈合成技術。
面對復雜推理任務,傳統AI模型容易因信息過長而丟失關鍵邏輯;商湯的這一技術可以通過多智能體協作,實現超長思維鏈的生成與驗證(目前儲備超1000萬條思維鏈數據)。
具體而言,它可以合成并理解64K tokens(約5萬字)的多模態長思維鏈,使模型具備長時間、多步驟的深度思考能力,適用于數學推導、科學分析、長文檔理解等場景。
林達華舉例說明,模型在回答問題時能逐步關聯圖像細節(如漫畫中的海鷗表情),最終生成富有創造力的輸出。
除此之外,還有多模態混合增強學習。
這一技術的提出主要是為了平衡模型的邏輯推理能力和情感表達能力。
它同時采用基于人類偏好的RLHF(強化學習人類反饋)和基于確定性答案的RFT(強化學習事實訓練),使模型既符合人類喜好,又保證事實準確性。
并且通過智能權重調整,確保模型在提升推理能力的同時,不會變得機械生硬,仍能自然表達情感。
最后,便是長視頻統一表征和動態壓縮。
長視頻理解一直是AI的難題,商湯的統一時序表征技術實現了跨模態信息的高效對齊與壓縮。
它可以將畫面(視覺)、語音(聽覺)、字幕(文本)、時間邏輯統一編碼,形成連貫的時序表征。
在采用細粒度級聯壓縮+內容敏感過濾之后,10分鐘的長視頻可壓縮至16K tokens(僅為原始數據的極小部分),同時保留核心語義,大幅提升處理效率。
以上四大技術,便是商湯SenseNova V6背后的殺手锏了。
不僅要日日新,還要天天用
遙想百模大戰之初,商湯CEO徐立博士解釋過為何商湯大模型會取名為“日日新”:
- 靈感源自中國古代經典《禮記·大學》中的名句“茍日新,日日新,又日新”
其本意是如果一天能夠自新,就該天天自新,持續不斷地革新;這也意味著商湯的大模型版本會持續更新,能力“日新月異”。
現在回頭來看,從SenseNova V1到現在的V6,商湯大模型發展速度確實是做到這一點:平均3-4個月便會有一次的迭代。
而從今天的發布會來看,不論是從技術的解讀,亦或是案例、demo的分享,無不在劍指易用性。
大到城市管理、物業運營、電網巡檢,小到數學解題、游戲解說、繪本故事……
一言蔽之,商湯在透露的核心觀點便是:
- AI之道,在于百姓之日用。
對此,徐立博士也對量子位做了更進一步的闡述:
- 推理能力、多模態能力、模型融合能力,讓AI的通用智能大大泛化,不光能推進科學探索,也能解決老百姓的日常痛點和所需。
- 核心還是AI通用能力的實現,我認為當下正是多模態智能的涌現期。
除此之外,借著此次SenseNova V6“上身”具身智能,還延伸出了一個有趣的話題——
前不久某知名創投圈大佬一句“批量退出具身智能”引發了不小熱議。
對此,商湯科技聯合創始人楊帆認為:
- 這種觀點很好,科技創新產業需要這種質疑,我們需要直面且客服這種質疑,才能邁向更認真嚴肅的產業階段。
- 具身智能可能還是試驗階段的東西,但我個人非常有信心,能跟合作伙伴一起為產業提供更多的價值。
銀河通用合伙人、大模型負責人張直政表示:
- 有不同討論聲音的時候,說明大家真的在嚴肅的討論這個問題;但這并不意味著具身智能的泡沫有多嚴重,這是科技創新的驅動力。
- 我作為科研人員,從謹慎樂觀的角度來看,泡沫對于創新是非常正常的。
- 例如騎馬的時候,對汽車就是泡沫;是對技術的想象力和邊界產生了突破,我們要從宏觀的需求出發,把這個技術落實下進去,把對前沿科技的想象變成真正的產品。
除此之外,上海交通大學副教授閆維新對這個問題的看法是:
- 泡沫是遠離了價值以外的內容,只要大方向正確,與之相關的應用、落地的發展中過程中,我們需要冷靜思考,是否能夠像人一樣有感知力和執行力去滿足公眾需求。
- 我認為危險替代就是具身智能一個非常好的場景,3-5年后是可以看到的。
總而言之,商湯作為國內大模型代表性玩家,它今天所強調的“AI之道”,一來是符合當今大模型發展“應用為王”的趨勢,更是反應出了AI發展的根本價值取向——
技術必須服務于人的真實需求,融入日常生活,解決實際問題。
那么今天,你用AI了嗎?趕快去試試SenseNova V6吧~
chat.sensetime.com
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.