西風 明敏 發自 凹非寺
量子位 | 公眾號 QbitAI

深夜重磅！阿里發布并開源首個端到端全模態大模型——

通義千問Qwen2.5-Omni-7B，來了。

僅靠一個一體式模型，就能搞定文本、音頻、圖像、視頻全模態，并實時生成文本和自然語音。

堪稱7B模型的全能冠軍。

你的iPhone搭載的很可能就是它！

現在打開Qwen Chat，就能直接和它實時進行視頻或語音交互：

話不多說，先來看一波能力展示。

在大街上同它視頻通話，它能正確識別周圍環境，按照你的需求為你推薦餐館：

視頻鏈接：https://mp.weixin.qq.com/s/VkJP89bpgZaxaKz-1wav9A

走進廚房，它又化身“智能菜譜”，一步步指導你變成大廚：

視頻鏈接：https://mp.weixin.qq.com/s/VkJP89bpgZaxaKz-1wav9A

在多模態任務OmniBench評測中，Qwen2.5-Omni表現刷新記錄拿下新SOTA，遠超谷歌Gemini-1.5-Pro等同類模型。

在單模態的語音識別、翻譯、音頻理解、圖像推理、視頻理解、語音生成任務中，Qwen2.5-Omni的全維度表現也都優于類似大小的單模態模型以及閉源模型。

在seed-tts-eval語音生成基準中，Qwen2.5-Omni展現出與人類水平相當的語音合成能力。

這意味著Qwen2.5-Omni-7B能很好地和世界進行實時交互，甚至能輕松識別音視頻情緒。

再來敲重點：

模型非常輕量，手機等終端都可輕松部署運行，且開源用的是寬松的Apache2.0協議，開發者、企業現在都可免費在魔搭社區或Hugging Face下載商用

Qwen2.5-Omni-7B一開源，網友直呼這才是真正的OpenAI（doge）。

網友紛紛表示可以直接拿來裝到智能眼鏡上了：

這可能是智能眼鏡的完美模型。

7B模型的新紀錄！

目前，在Qwen Chat上即可體驗該模型支持的AI語音和視頻通話功能。

更多實例，一起來看~

實測效果驚艷

首先，Qwen2.5-Omni-7B能勝任免費的數學家教。

它能像人類老師一樣，看到題目、聽懂問題，并且一步一步耐心講解。

視頻鏈接：https://mp.weixin.qq.com/s/VkJP89bpgZaxaKz-1wav9A

更復雜的論文它也看得懂。

只需共享屏幕，然后將論文從上至下滑動，“給它看一遍”。

它就能通俗解釋論文內容。

比如PPT、網頁資料等，也能找它做講解。

而且它還有一定藝術見解，比如可以陪著你畫畫，然后給出指導建議。

或者聽你演奏的音樂，給出更好的改進建議。

我們還進行了一手實測，在Qwen Chat上每天可使用語音和視頻聊天10次。

實測中，模型能很好地理解商品界面和優惠政策。

響應速度也很快，并且會引導人類繼續問下去、很有耐心。

需要注意的是，當前視頻通話還只是Beta測試版，每次通話限時3分鐘。

視頻鏈接：https://mp.weixin.qq.com/s/VkJP89bpgZaxaKz-1wav9A

Hugging Face的產品負責人Jeff Boudier也第一時間上手試玩。

模型的英文能力一樣出眾，而且它不僅回答看到了杯子，還細致描述了杯子上的笑臉花紋。

視頻鏈接：https://mp.weixin.qq.com/s/VkJP89bpgZaxaKz-1wav9A

首創Thinker-Talker雙核架構

目前官方已放出Qwen2.5-Omni技術Blog和論文。

Qwen2.5-Omni采用通義團隊首創的全新架構——Thinker-Talker雙核架構

其中，Thinker就像“大腦”，負責處理和理解來自文本、音頻、視頻等多模態的輸入信息，生成高層語義表征以及對應的文本內容。

Talker則更像“嘴巴”，以流式的方式接收由Thinker實時輸出的語義表征與文本，并流暢地合成離散語音tokens。

具體來說，Thinker基于Transformer解碼器架構，融合音頻/圖像編碼器進行特征提取。

而Talker采用雙軌自回歸Transformer解碼器設計，在訓練和推理過程中直接接收來自Thinker的高維表征，并共享Thinker的全部歷史上下文信息。因此，整個架構作為一個緊密結合的單一模型運行，支持端到端的訓練和推理。

與此同時，團隊還提出了一種新的位置編碼算法TMRoPE（Time-aligned Multimodal RoPE）以及Position Embedding（位置嵌入）融合音視頻技術

TMRoPE編碼多模態輸入的三維位置信息，即多模態旋轉位置嵌入（M-RoPE），并結合絕對時間位置，通過將原始旋轉嵌入分解為時間、高度和寬度三個部分實現。

另外值得一提的是，從技術層面來看，Qwen2.5-Omni和一般的視頻/語音理解模型以及其相應的視頻/語音對話的AI功能，也有本質性區別。

在傳統語音理解大模型的人機交互場景里，一般運用 ASR（Automatic Speech Recognition，自動語音識別）技術，把人類語音轉換為文字文本，隨后將其交給大語言模型處理，最終生成的內容借助 TTS（Text-to-Speech，語音合成）技術轉化為語音反饋給用戶。

而視頻理解模型是基于圖片、視頻進行大模型理解，并以文字形式輸出反饋。

這兩種模型均屬于相互獨立的單鏈路模型。在一些AI應用中，甚至會串聯多個模型來實現類似功能，如此一來，鏈路變得更長，效率大打折扣。

Qwen2.5-Omni-7B的特點在于，它原生支持視頻、圖片、語音、文字等多模態輸入，并能原生生成語音及文字等多模態輸出

也就是說，一個模型就能通過“看”、“聽”、“閱讀”等多種方式來綜合思考。

所以Qwen2.5-Omni得以在一系列同等規模的單模態模型權威基準測試中，拿下最強全模態性能，在語音理解、圖片理解、視頻理解、語音生成等領域的測評分數，均領先于專門的音頻（Audio）或視覺語言（VL）模型。

搶先看到Apple Intelligence？

一個月前，阿里公開確認與蘋果合作，宣布通義千問將為國行iPhone用戶提供AI功能，此消息一經披露，便在科技圈引發熱議。

而這次Qwen2.5-Omni開源，就是奔著端側部署來的，7B尺寸使其具備直接嵌入手機的可行性，仿佛提前看到了Apple Intelligence，讓大家看到多模態大模型上手機都能有哪些效果。

不只是蘋果，據量子位了解，這種端側部署能力已吸引超90%國產手機品牌接入通義千問，包括OPPO、vivo、榮耀、傳音等，還有眾多汽車品牌、AI硬件產品選擇與之攜手。

為啥都選通義千問？

梳理通義千問的最新發展動態，答案便不難理解。

首先，通義千問Qwen目前已穩居全球最大AI大模型族群。

僅在最近一個月的時間里，就接連推出了一系列具有競爭力的模型：推理模型Max旗艦版QwQ-Max-Preview、視頻生成模型Wan 2.1、推理模型QwQ-32B、視覺語言模型Qwen2.5-VL-32B-Instruct……

實際上，2023年至今，阿里通義團隊已累計開源200多款模型，涵蓋從0.5B到110B全尺寸范圍，模型類型覆蓋文本生成、視覺理解與生成、語音理解與生成、文生圖及視頻模型等全模態領域，應用場景也極為豐富。

在海內外開源社區中，通義千問Qwen衍生模型數量更是一路飆升，現已超過10萬，超越Llama系列。

根據Hugging Face 在2月10日發布的最新全球開源大模型榜單，排名前十的開源大模型無一例外，全部是基于通義千問Qwen開源模型二創的變體模型。

其次，阿里巴巴通過開源等一系列積極舉措，成功構建起一個豐富且活躍的大模型生態。

阿里不僅將開源進行到底，更向大模型公司提供了全方位的服務支持，其中包括算力資源以及開發工具等，阿里云已成為中國大模型領域的公共AI算力底座。

截至2025年2月中旬，阿里魔搭社區ModelScope的模型總量已超4萬個，服務超1000萬開發者。

那么通義千問Qwen團隊下一步要干啥？

期待聽到您的反饋，并看到您使用Qwen2.5-Omni開發的創新應用。
在不久的將來，將著力增強模型對語音指令的遵循能力，并提升音視頻協同理解能力。還將持續拓展多模態能力邊界，發展全面的通用模型。

感興趣的友友不如一起來上手試試吧~

Qwen Chat：https://chat.qwenlm.ai

Hugging Face：https://huggingface.co/Qwen/Qwen2.5-Omni-7B

ModelScope：https://modelscope.cn/models/Qwen/Qwen2.5-Omni-7B

DashScope：https://help.aliyun.com/zh/model-studio/user-guide/qwen-omni

GitHub：https://github.com/QwenLM/Qwen2.5-Omni

Demo體驗：https://modelscope.cn/studios/Qwen/Qwen2.5-Omni-Demo