機(jī)器之心報(bào)道

編輯：Panda、杜偉

今天凌晨，從昨晚開始預(yù)熱、備受全球 AI 圈關(guān)注的 Qwen3 系列模型終于正式亮相了！

Qwen3 模型依舊采用寬松的 Apache2.0 協(xié)議開源，全球開發(fā)者、研究機(jī)構(gòu)和企業(yè)均可免費(fèi)在 HuggingFace、魔搭社區(qū)等平臺(tái)下載模型并商用，也可以通過阿里云百煉調(diào)用 Qwen3 的 API 服務(wù)。

• HuggingFace 地址：https://huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f
• Modelscope 地址：https://modelscope.cn/collections/Qwen3-9743180bdc6b48
• GitHub 地址：https://github.com/QwenLM/Qwen3
• 博客地址：https://qwenlm.github.io/blog/qwen3/
• 試用地址：https://chat.qwen.ai/

具體來講，Qwen3 系列模型包含兩款 MoE 模型以及六款密集模型，其中每一款又包含更多細(xì)分版本（比如基礎(chǔ)版和量化版）：

• MoE 模型：Qwen3-235B-A22B 和 Qwen3-30B-A3B；其中 235B 和 30B 分別是總參數(shù)量，22B 和 3B 分別是激活參數(shù)量。
• 密集模型：Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B 和 Qwen3-0.6B。

下表展示了這些模型的詳細(xì)參數(shù)：

Hugging Face 已經(jīng)上線了 22 個(gè)不同的 Qwen3 系列模型

目前，Qwen3 系列中較大的三款模型也已經(jīng)上線了 Qwen Chat 網(wǎng)頁版和手機(jī) App。

性能方面，在代碼、數(shù)學(xué)、通用能力等基準(zhǔn)測(cè)試中，旗艦?zāi)Ｐ?Qwen3-235B-A22B 與 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 等頂級(jí)模型表現(xiàn)相當(dāng)

此外，小型 MoE 模型 Qwen3-30B-A3B 的激活參數(shù)數(shù)量是 QwQ-32B 的 10%，表現(xiàn)卻更勝一籌。甚至像Qwen3-4B 這樣的小模型也能匹敵 Qwen2.5-72B-Instruct 的性能

性能大幅提升的同時(shí)，Qwen3 的部署成本還大幅下降，僅需 4 張 H20 即可部署滿血版，顯存占用僅為性能相近模型的三分之一

開發(fā)團(tuán)隊(duì)也在博客中給出了一些推薦設(shè)置：「對(duì)于部署，我們推薦使用 SGLang 和 vLLM 等框架；而對(duì)于本地使用，像 Ollama、LMStudio、MLX、llama.cpp 和 KTransformers 這樣的工具也非常值得推薦。這些選項(xiàng)確保用戶可以輕松將 Qwen3 集成到他們的工作流程中，無論是用于研究、開發(fā)還是生產(chǎn)環(huán)境。」

該團(tuán)隊(duì)表示：「Qwen3 的發(fā)布和開源將極大地推動(dòng)大型基礎(chǔ)模型的研究與開發(fā)。我們的目標(biāo)是為全球的研究人員、開發(fā)者和組織賦能，幫助他們利用這些前沿模型構(gòu)建創(chuàng)新解決方案。」

Qwen 團(tuán)隊(duì)技術(shù)負(fù)責(zé)人林俊旸（Junyang Lin）進(jìn)一步分享了 Qwen3 模型開發(fā)的細(xì)節(jié)，他稱團(tuán)隊(duì)成員花了一些時(shí)間來找方法解決一些并不花哨的問題，比如如何通過穩(wěn)定的訓(xùn)練來擴(kuò)展強(qiáng)化學(xué)習(xí)、如何平衡來自不同領(lǐng)域的數(shù)據(jù)、如何增強(qiáng)對(duì)更多語言的支持等。他希望用戶能夠喜歡 Qwen3 模型并從中發(fā)現(xiàn)一些有趣的東西。他還表示，團(tuán)隊(duì)正邁向下一個(gè)階段，即訓(xùn)練 Agent 來擴(kuò)展長程推理，同時(shí)更多地關(guān)注現(xiàn)實(shí)世界的任務(wù)。

當(dāng)然，未來開發(fā)團(tuán)隊(duì)也將放出 Qwen3 模型的技術(shù)報(bào)告或訓(xùn)練配方。

網(wǎng)友反饋與上手實(shí)測(cè)

和前一代 Qwen 系列模型一樣，Qwen3 的發(fā)布同樣吸引了全球 AI 和開源社區(qū)的關(guān)注，我們看到的也是滿屏的好評(píng)。

究竟表現(xiàn)如何？機(jī)器之心也做了點(diǎn)簡單的嘗試。

首先來個(gè)簡單的推理測(cè)試題，Qwen3-235B-A22B 不出意料地能輕松應(yīng)對(duì)。

2 倍速動(dòng)圖

接下來，我們嘗試了一個(gè)更加復(fù)雜的編程任務(wù)：編寫一個(gè)貪吃蛇游戲，采用像素風(fēng)格。同時(shí)有另一個(gè)需求，游戲中有一個(gè)平頭哥在追趕我們控制的蛇，一旦被咬中，蛇的長度就會(huì)丟失一半。當(dāng)蛇撞墻或咬到自己或長度低于 2 時(shí)，游戲結(jié)束。

視頻鏈接：

https://mp.weixin.qq.com/s/gvWJMfy2ah4IHqyO-tP8MA

視頻未加速

Qwen3-235B-A22B 大概使用了 3 分鐘解決這個(gè)任務(wù)。簡單試玩一下，發(fā)現(xiàn)基本上可玩，但也有些 bug，比如平頭哥的速度過快了。但考慮到這是 Qwen3-235B-A22B 在簡單提示詞下給出的 One-shot 結(jié)果，也就完全可以接受了。相信更精細(xì)的提示工程和迭代優(yōu)化可以得到更好的結(jié)果。

我們也通過 Ollama 簡單嘗試了 Qwen3 系列中最小的模型 Qwen 0.6B。

看起來，這個(gè)完全可以在一臺(tái)普通手機(jī)上流暢運(yùn)行的小模型不僅速度很快，也足以完成很多日常的推理任務(wù)。

經(jīng)過后訓(xùn)練的模型，例如 Qwen3-30B-A3B，以及它們的預(yù)訓(xùn)練基座模型（如 Qwen3-30B-A3B-Base），現(xiàn)已在 Hugging Face、ModelScope 和 Kaggle 等平臺(tái)上開放使用。對(duì)于部署，我們推薦使用 SGLang 和 vLLM 等框架；而對(duì)于本地使用，像 Ollama、LMStudio、MLX、llama.cpp 和 KTransformers 這樣的工具也非常值得推薦。這些選項(xiàng)確保用戶可以輕松將 Qwen3 集成到他們的工作流程中，無論是用于研究、開發(fā)還是生產(chǎn)環(huán)境。

三大核心亮點(diǎn)

此次，Qwen3 模型在多個(gè)方面實(shí)現(xiàn)了增強(qiáng)。

一是，支持兩種思考模式，分別如下：

• 思考模式，模型逐步推理，經(jīng)過深思熟慮后給出最終答案，尤其適合需要深入思考的復(fù)雜問題。
• 非思考模式，模型提供快速、近乎即時(shí)的響應(yīng)，適用于那些對(duì)速度要求高于深度的簡單問題。

這種靈活性使用戶能夠根據(jù)具體任務(wù)控制模型進(jìn)行「思考」的程度。例如，復(fù)雜的問題可以通過擴(kuò)展推理步驟來解決，而簡單的問題則可以直接快速作答，無需延遲。

至關(guān)重要的是，這兩種模式的結(jié)合大大增強(qiáng)了模型實(shí)現(xiàn)穩(wěn)定且高效的「思考預(yù)算」控制能力。Qwen3 展現(xiàn)出的可擴(kuò)展且平滑的性能提升，就與分配的計(jì)算推理預(yù)算直接相關(guān)。可以預(yù)見，這樣的設(shè)計(jì)讓用戶能夠更輕松地為不同任務(wù)配置特定的預(yù)算，在成本效益和推理質(zhì)量之間實(shí)現(xiàn)更優(yōu)的平衡。

下圖為在 AIME24、AIME25、LiveCodeBech（v5）和 GPQA Diamond 等基準(zhǔn)測(cè)試集中，非思考模式與思考模式的思考預(yù)算變化趨勢(shì)。

二是，支持更多語言

目前，Qwen3 模型支持 119 種語言和方言。增強(qiáng)的多語言能力為國際應(yīng)用開辟了新的可能性，可以讓更廣泛的全球用戶體驗(yàn)到模型的強(qiáng)大能力。這些語言具體包括如下：

三是，Agent 能力增強(qiáng)

如今，Agent 已經(jīng)是大模型領(lǐng)域重點(diǎn)關(guān)注的能力之一，尤其是最近 MCP 模型上下文協(xié)議的引入更是大大增強(qiáng)了 Agent 的適用性和靈活性，大大拓寬了應(yīng)用場(chǎng)景。

此次，Qwen3 模型的 Agent 和 代碼能力得到增強(qiáng)，包括加強(qiáng)了對(duì) MCP 的支持。我們可以看下面一個(gè)示例（提取 QwenLM 庫的 markdown 內(nèi)容，然后繪制顯示項(xiàng)目 stars 數(shù)量的條形圖），展示了 Qwen3 如何思考并與環(huán)境進(jìn)行交互：

視頻鏈接：

https://mp.weixin.qq.com/s/gvWJMfy2ah4IHqyO-tP8MA

預(yù)訓(xùn)練數(shù)據(jù)量達(dá) 36 萬億 token

后訓(xùn)練實(shí)現(xiàn)混合推理

在預(yù)訓(xùn)練方面，Qwen3 的數(shù)據(jù)集相比 Qwen2.5 有了顯著擴(kuò)展。Qwen2.5 是在 18 萬億個(gè) token 上進(jìn)行預(yù)訓(xùn)練的，而Qwen3 使用的數(shù)據(jù)量幾乎是其兩倍，達(dá)到了約 36 萬億個(gè) token，涵蓋了 119 種語言和方言。

為了構(gòu)建龐大的數(shù)據(jù)集，開發(fā)團(tuán)隊(duì)不僅從網(wǎng)絡(luò)上收集數(shù)據(jù)，還從 PDF 文檔中提取信息。他們使用 Qwen2.5-VL 從這些文檔中提取文本，并用 Qwen2.5 改進(jìn)提取內(nèi)容的質(zhì)量。

另外，為了增加數(shù)學(xué)和代碼數(shù)據(jù)的數(shù)量，開發(fā)團(tuán)隊(duì)利用 Qwen2.5-Math 和 Qwen2.5-Coder 這兩個(gè)數(shù)學(xué)和代碼領(lǐng)域的專家模型合成數(shù)據(jù)，合成了包括教科書、問答對(duì)以及代碼片段等多種形式的數(shù)據(jù)。

具體而言，預(yù)訓(xùn)練過程分為了以下三個(gè)階段：

• 在第一階段（S1），模型在超過 30 萬億個(gè) token 上進(jìn)行了預(yù)訓(xùn)練，上下文長度為 4K token。這一階段為模型提供了基本的語言技能和通用知識(shí)。
• 在第二階段（S2），通過增加知識(shí)密集型數(shù)據(jù)（如 STEM、編程和推理任務(wù)）的比例來改進(jìn)數(shù)據(jù)集，隨后模型又在額外的 5 萬億個(gè) token 上進(jìn)行了預(yù)訓(xùn)練。
• 在最后階段，使用高質(zhì)量的長上下文數(shù)據(jù)將上下文長度擴(kuò)展到 32K token，確保模型能夠有效地處理更長的輸入。

得益于模型架構(gòu)的改進(jìn)、訓(xùn)練數(shù)據(jù)的增加以及更有效的訓(xùn)練方法，Qwen3 Dense 基礎(chǔ)模型的整體性能與參數(shù)更多的 Qwen2.5 基礎(chǔ)模型相當(dāng)，例如 Qwen3-1.7B/4B/8B/14B/32B-Base 分別與 Qwen2.5-3B/7B/14B/32B/72B-Base 表現(xiàn)相當(dāng)。

特別是在 STEM、編碼和推理等領(lǐng)域，Qwen3 Dense 基礎(chǔ)模型的表現(xiàn)甚至超過了更大規(guī)模的 Qwen2.5 模型。可以看到，Qwen3 MoE 基礎(chǔ)模型在僅使用 10% 激活參數(shù)的情況下達(dá)到了與 Qwen2.5 Dense 基礎(chǔ)模型相似的性能，由此帶來了訓(xùn)練和推理成本的顯著節(jié)省。

與此同時(shí)，Qwen3 在后訓(xùn)練階段同樣進(jìn)行了優(yōu)化。

為了開發(fā)能夠同時(shí)具備思考推理和快速響應(yīng)能力的混合模型，開發(fā)團(tuán)隊(duì)實(shí)施了一個(gè)四階段的訓(xùn)練流程，包括：（1）長思維鏈冷啟動(dòng)，（2）長思維鏈強(qiáng)化學(xué)習(xí)，（3）思維模式融合，以及（4）通用強(qiáng)化學(xué)習(xí)。

在第一階段，使用多樣的的長思維鏈數(shù)據(jù)對(duì)模型進(jìn)行了微調(diào)，涵蓋了數(shù)學(xué)、代碼、邏輯推理和 STEM 問題等多種任務(wù)和領(lǐng)域。這一過程旨在為模型配備基本的推理能力。

第二階段的重點(diǎn)是大規(guī)模強(qiáng)化學(xué)習(xí)，利用基于規(guī)則的獎(jiǎng)勵(lì)來增強(qiáng)模型的探索和鉆研能力。

在第三階段，在一份包括長思維鏈數(shù)據(jù)和常用的指令微調(diào)數(shù)據(jù)的組合數(shù)據(jù)上對(duì)模型進(jìn)行微調(diào)，將非思考模式整合到思考模型中，確保了推理和快速響應(yīng)能力的無縫結(jié)合。

在第四階段，在包括指令遵循、格式遵循和 Agent 能力等在內(nèi)的 20 多個(gè)通用領(lǐng)域的任務(wù)上應(yīng)用了強(qiáng)化學(xué)習(xí)，進(jìn)一步增強(qiáng)模型的通用能力并糾正不良行為。

Qwen 已成全球第一開源模型

Qwen3 的發(fā)布是阿里通義千問的又一里程碑，再對(duì)比一下 Llama 4 系列模型得到的社區(qū)反饋，Qwen 系列無疑已經(jīng)成為全球第一的開源模型 —— 這一論斷也有數(shù)據(jù)支持。據(jù)了解，阿里通義已開源了 200 余個(gè)模型，全球下載量超 3 億次，Qwen 衍生模型數(shù)超 10 萬個(gè)，已超越 Llama，成為全球最大的開源模型族群。

Qwen、Llama、Mistral 系列開源模型的衍生模型數(shù)量隨時(shí)間的增加情況

在全球 AI 技術(shù)競(jìng)爭(zhēng)日益激烈的背景下，阿里通義千問通過持續(xù)的技術(shù)創(chuàng)新和開放合作，推動(dòng)了 AI 技術(shù)的普及與發(fā)展，展現(xiàn)了中國科技企業(yè)在全球開源 AI 生態(tài)中的強(qiáng)大影響力。

參考鏈接：https://x.com/Alibaba_Qwen/status/1916962087676612998