在過去很長時間里，預(yù)訓(xùn)練擴展定律（Pre-training Scaling Law）都是機器學(xué)習(xí)領(lǐng)域最重要的經(jīng)驗法則之一，它不僅幫助研究人員理解和優(yōu)化模型訓(xùn)練過程，還為資源分配提供了理論依據(jù)。簡單來說，當(dāng)在特定任務(wù)上使用參數(shù)更大的模型、更多的訓(xùn)練數(shù)據(jù)和更強的計算能力時，模型性能也會更強。

而 DeepSeek R1 、 OpenAI o1 、文心大模型 X1 以及 QVQ-Max 的出現(xiàn)，則表明 LLM 領(lǐng)域的 Scaling Law 正在發(fā)生變化。這類模型在數(shù)學(xué)、代碼、長程規(guī)劃等問題上的表現(xiàn)尤為突出，而且其推理能力提升的關(guān)鍵，就是后訓(xùn)練階段中強化學(xué)習(xí)訓(xùn)練和推理階段思考計算量的增大。一方面意味著后訓(xùn)練擴展定律（Post-Training Scaling Laws）正在引發(fā)社區(qū)對于算力分配、后訓(xùn)練能力的重新思考，另一方面也讓強化學(xué)習(xí)（RL，Reinforcement Learning）成為了大語言模型能力提升的新引擎。

就在本周，螞蟻技術(shù)研究院和清華大學(xué)交叉信息院吳翼團隊，發(fā)布了訓(xùn)練速度最快最穩(wěn)定的開源強化學(xué)習(xí)訓(xùn)練框架 AReaL（Ant Reasoning RL，https://github.com/inclusionAI/AReaL），并公開了全部數(shù)據(jù)和完成可復(fù)現(xiàn)的訓(xùn)練腳本。在最新的 AReaL v0.2 版本 AReaL-boba 中，其 7B 模型數(shù)學(xué)推理分數(shù)刷新同尺寸模型 AIME 分數(shù)紀(jì)錄，并且僅僅使用 200 條數(shù)據(jù)就在 AIME 2024 上復(fù)刻 QwQ-32B 的推理結(jié)果，相當(dāng)于僅僅使用了 200 美金的計算成本，讓所有人都可以以極低的成本實現(xiàn)最強的推理訓(xùn)練效果。

1 后訓(xùn)練定律崛起，強化學(xué)習(xí)重塑大模型能力邊界

后訓(xùn)練擴展定律的興起是大語言模型能力進化的重要轉(zhuǎn)折點，該定律表明訓(xùn)練階段的計算量不再只和參數(shù)量的上升有關(guān)，同時也會包含強化學(xué)習(xí)探索時大語言模型推理的計算量。這也就意味著可以使用微調(diào)、剪枝、量化、蒸餾、強化學(xué)習(xí)和合成數(shù)據(jù)增強等技術(shù)，進一步提高預(yù)訓(xùn)練模型的性能。

以強化學(xué)習(xí)為例，作為一種對標(biāo)注數(shù)據(jù)數(shù)量要求更少的機器學(xué)習(xí)技術(shù)，它只通過獎勵模型來訓(xùn)練大模型，使其學(xué)習(xí)做出與特定用例相符的決策。大模型的目標(biāo)是在與環(huán)境交互的過程中，隨著時間推移最大化累積獎勵。

例如，一個大語言模型可以通過用戶的“點贊”反應(yīng)獲得正向強化，這種技術(shù)被稱為基于人類反饋的強化學(xué)習(xí) (RLHF)。另一種更新的技術(shù)是基于 AI 反饋的強化學(xué)習(xí) (RLAIF)，它使用 AI 模型的反饋來指導(dǎo)學(xué)習(xí)過程，從而簡化后訓(xùn)練的優(yōu)化工作。

通過引入強化學(xué)習(xí)機制，大語言模型可借助實時反饋對生成內(nèi)容進行動態(tài)優(yōu)化，使其輸出更精準(zhǔn)地適配人類偏好，從而將海量知識儲備有效轉(zhuǎn)化為針對特定場景的任務(wù)解決能力。

不過，強化學(xué)習(xí)雖然效果顯著，但針對大語言模型的大規(guī)模強化學(xué)習(xí)訓(xùn)練門檻卻一直很高：例如在數(shù)據(jù)方面，某些大規(guī)模強化學(xué)習(xí)訓(xùn)練需要大量高質(zhì)量的人類反饋數(shù)據(jù)，需要收集和處理大量的人類偏好數(shù)據(jù)，可能還會涉及隱私和倫理問題。

計算資源方面，大規(guī)模強化學(xué)習(xí)訓(xùn)練需要強大的計算資源，包括 GPU 集群和高效的分布式訓(xùn)練算法。

成本方面，大規(guī)模強化學(xué)習(xí)訓(xùn)練所需的時間成本、財務(wù)成本都比較高，對不少團隊來說都是一個挑戰(zhàn)。

算法復(fù)雜度方面，強化學(xué)習(xí)算法設(shè)計比較復(fù)雜，獎勵模型構(gòu)建和策略優(yōu)化都需要考慮在內(nèi)，還需要處理自注意力機制、長距離依賴等問題。

模型設(shè)計方面，也需要平衡模型的復(fù)雜度與性能，同時由于獎勵模型準(zhǔn)確率直接影響強化學(xué)習(xí)的效果，還需要高質(zhì)量訓(xùn)練數(shù)據(jù)的支持。

生成評估方面，需要結(jié)合人工評估與自動指標(biāo)，如果是多模態(tài)模型，還需要應(yīng)對跨模態(tài)任務(wù)評估的難題。

總體來說，大規(guī)模強化學(xué)習(xí)訓(xùn)練的流程復(fù)雜，涉及模塊繁多（如生成、訓(xùn)練、獎勵判定等），這為實現(xiàn)高效穩(wěn)定的分布式訓(xùn)練帶來了很多挑戰(zhàn)；其次，類似 DeepSeek R1 這樣的推理模型輸出長度會很長（超過 10K），隨著訓(xùn)練持續(xù)變化，很容易造成顯存和效率瓶頸；最后，目前的開源社區(qū)中缺乏高質(zhì)量的強化學(xué)習(xí)訓(xùn)練數(shù)據(jù)，也缺乏完整可復(fù)現(xiàn)的訓(xùn)練過程。

針對上述挑戰(zhàn)，螞蟻技術(shù)研究院于上個月正式開源了強化學(xué)習(xí)框架 AReaL（Ant Reasoning RL）。AReaL 基于開源框架 ReaLHF 構(gòu)建，旨在訓(xùn)練每個人都可以復(fù)現(xiàn)和貢獻的大型推理模型 。

AReaL 秉承完全開放與可復(fù)現(xiàn)的理念，團隊將持續(xù)公開包括 LRM 訓(xùn)練模型的全套代碼、完整數(shù)據(jù)集及系統(tǒng)化訓(xùn)練方案。項目所有核心算法組件完整開源，開發(fā)者可自由進行模型驗證、功能改進及實際應(yīng)用，推動大型推理模型、智能體開發(fā)領(lǐng)域的協(xié)作創(chuàng)新。

此外，AReaL 可以適配多種計算資源環(huán)境，從單節(jié)點開發(fā)調(diào)試環(huán)境到千卡級 GPU 集群分布式訓(xùn)練場景均可實現(xiàn)全流程高效執(zhí)行。在首次發(fā)布的 v0.1 版本中，就包含了基于 AReaL 的可復(fù)現(xiàn)實驗，涵蓋 1.5B 和 7B 參數(shù)的推理模型，并在多種計算預(yù)算下進行了驗證。

通過 AReaL，開發(fā)者可以在 40 小時內(nèi)穩(wěn)定完成 1.5B 的強化學(xué)習(xí)訓(xùn)練，使其在數(shù)學(xué)推理任務(wù)能力上超越 o1-Preview；或者在 Qwen2.5-7B 大模型上實現(xiàn)穩(wěn)定復(fù)現(xiàn)的強化學(xué)習(xí)訓(xùn)練，從而系統(tǒng)化驗證 thinking token 的演化規(guī)律及模型數(shù)學(xué)推理能力的持續(xù)優(yōu)化過程。

而本周發(fā)布的 v0.2 版本 AReaL-boba，則讓普通人也擁有了“手搓” QwQ-32B 的能力。

2 開源框架革新：三大核心解鎖強化學(xué)習(xí)規(guī)模化

AReaL 團隊表示，新版本“boba” 的命名一方面源自團隊對珍珠奶茶的偏愛，另一面也是希望強化學(xué)習(xí)技術(shù)能如奶茶成為大眾飲品一般，滲透至 AI 開發(fā)的每個日常場景，普惠整個社區(qū)。事實上，AReaL-boba 也完全擁有這樣的能力，其技術(shù)亮點主要表現(xiàn)在以下三個方面：

全面擁抱 SGLang 框架，訓(xùn)練速度大幅提升

AReaL-boba 是首個全面擁抱 SGLang 推理框架的開源訓(xùn)練系統(tǒng)，并充分利用了 SGLang 推理框架的多種優(yōu)勢，包括更高的推理性能、更低的資源消耗、更高的靈活性、易于集成等等。

AReaL-boba 在初代 AReaL 版本的基礎(chǔ)上實現(xiàn)了突破性進展：通過深度整合 SGLang 框架并實施多維度工程優(yōu)化，AReaL-boba 能夠靈活適配不同的計算資源配置，并且性能提升呈現(xiàn)出顯著的規(guī)模效應(yīng)——在 1.5B 參數(shù)模型上訓(xùn)練速度提升 35%，7B 模型加速達 60%，當(dāng)擴展至 32B 大模型時更獲得 73% 的顯著性能躍升，為大規(guī)模強化學(xué)習(xí)訓(xùn)練提供了高效的解決方案。

此外，AReaL-boba 也展現(xiàn)出了卓越的大模型訓(xùn)練效率：僅需 128 張 H800 顯卡即可在 24 小時內(nèi)完成 1.5B 參數(shù)的 SOTA 推理模型訓(xùn)練；當(dāng)擴展至 256 張 H800 時，可在 48 小時內(nèi)完成 7B 參數(shù)的 SOTA 推理模型訓(xùn)練。這些也得益于 AReaL-boba 在系統(tǒng)級方面的優(yōu)化：

• 生成后端升級

AReaL-boba 的生成后端升級到了 SGLang v0.4.0，并通過 RadixAttention 機制顯著提高了從同一提示中采樣多個響應(yīng)的場景中的吞吐量。此外，SGLang 會在權(quán)重更新時自動刷新 Radix 緩存，從而確保強化學(xué)習(xí)的正確性。

• 優(yōu)化可變長度序列與大批量訓(xùn)練

為了高效處理可變序列長度問題，AReaL 團隊摒棄了填充操作，轉(zhuǎn)而將序列打包為 1D 張量。通過動態(tài)分配算法（近似）最優(yōu)地將序列分配到最大令牌預(yù)算下，在平衡微批次規(guī)模的同時最小化微批次數(shù)量。該方法能最大化 GPU 內(nèi)存利用率，從而支持高效處理大規(guī)模可變長度輸入。

• 面向千卡級 GPU 擴展的高性能數(shù)據(jù)傳輸

AReaL 團隊采用了基于 InfiniBand/RoCE 協(xié)議的 GPU 直連遠程直接內(nèi)存訪問（GDRDMA）技術(shù)，配合 NVIDIA 集合通信庫（NCCL），實現(xiàn)了 GPU 間的直接通信。該技術(shù)繞過了傳統(tǒng) CPU 中介傳輸和 PCIe 總線瓶頸，相較于基于以太網(wǎng)的傳統(tǒng)方案，顯著降低了通信延遲并提升了傳輸吞吐量。即使在包含 1000 塊 GPU 的超大集群中，也能將生成到訓(xùn)練流程的數(shù)據(jù)傳輸開銷控制在 3 秒以內(nèi)。

種種技術(shù)加持之下，AReaL-boba 成為了目前訓(xùn)練速度最快的開源框架。

強化學(xué)習(xí)賦能，7B 模型數(shù)學(xué)推理分數(shù)刷新開源社區(qū)紀(jì)錄

數(shù)學(xué)推理是大型模型實現(xiàn)強人工智能的關(guān)鍵，它不僅能直接提升模型在數(shù)學(xué)相關(guān)任務(wù)的表現(xiàn)，更通過培養(yǎng)邏輯嚴謹性、抽象思維和問題分解能力，間接增強模型在通用領(lǐng)域的推理效能。

AReaL 團隊基于 Qwen-R1-Distill-7B 基礎(chǔ)模型，通過大規(guī)模強化學(xué)習(xí)訓(xùn)練，在 48 小時內(nèi)即可取得領(lǐng)域最佳的數(shù)學(xué)推理能力，并刷新開源社區(qū)新紀(jì)錄，實現(xiàn) AIME2024 61.9 分與 AIME2025 48.3 分的優(yōu)異成績，顯著超越 OpenAI o1-preview 模型。

與基礎(chǔ)模型相比，AReaL-boba 通過強化學(xué)習(xí)實現(xiàn)了模型的能力躍遷，分別較 AIME2024 和 AIME2025 提升了 6.9 分與 8.6 分，進一步驗證了強化學(xué)習(xí)規(guī)模化應(yīng)用在推理模型優(yōu)化中的關(guān)鍵價值。

基于 AReaL 完全開放與可復(fù)現(xiàn)的理念，AReaL-boba 在開源推理模型的基礎(chǔ)上也開源了所有的訓(xùn)練數(shù)據(jù) AReaL-boba-106k，以及全部的訓(xùn)練腳本和評估腳本。同時在項目官方倉庫上，AReaL 團隊也放出了極其詳細的技術(shù)筆記，總結(jié)了大量訓(xùn)練中的關(guān)鍵點，包括 PPO 超參數(shù)、獎勵函數(shù)設(shè)置、正則化設(shè)置、長度上限設(shè)置等等。

例如，AReaL 團隊以 PPO 超參數(shù)作為核心訓(xùn)練算法，為節(jié)省計算資源，移除了策略評估網(wǎng)絡(luò)（Critic 模型）。同時，將折扣因子γ和廣義優(yōu)勢估計（GAE）參數(shù)λ均設(shè)置為 1。這些配置策略與 Open-Reasoner-Zero 項目的實現(xiàn)方案保持一致。

在獎勵函數(shù)設(shè)置方面，AReaL 團隊則采用了稀疏序列級獎勵機制。模型被要求將最終答案用方框標(biāo)出（即\boxed{}格式），隨后系統(tǒng)會對該答案進行驗證。若答案正確則給予 +5 的獎勵，錯誤則處以 -5 的懲罰。同時，由于 KL 散度獎勵可能對模型性能產(chǎn)生負面影響，尤其是在長思維鏈訓(xùn)練中，因此將其系數(shù)設(shè)為 0 以消除干擾。

創(chuàng)新性蒸餾技術(shù)，200 條數(shù)據(jù)輕松復(fù)刻 QwQ-32B

針對 32B 參數(shù)規(guī)模的推理模型，AReaL 團隊進一步精簡了訓(xùn)練數(shù)據(jù)并發(fā)布了 AReaL-boba-200 數(shù)據(jù)集以及相關(guān)訓(xùn)練腳本，在以 Qwen-32B-Distill 作為基礎(chǔ)模型時，AReaL-boba 采用輕量級監(jiān)督微調(diào) (SFT) 技術(shù)，在 AIME2024 評測中成功復(fù)現(xiàn)了 QwQ-32B 模型的推理性能，并且整個訓(xùn)練過程僅需 200 美元的計算成本，為開發(fā)者甚至普通人提供了低門檻實現(xiàn)高性能推理訓(xùn)練的可行性路徑。

3 結(jié)尾

與傳統(tǒng)的深度學(xué)習(xí)算法相比，強化學(xué)習(xí)更為復(fù)雜，且模塊更多，這使得搭建適應(yīng)強化學(xué)習(xí)算法的訓(xùn)練系統(tǒng)成為了一件頗具挑戰(zhàn)的課題，AReaL 作為一個專為大型推理模型設(shè)計的靈活高效的開源強化學(xué)習(xí)系統(tǒng)，如今已經(jīng)更新到了訓(xùn)練速度更快的 AReaL-boba 版本，這無疑為強化學(xué)習(xí)在大模型時代的創(chuàng)新應(yīng)用注入了新的活力。

值得一提的是，AReaL 團隊的核心成員均來自螞蟻研究院強化學(xué)習(xí)實驗室，以及交叉信息研究院吳翼團隊，項目也借鑒了大量優(yōu)秀的開源項目，比如 DeepScaleR、Open-Reasoner-Zero、OpenRLHF、veRL、SGLang、QwQ、Light-R1 和 DAPO。作為國內(nèi)第一個完整開源（數(shù)據(jù)、代碼、模型、腳本全開源）的項目團隊，AReaL 的初衷就是真正實現(xiàn) AI 訓(xùn)練的普惠。

在項目官方倉庫中，AReaL 團隊也列出了團隊后續(xù)的開源計劃和目標(biāo)，包括異步訓(xùn)練、訓(xùn)練吞吐優(yōu)化、數(shù)據(jù)集和算法升級，以及代碼和 Agent 智能體能力支持。也許，下一個 AReaL 版的“奶茶”，也已經(jīng)在路上。

這不僅是一次技術(shù)開源嘗試，更是推動算力普惠化的積極探索——當(dāng) AReaL-boba 將大模型強化學(xué)習(xí)訓(xùn)練簡化為如同點奶茶般簡易的操作時，人人都能“手搓”大模型的時代，可能馬上就要來臨了。

• 項目鏈接：https://github.com/inclusionAI/AReaL

• HuggingFace 數(shù)據(jù)模型地址：https://huggingface.co/collections/inclusionAI/areal-boba-67e9f3fa5aeb74b76dcf5f0a