Z1團隊 投稿
量子位 | 公眾號 QbitAI

推理性能提升的同時，還大大減少Token消耗！

清華、耶魯團隊提出推理模型新范式：動態(tài)推理實現(xiàn)高效測試時擴展。

測試時擴展（test-time scaling）技術加速推動了大語言模型在復雜推理領域的突破。

以OpenAI的o1系列、DeepSeek-R1等模型為代表，這些系統(tǒng)通過強化學習和大規(guī)模思維鏈（CoT）軌跡訓練，在數(shù)學證明、編程競賽等任務中展現(xiàn)出接近人類專家的水平。

例如，DeepSeek R1在MATH500數(shù)學基準上達到97.3%的準確率，其核心在于允許模型在推理時動態(tài)擴展計算資源——生成更長的思維軌跡意味著更高的解題成功率。

然而，這種“以計算換性能”的策略帶來了顯著的效率代價。

現(xiàn)有方法通常強制分割上下文窗口：模型必須在前半段完成完整推理（如R1采用…分隔符），即使面對簡單問題也需消耗很大一部分的思考tokens（thinking tokens）。

更嚴重的是，部分模型在復雜問題上會出現(xiàn)“過度思考”（overthinking）現(xiàn)象：生成冗余的循環(huán)推理步驟卻無法提升準確率。論文中揭示，直接截斷超過4096 tokens的思考過程可能導致DeepSeek-R1性能下降12.7%，這暴露了當前方法在效率與效果間的根本矛盾。

△（a) 與傳統(tǒng)長思考模型相比，Z1的動態(tài)思考窗口可以節(jié)省大量思考token，達到高效推理性能(b)

針對這一挑戰(zhàn)，來自清華、耶魯團隊基于純代碼數(shù)據(jù)訓練了一個高效思考模型，其具有天然的動態(tài)推理能力，可根據(jù)問題難度高低生成不同長度的推理軌跡，同時搭配可調節(jié)的思考窗口，使得模型可以在預先設定的推理預算下實現(xiàn)高效的推理思考。

Z1：動態(tài)推理實現(xiàn)高效測試時擴展

本文的主要創(chuàng)新在于兩個層面：

1、數(shù)據(jù)層面：構建Z1-Code-Reasoning-107K數(shù)據(jù)集

作者創(chuàng)建了一個包含10.7萬條編程問題及其長短思維軌跡的數(shù)據(jù)集Z1-Code-Reasoning-107K。通過QwQ-32B模型生成原始軌跡后，逐步提高推理等級，使其保留從“直接求解”到“多步推導”的連續(xù)復雜度分布。這種數(shù)據(jù)設計確保了模型在訓練過程中能夠接觸不同復雜度的推理軌跡，從而提升其在實際任務中的適應能力。在此數(shù)據(jù)集上訓練得到的Z1模型具備天然的動態(tài)推理能力，并且可遷移至數(shù)學等代碼以外的推理任務。

2、機制層面：設計動態(tài)思考窗口（Shifted Thinking Window）

作者拋棄了硬性分隔符約束，設計了Shifted Thinking Window機制。對于簡單問題（如BigCodeBench-Hard中的基礎函數(shù)實現(xiàn)），模型自動觸發(fā)弱推理模式，可直接輸出答案；當遇到GPQA鉆石級難題時，則自動啟用強推理模式，在max thinking tokens閾值內自由推導并給出結果，如果思考超限則自動追加提示短語引導輸出答案。

二者結合，使Z1模型具備動態(tài)思考能力和預算調整能力，在使用較少thinking tokens的同時，保持較高的基準準確率，實現(xiàn)高效動態(tài)的推理。

△Z1方法的數(shù)據(jù)構建、訓練與動態(tài)思考范式

實驗結果

多個benchmark上的實驗結果

實驗證明，該方法在效率-效果平衡上實現(xiàn)顯著提升。

在包含880道競賽編程題的LiveCodeBench v5測試中，Z1-7B以35.3%準確率明顯超過其他開源7B思考模型，且平均思考token大大降低（R1-Distill-Qwen-7B需要四倍以上思考token才能達到相同性能）。

此外，僅使用代碼軌跡訓練也使模型在數(shù)學推理任務上的性能提升，例如在GPQA鉆石級科學難題上，Z1-7B以47.5%準確率超越原始Qwen2.5-Coder-7B（37.4%）10.1個百分點，同時減少28%的tokens消耗，揭示了此高效推理能力的泛化性。

Test-Time Scaling Evaluation

在三個推理benchmark上的測試時擴展實驗可以看到，僅在代碼的推理數(shù)據(jù)上微調后的Z1-7B在代碼之外的任務上也實現(xiàn)了Test-time scaling的能力。

同時，相較于R1-Distill-Qwen-7B，Z1-7B的都能以更短的平均思考長度獲得更高的分數(shù)，體現(xiàn)其高效的測試時擴展能力。

這項研究證明，通過多樣性思考軌跡的混合訓練和動態(tài)計算資源分配，大模型能夠突破”暴力計算”的局限，自適應地在不同難度的任務中使用不同級別的推理時計算資源；同時這個模型也將非推理模型與長推理模型進行統(tǒng)一，為大型推理模型在高效思考方面的發(fā)展提供了重要的貢獻。

論文鏈接：https://arxiv.org/abs/2504.00810
代碼鏈接：https://github.com/efficientscaling/Z1
模型鏈接：https://huggingface.co/efficientscaling/Z1-7B
數(shù)據(jù)鏈接：https://huggingface.co/datasets/efficientscaling/Z1-Code-Reasoning-107K