機器之心報道

編輯：杜偉

最近，DeepSeek-R1 和 OpenAI o1/03 等推理大模型在后訓練階段探索了長度擴展（length scaling），通過強化學習（比如 PPO、GPRO）訓練模型生成很長的推理鏈（CoT），并在奧數等高難度推理任務上取得了顯著的效果提升。

受此啟發，研究人員開始探索預訓練階段的長度擴展，已有方法包括在序列中插入文本、插入潛在向量（如 Coconut）、復用中間層隱藏狀態（如 CoTFormer）以及將中間隱藏狀態映射為概念（如 COCOMix）。不過，這些方法普遍存在問題，比如需要更大的 KV 緩存導致推理慢 / 占內存多。

本文中，來自 ByteDance Seed 團隊的研究者提出了更簡單的方法：直接重復輸入 tokens（1/2/3/4 次），不做中間層處理。他們觀察到了訓練損失和模型性能隨重復倍數擴展的趨勢，如下圖 1a 和 1b 所示。但是，直接重復 tokens 也帶來了新問題，包括 KV 緩存規模線性增加，內存壓力大；預填充時間超線性增加；解碼延遲變長。這些都是實現預訓練長度擴展需要重點解決的挑戰。

• 論文標題：Efficient Pretraining Length Scaling
• arXiv 地址：https://arxiv.org/pdf/2504.14992

研究者提出了一種推理友好的新穎長度擴展方法，核心是 PHD-Transformer（Parallel Hidden Decoding Transformer），它保持了與原始 transformer 相同的 KV 緩存大小，同時實現有效的長度擴展。PHD-Transformer 通過創新的 KV 緩存管理策略實現了這些能力。

具體來講，研究者將第一個 token 表示原始 token，將重復的 token 表示為解碼 token。同時僅保留從原始 token 生成的 KV 緩存來用于長距離依賴建模，并在隱藏解碼 token 用于下一個 token 預測之后丟棄它們的 KV 緩存。因此，PHD-Transformer 提供了與原始 transformer 相同的 KV 緩存，同時相較于簡單的 token 重復實現了顯著的推理加速（如圖 1d 所示）。

研究者還注意到，在 PHD-SWA 中，隱藏解碼 token 的 KV 緩存表現出了順序依賴關系，這導致預填充時間呈線性增長。為了解決這個問題，研究者提出了逐塊滑動窗口注意力 —— PHD-CSWA，從而限制了每個塊內的順序依賴關系。

因此，得益于只有最后一個塊的預填充時間呈線性增長，PHD-CSWA 顯著縮短了預填充時間（如圖 1c 所示）。

方法概覽

研究者在推理過程中實現了與原始 Transformer 相同的 KV 緩存大小和內存訪問模式。雖然需要 K 次 FLOP，但這些計算可以并行處理，從而在內存受限的推理場景中最大限度地降低延遲開銷。該架構的核心優勢在于原始 token 和隱藏解碼 token 之間的解耦。在預填充期間，只有原始 token 需要計算。

這種設計確保預填充時間與原始 Transformer 相同，并且無論擴展因子 K 如何變化，預填充時間都保持不變。而對于損失計算，研究者僅使用 token 的最終副本進行下一個 token 的預測。總之，使用 token 的第一個副本進行 KV 緩存生成，使用 token 的最后一個副本進行下一個 token 的預測。

內核設計

PHD-SWA 和 PHD-CSWA

與簡單的 token 重復相比，PHD-Transformer 在保持原始 KV 緩存大小的同時實現了長度擴展。然而通過經驗觀察到，為隱藏解碼 token 保留一些 KV 緩存可以帶來顯著的性能提升。因此，為了在保持效率的同時獲得這些優勢，研究者引入了 PHD-SWA，將滑動窗口注意力限制在 W 個先前的隱藏解碼 token 上。

雖然 PHD-SWA 滑動窗口方法提升了模型性能，但由于隱藏解碼 token 的 KV 緩存中存在順序依賴關系，它會產生 K 倍的預填充開銷。為了解決這個問題，研究者引入了 PHD-CSWA，它可以在獨立的塊內處理注意力。

如下圖 4 所示，PHD-CSWA 將滑動窗口注意力限制在單個塊內運行。這種架構創新將額外的預填充開銷減少到最終塊內的 K 次重復，而不是整個序列重復，這使得額外的計算成本幾乎可以忽略不計，同時保留了局部注意力模式的優勢。

實驗結果

在實驗中，研究者使用 OLMo2 作為代碼庫，并在 ARC、HellaSwag、PIQA、Winogrande、MMLU 和 CommonsenseQA 等公開基準測試集上進行了評估。

訓練細節：研究者使用 1.2B 參數規模的模型，它是一個 16 層的密集模型。每個 token 的隱藏層維數設置為 2048，FFN 層的隱藏層大小設置為 16384。同時使用組查詢注意力 (Group-Query Attention，GQA)，它包含 32 個查詢頭和 8 個鍵 / 值頭，每個頭的隱藏層維數設置為 64。研究者使用 500B 個 token 訓練該模型。

對于本文提出的 PHD 系列設置，研究者預訓練了以下兩種 PHD-CSWA 變體：

• PHD-CSWA-2-16-32，其中訓練 token 重復兩次。保留一個包含 16 個 token 的局部窗口，并將塊大小設置為 32 個 token。
• PHD-CSWA-3-16-32，其中訓練 token 重復三次。局部窗口大小和塊大小與 PHD-CSWA-2-16-32 的設置相同。

PHD-CSWA 在各個基準測試中均實現了持續的性能提升。下圖 5 中展示了訓練曲線，下表 1 中展示了主要結果。本文提出的 PHD-CSWA-2-16-32 在這些基準測試中平均實現了 1.5% 的準確率提升，訓練損失降低了 0.025；而 PHD-CSWA-3-16-32 在這些基準測試中平均實現了 2.0% 的準確率提升，訓練損失降低了 0.034。

研究者還分析了 PHD 和 PHD-SWA 的擴展性能，以分析擴展解碼計算的性能。 訓練細節：使用相同的 550M 模型配置，將窗口大小 W 設置為 16，并在 {2, 3, 5} 范圍內改變擴展因子 K。對于局部窗口大小，研究者在所有實驗中都將窗口大小設置為 16。

PHD-SWA 的性能在增加擴展因子時有效擴展。如下圖 8 所示，使用固定窗口大小時，損失曲線和下游性能會隨著 token 重復次數而有效擴展。通過將擴展因子設置為 5，可以實現接近 0.06 的損失降低，同時顯著提升下游性能。

下表 2 中的定量結果表明，當擴展至 K = 5 時，所有基準測試的平均準確率提高了 1.8%，這證實了本文的方法在更激進的擴展方面仍然有效。

更多實驗結果請參閱原論文。