來源：魔搭社區

隨著DeepSeek R1的推出，強化學習在大模型領域的潛力被進一步挖掘。Reinforcement Learning with Verifiable Reward (RLVR) 方法的出現，為多模態任務提供了全新的優化思路，無論是幾何推理、視覺計數，還是經典圖像分類和物體檢測任務，RLVR都展現出了顯著優于傳統監督微調（SFT）的效果。

然而，現有研究多聚焦于Image-Text多模態任務，尚未涉足更復雜的全模態場景。基于此，通義實驗室團隊探索了RLVR與視頻全模態模型的結合，并提出了R1-Omni模型。

論文：https://arxiv.org/abs/2503.05379

Github：https://github.com/HumanMLLM/R1-Omni

模型：https://www.modelscope.cn/models/iic/R1-Omni-0.5B

模型介紹

模型訓練的兩個階段

冷啟動階段：奠定基礎推理能力

為了保證RLVR階段訓練的平穩性，該團隊使用一個組合數據集進行微調，使其初步掌握多模態情感識別任務中的推理能力。該組合數據集是一個由 580 條視頻數據組成的組合數據集，其中包括來自 Explainable Multimodal Emotion Reasoning (EMER) 數據集的 232 條樣本，以及來自 HumanOmni 數據集的 348 條樣本。

EMER數據集的數據格式如下：

這一階段確保了模型在進入 RLVR 階段前已具備一定基礎能力，從而提升后續訓練的效率與穩定性。

RLVR階段：推理與泛化能力雙重提升

基于冷啟動階段初始化的模型，通過RLVR的方式訓練，同時利用視頻和音頻的多模態數據優化情感識別任務。該階段通過強化學習與可驗證獎勵機制，進一步優化了模型的推理能力和泛化性能。

RLVR的第一個關鍵組件是策略模型（policy model），該模型處理由視頻幀和相應音頻流組成的多模態輸入數據，并生成一組候選響應。每個響應都附帶詳細的推理，展示了模型如何整合視覺和聽覺信息從而得出預測的詳細過程。

第二個關鍵組件是獎勵函數，策略模型生成的這些候選響應使用可驗證的獎勵函數（reward function）進行評估。RLVR訓練框架中用到的獎勵函數受DeepSeekR1的啟發，將獎勵分成了兩個部分，精確率獎勵（accuracy reward）和格式獎勵（format reward），這兩部分共同形成最終的獎勵R：

通過聯合兩部分獎勵，該獎勵函數不僅鼓勵模型生成正確的預測，同時保證輸出是結構化的，并且和我們預設的格式一致。

實驗表明，RLVR 不僅讓音頻和視頻信息的作用更加透明，還顯著提升了模型在情緒識別任務中的關鍵指標。此外，R1-Omni 在分布外測試中表現出色，充分展現了其在復雜場景下的強大泛化能力。

模型效果對比

為了驗證 R1-Omni 的性能，我們將其與原始的 HumanOmni-0.5B 模型、冷啟動階段的模型以及在 MAFW 和 DFEW 數據集上有監督微調的模型進行了對比。

實驗結果顯示，在同分布測試集（DFEW 和 MAFW）上，R1-Omni 相較于原始基線模型平均提升超過 35%，相較于 SFT 模型在 UAR 上的提升高達 10% 以上。在不同分布測試集（RAVDESS）上，R1-Omni 同樣展現了卓越的泛化能力，WAR 和 UAR 均提升超過 13%。這些結果充分證明了 RLVR 在提升推理能力和泛化性能上的顯著優勢。

模型效果

R1-Omni 的一大亮點在于其透明性（推理能力）。通過 RLVR 方法，音頻信息和視頻信息在模型中的作用變得更加清晰可見。

比如，在情緒識別任務中，R1-Omni 能夠明確展示哪些模態信息對特定情緒的判斷起到了關鍵作用。

這種透明性不僅幫助我們更好地理解模型的決策過程，也為未來的研究提供了重要參考方向。未來，我們期待 R1-Omni 在更多復雜場景中發揮作用，為多模態任務的研究與應用開辟新的道路。