夢晨 發自 凹非寺
量子位 | 公眾號 QbitAI

DeepSeek即將發布R2？？坊間傳聞越來越多了，且難辨真假。

1.2T萬億參數，5.2PB訓練數據，高效利用華為芯片……只能說如果有一半是真的都很牛了。

HuggingFace創始人此時推薦“以不變應萬變”，打開官方認證賬號的更新提醒，就能第一時間獲取通知。

拋開具體泄露數據是否準確，大家似乎有一個共識：如果真的有R2，它的基礎模型會是新版DeepSeek V3-0324。

之所以有很多人相信R2會在4月底發布，有一部分原因也是出于R1與V3之間相隔了一個月左右。

現在，等不及DeepSeek官方，開源社區已經開始自己動手給V3-0324加入深度思考了。

新模型DeepSeek-R1T-Chimera，能力與原版R1相當，但速度更快，輸出token減少40%，也是基于MIT協議開放權重。

相當于擁有接近R1的能力和接近V3-0324的速度，結合了兩者的優點。

而且做到這一點，不是靠微調或蒸餾，而是DeepSeek V3-0324和R1兩個模型融合而成。

R1+V3融合模型

新模型R1T-Chimera并非DeepSeek官方出品，而是來自德國團隊TNG Technology Consulting。

該團隊此前也探索過可調專家混合（MoTE）方法， 讓DeepSeek-R1在推理部署時可以改變行為。

新的R1T-Chimera模型權重可在HuggingFace下載，也可以在OpenRouter免費在線試玩。

目前已知是選用了V3-0324的共享專家+R1與V3-0324的路由專家的混合體融合而來。

TNG團隊表示最終結果令人驚訝，不僅沒有表現出融合模型的缺陷，相反，思考過程還比原版R1更緊湊有序。

暫沒有技術報告或更詳細的模型融合方法公布，要驗證它是否符合描述，就只能拉出來試一試了。

我們選用最新折磨AI的難題“7米長的甘蔗如何通過2米高1米寬的門？”。

原版R1思考了13秒就下了結論；R1T Chimera在這里卻足足思考了101秒，最終計算出可以通過。

雖然還是無法像人類一樣直觀的理解三維空間，讓甘蔗與門的平面垂直就可通過，但依然通過計算夾角與投影得出了結論。

在這100秒時間里R1T-Chimera如何一步步思考出答案呢？

展開推理token可以發現，在簡單計算二維方案不可行后，它就已經想到了三維方案。

后面依然陷入了各種誤區，在旋轉甘蔗、彎曲甘蔗、計算“門的厚度”上走了彎路。

最終通過“揣摩出題人心理”走進正確的路線。

最終給出的答案非常嚴謹了。

雖然人類直覺上就能想出把甘蔗垂直起來通過這個方法，但仔細一想，題目中確實沒有給出“門后有多少空間這個條件”。

細還是AI細。

關于R1T-Chimera的更多細節，大家還在等TNG團隊消息和更多第三方基準測試結果。

不過也有人注意到，KIMI K1.5技術報告中也探索了模型融合方法。

具體來說是把長思維鏈（long-cot）模型和短思維鏈（short-cot）模型融合，直接對兩個模型的權重取平均值，獲得一個新模型，無需重新訓練。

不過在實驗中，這種簡單融合方法表現并不如這篇論文中提出的Long2short強化學習方法。

另一個在模型融合上有經驗的團隊是Transformer作者Llion Jones創辦的Sakana AI。

早在24年初就結合進化算法提出以block為單位融合的方法。

隨著更多團隊跟進這一路線，模型融合會不會成為2025年大模型的一大技術趨勢呢？歡迎在評論區留下你的看法。

HuggingFace：
https://huggingface.co/tngtech/DeepSeek-R1T-Chimera

在線試玩：
https://openrouter.ai/tngtech/deepseek-r1t-chimera:free

參考鏈接：
[1]https://x.com/tngtech/status/1916284566127444468