新智元報道

編輯：編輯部 JHh

【新智元導讀】這兩天，國外網友紛紛發現o3-mini-high在思考過程中居然會經常出現中文！難道真如網友猜測，是借鑒DeepSeek了？

國外網友，一覺醒來，發現o3-mini-high開始用中文思考了。

o3-mini-high作為美國最頂尖的模型之一，竟然在沒有用戶干預的情況下，如此大量地使用中文進行推理。

如此這般，不禁讓網友懷疑，是不是OpenAI在「偷師」中國的DeepSeek模型。

更有意思的是，即便用俄語去提問，o3-mini-high也會用中文去思考。

對此，網友紛紛質問起了奧特曼和OpenAI：「o3-mini到底為什么要用中文進行推理」？！

左右滑動查看

網友Annalisa Fernandez則表示，或許中文才是LLM的「靈魂語言」。

經此爭議，下面這張「DeepSeek/OpenAI羅生門」梗圖，已經在外網迅速傳開了。

語言混雜也是老毛病了

當然了，這并不是OpenAI的模型第一次發生這種現象。

早在去年2月份，就有開發者在OpenAI開發者社區上，報道過類似的問題，不過是混合了其他語言。

而在推理模型方面，OpenAI o1也存在類似的問題。

事實上，這種「語言混雜」（language mixing）現象在其他AI模型中也有發現。

比如，谷歌的Gemini會混雜德語。

為何會突然口吐中文？

那么，究竟是為何才讓o3-mini-high在推理過程中口吐中文呢？

阿爾伯塔大學助理教授、AI研究員Matthew Guzdial提出了一個切中要害的觀點：

「模型并不知道什么是語言，也不知道語言之間有什么不同，因為對它來說這些都只是文本。」

事實上，模型眼中的語言，和我們理解的完全不同。模型并不直接處理單詞，而是處理 tokens。以「fantastic」為例，它可以作為一個完整的token；可以拆成「fan」、「tas」、「tic」三個token；也可以完全拆散，每個字母都是一個token。

但這種拆分方式也會帶來一些誤會。很多分詞器看到空格就認為是新詞的開始，但實際上不是所有語言都用空格分詞，比如中文。

Hugging Face的工程師Tiezhen Wang認同Guzdial的看法，認為推理模型語言的不一致性可能是訓練期間建立了某種特殊的關聯。

他通過類比人類的思維過程，闡述了雙語能力的深層含義：掌握雙語絕非僅僅局限于能夠流利使用兩種語言，更是一種獨特的思維模式。在這種模式下，大腦會依據當下的場景，本能地挑選最為適配的語言。例如，在進行數學運算時，使用中文往往簡潔高效，因為每個數字僅需一個音節；而在探討「無意識偏見」這類概念時，大腦則會自然地切換到英文，這是由于最初接觸該概念便是通過英文。

這種語言切換的過程，恰似程序員在選擇編程語言時的自然反應。盡管多數編程語言都具備完成任務的能力，但我們會依據不同需求，選擇用Bash編寫命令行，使用Python進行機器學習，因為每種語言都有其特定的最佳適用場景。

「工具的選擇需因場合而異」，這一理念對AI訓練有著重要啟示：讓AI接觸多種語言，使其能夠學習不同文化所蘊含的獨特思維方式。這種包容性不僅能讓AI更加全面，還能使其更加公平。

在Reddit相關帖子下，不少網友表達了相似的觀點，即不同的語言各有擅長的領域。

左右滑動查看

當然，也有另外的推測觀點。比如網友Someone Kong分析認為，這可能是因為中文更短，所以會在強化學習中獲得更多的獎勵。

此外，正如網友們反復提到的，DeepSeek在論文中對這一現象進行了分析。

研究團隊發現，當強化學習提示詞涉及多種語言時，思維鏈常常出現語言混雜（language mixing）的現象。

為了減輕語言混雜的問題，DeepSeek在RL訓練過程中引入了「語言一致性獎勵」，計算方法是CoT中目標語言詞匯的比例。

盡管消融實驗表明，這種對齊方式會導致模型性能的輕微下降，但這一獎勵符合人類偏好，使模型的輸出更加可讀。最后，推理任務的準確度和語言一致性獎勵直接相加，形成最終的獎勵。

目前，「語言混雜」還亟待解決。

畢竟DeepSeek-R1也只是針對中文和英文進行了優化，在處理其他語言的查詢時， 也可能出現語言混雜問題。

例如，即使查詢是用非英語或非中文的語言提出的，DeepSeek-R1也可能在推理和回答中使用英文。

論文鏈接：https://arxiv.org/pdf/2501.12948

或許，正如維特根斯坦所言：「語言的界限就是世界的界限」。

道理是這個道理，但對于那些沒學過外語的用戶來說，這個推理過程不要也罷！（手動狗頭）

比如網友Gabe在看到這么一長串的中文推理后，甚至開始懷疑：「o3-mini會不會給的都是錯誤答案。」

有趣的是，就在事件發酵后不久，奧特曼便在2月3日表示，OpenAI「沒有計劃」起訴DeepSeek。

在采訪中，奧特曼非常自信地表示，OpenAI可以繼續引領世界：

DeepSeek無疑是一個令人印象深刻的模型，但我們相信，我們會繼續推動技術前沿，推出更多優秀的產品，所以很高興有一個新的競爭對手。

值得一提的是，OpenAI本身也面臨著多項知識產權侵權指控，主要與模型訓練時使用受版權保護的內容有關。

參考資料：

https://www.reddit.com/r/OpenAI/comments/1iflvc8/o3_thinks_in_chinese_for_no_reason_randomly/