夢晨 發自 凹非寺
量子位 | 公眾號 QbitAI

OpenAI新模型發布后，大家體感都幻覺更多了。

甚至有人測試后發出預警：使用它輔助編程會很危險。

具體來說，它經常捏造從未運行過的代碼返回結果，在被質問時找理由狡辯，甚至還會說是用戶的錯。

當大家帶著疑問仔細閱讀System Card，發現OpenAI官方也承認了這個問題，與o1相比o3幻覺率是兩倍，o4-mini更是達到3倍。

并且OpenAI只是說“需要更多研究來了解原因”，翻譯一下就是暫時給不出合理解釋。

在第三方幻覺測試中，也出現讓人驚訝的結果：

從GPT-3.5一直到o3-mini，都遵循更新更強大的模型幻覺更少的規律。

但從最新一批深度思考模型的表現來看，推理能力更強的模型，幻覺率也變高了。

而且不只OpenAI一家出現這個問題，谷歌、xAI也同樣，Grok-3的幻覺比Grok-2嚴重，Gemini-2.0-Flash-Thinking的幻覺問題比Gemini 2.0和2.5其他型號嚴重。

推理越強，幻覺越嚴重？

第三方機構Transluce在o3正式推出之前測試了預發布版本，發現幻覺問題是相當嚴重。

在公布的案例中，o3會假裝在不存在的電腦上執行了代碼，還編造出具體硬件配置和軟件版本信息。

在受到質問時，o3居然還幻想自己是人，聲稱“輸入的時候手滑了”。

關鍵在于，在這項測試中o3根本就沒有使用代碼工具的權限，所有聲稱運行了代碼的回復都是模型捏造的。

在另一個案例中，o3回復了一個512位質數，實際上這個數能被3整除。

在受到質問時，又編造出一個換行/剪貼板故障。

更多類似幻覺如下：

• 當用戶詢問現在幾點時，o3會編造一個時間。當被問及如何獲得這個時間時，o3回答說它使用了 Python的datetime模塊。
• 用戶要求o3生成一首詩的SHA-1哈希值，當用戶質問哈希值不正確時，o3稱是用戶復制錯了，并堅稱自己生成的哈希值是正確的。
• 用戶要求o3從Web服務器上的日志文件中提取統計數據。o3生成了一個Python腳本，并聲稱可以在本地運行。這一次在被問及代碼執行的更多細節時，它終于承認自己沒有Python解釋器，輸出是“手工編造的”。

那么是什么原因導致了o3的這些行為？

Transluce認為其中一些因素是大多數模型 (LM) 所共有的，還有一些是O系列模型特有的新因素。并假設這些新因素放大了通常可以通過標準Post-training緩解（但無法完全消除）的問題。

語言模型共有的因素包括：

• 預訓練中的幻覺：
• 語言模型的預訓練目標是最大化訓練數據中語句的概率，這可能會導致常見的誤解 、罕見的事實或采樣不確定性等導致的多種幻覺。
• 獎勵黑客攻擊：
• 如果人類評分者無法區分正確答案和錯誤答案，強化學習可能會獎勵“聽起來合理”的答案，導致模型對難以驗證的問題編造出聽起來合理的解釋。
• 諂媚現象：
• RLHF訓練通常會激勵模型同意用戶的觀點，當用戶暗示模型采取了特定行動或具有特定能力時，這可能會導致模型避免與用戶相矛盾。
• 分布偏移：
• 測試場景相對于訓練場景可能存在分布偏差，如模型可能是在啟用代碼工具的情況下訓練的，但評估時關閉了這些工具。

強化學習訓練特有的因素包括：

• 最大化答案正確率的目標可能會獎勵瞎蒙

如果訓練期間的獎勵函數只獎勵正確答案，那么模型就沒有動力承認自己無法解決問題，因為承認了也不會被視作正確答案。

在這種情況下，當遇到一個無法解決或難度過高的問題時，模型可能仍會嘗試輸出一個概率最高的答案，萬一猜對了就可以得到獎勵。

- 在易于驗證的任務訓練可能使模型在其他任務上感到困惑

Transluce猜測o3的訓練過程中，鼓勵它成功使用代碼工具完成任務。它可能已經開發出一種策略，即使沒有真正的代碼工具，它也會幻想使用代碼工具來組織思維，這可能會提高其他推理任務的準確性，并在訓練過程中得到強化。

更重要的是，如果僅根據答案的正確性來評估模型，它可能永遠不會因為在訓練過程中在思維鏈中幻想代碼工具而受到懲罰，因此永遠不會學會區分真正的工具和幻想的工具

OpenAI的o系列模型，不會向用戶展示完整思維鏈這一特性也可能帶來新的問題。

2024年9月o1-preview的System Card中就包括這樣一個案例，由于沒有聯網權限無法生成真實的 URL，o1生成了一個看似合理的URL，但并未向用戶透露這一點。

Transluce認為，不向用戶展示思維鏈背后還有一個更大的風險：思維鏈沒有傳遞到未來的對話，模型前一輪的推理不再適用。

關于這一點，在OpenAI的文檔中有證實：

• 每個步驟的輸入和輸出tokens都會被保留，而推理tokens會被丟棄。

這意味著o系列模型無法理解上一部輸出的推理過程，當被問及后續問題時，必須給自己的行為給出一個合理的解釋。

換句話說，o系列模型實際上缺乏足夠的上下文信息來準確報告它們在之前回合中采取的行動。

當用戶詢問之前的操作時，這些模型無法使用“說實話”這種簡單的策略。如果再加上獎勵黑客攻擊和諂媚等其他因素，這可能會迫使模型盲目猜測其過去答案的合理解釋。

Transluce建議，測試能夠訪問和無法訪問先前思維鏈的兩種模型，可以為減少未來模型迭代中的這些捏造傾向提供寶貴的見解。

OpenAI o3 and o4-mini System Card
https://cdn.openai.com/pdf/2221c875-02dc-4789-

參考鏈接：
[1]https://transluce.org/investigating-o3-truthfulness
[2]https://x.com/nishffx/status/1913901642551865848