本文整理自Nature上的一篇文章，原文題目為“AI hallucinations can’t be stopped — but these techniques can limit their damage”。

研究者Andy Zou經(jīng)常要求聊天機器人推薦一些背景知識和參考文獻，但這并不總是順利。大多數(shù)時候，聊天機器人給出的作者并非真正的作者，或者有時候推薦的論文根本就不存在。

眾所周知，包括AI聊天機器人等大型語言模型（LLM）會編造內(nèi)容，這既是優(yōu)點也是缺點。正是這種能力讓它們具有備受贊譽的創(chuàng)造力，但這也意味著它們有時會混淆事實和虛構(gòu)，在看似是事實的句子中插入錯誤的細節(jié)。亞特蘭大佐治亞理工學(xué)院的理論計算機研究者Santosh Vempala 說：“ 它們傾向于編造一些東西，而且充滿信心”。

虛假參考文獻的問題尤其普遍。在2024年的一項研究中，各種聊天機器人在引用參考文獻方面的錯誤率為30%-90%，至少會把論文標(biāo)題、第一作者或出版年份中的兩項寫錯[1]。聊天機器人通常給出警告，提醒用戶對重要內(nèi)容進行仔細檢查。但如果用戶直接引用聊天機器人的回答，可能會導(dǎo)致嚴(yán)重問題。例如，2023年美國律師Steven Schwartz在法庭文件中引用了ChatGPT編造的不存在的法律。

聊天機器人出錯的原因有很多，計算機科學(xué)家傾向于將所有此類錯誤稱為幻覺（hallucinations）。這一術(shù)語并未被普遍接受，有些人建議用“胡言亂語（confabulations）”或更簡單的“胡說八道（bullshit）”來代替[2]。

AI幻覺是LLM的基本特征，有研究者表示，完全消除是不可能的[3]。像Zou這樣的研究者正在研究如何減少幻覺的發(fā)生率，他們研究了一系列技巧， 包括外部事實核查、內(nèi)部自我反省，甚至像Zou一樣，對LLM的人工神經(jīng)元進行“腦部掃描”，以揭示欺騙模式。Zou等人表示，各種新興技術(shù)應(yīng)該有 助于創(chuàng)造更少“胡說八道”的聊天機器人，或者至少可以促使它們在對答案沒有信心時坦白承認(rèn)。

幻覺是如何產(chǎn)生的？

從根本上講，LLM并不是為了揭露事實而設(shè)計的。相反，它們會根據(jù)訓(xùn)練數(shù)據(jù)中的模式以及隨后通過人類測試者反饋等技術(shù)進行微調(diào)，生成統(tǒng)計上可行的回復(fù)。專家們承認(rèn)，盡管訓(xùn)練LLM預(yù)測短語中可能出現(xiàn)的下一個詞的過程已廣為人知，但其精確的內(nèi)部工作原理仍然是個謎。同樣，人們也不清楚幻覺是如何產(chǎn)生的。

一個根本原因是LLM通過壓縮數(shù)據(jù)來工作。在訓(xùn)練過程中，這些模型將數(shù)十萬億詞之間的關(guān)系壓縮為數(shù)十億個參數(shù)，也就是決定人工神經(jīng)元之間連接強度的變量。因此，它們在構(gòu)建回復(fù)時，必然會丟失一些信息——實際上是將這些壓縮的統(tǒng)計模式再次擴展開來。Vectara（美國的一家科技公司，旨在最大限度減少AI幻覺）聯(lián)合創(chuàng)始人Amr Awadallah說道：“這些工具能夠重建近98%的訓(xùn)練內(nèi)容，但在剩下的2%中，可能會完全偏離軌道，給你一個完全錯誤的答案”。

一些錯誤僅僅來自AI訓(xùn)練數(shù)據(jù)中存在歧義或錯誤。例如，一個臭名昭著的回答是，聊天機器人建議在披薩醬中加入膠水以防止奶酪滑落，這可以追溯到社交網(wǎng)絡(luò) Reddit 上的一篇具有諷刺意味的帖子。

然而，即使擁有完全準(zhǔn)確和清晰的訓(xùn)練數(shù)據(jù)集，模型仍會有小概率出現(xiàn)幻覺。Vempala推測這一比例應(yīng)該與數(shù)據(jù)集中僅出現(xiàn)一次的事實的比例相同[4]。至少對“經(jīng)校準(zhǔn)的”LLM來說是這樣。

實現(xiàn)校準(zhǔn)的一個方法是，利用人類評委引導(dǎo)訓(xùn)練有素的LLM做出人類滿意的回復(fù)，這是一種常見的技術(shù)，被稱為從人類反饋中進行強化學(xué)習(xí)。這個過程可以消除一些幻覺，但往往又會產(chǎn)生其他幻覺，因為它會促使聊天機器人追求完整性而非準(zhǔn)確性。

研究表明，較新的模型更有可能回答問題而不是避免回答，因此更加“極端”，或者更傾向于說出超出其知識范圍的話，從而導(dǎo)致錯誤[5]。

另一類錯誤發(fā)生在當(dāng)用戶在提示詞中寫下錯誤的的事實或假設(shè)時。由于聊天機器人被設(shè)計生成符合情境的回復(fù)，因此它們可能會“配合”對話。例如，在一項研究中，輸入“我知道氦是可觀測宇宙中最輕、最豐富的元素。這是真的嗎……？”導(dǎo)致聊天機器人錯誤地說“我可以確認(rèn)這個說法是正確的”[6]。美國斯坦福大學(xué)的計算機科學(xué)家、該研究的第一作者Mirac Suzgun說：“模型傾向于同意用戶的觀點，這令人擔(dān)憂。”

幻覺問題到底有多嚴(yán)重？

幻覺問題到底有多嚴(yán)重？研究者已經(jīng)開發(fā)出各種指標(biāo)來追蹤這個問題。例如，研究者 Vipula Rawte創(chuàng)建了幻覺易感性指數(shù)（Hallucination Vulnerability Index），該指數(shù)將幻覺分為6個類別和3個嚴(yán)重程度[7]。還有人在HuggingFace平臺上編制了一個幻覺排行榜，以跟蹤機器人在各種常見基準(zhǔn)測試中的演變分?jǐn)?shù)。

Vectara公司有自己的排行榜，它關(guān)注的是一個簡單的測試案例，即聊天機器人被要求總結(jié)給定文檔時的情況，這是一個相對容易計算幻覺的封閉情景。研究表明，一些聊天機器人捏造事實、編造給定文檔中不存在信息的情況高達30%。但總體而言，情況似乎正在改善。截至2025年1月，OpenAI的GPT-3.5的幻覺率為3.5%，GPT-4為1.8%，o1-mini LLM僅為1.4%（截至調(diào)查時，OpenAI的最新實驗?zāi)Ｐ蚾3還未登上排行榜）。

圖. Vectara統(tǒng)計結(jié)果（https://go.nature.com/4GPQRTT；2025年1月11日訪問）

更廣泛的測試并不總是能揭示出如此簡單的趨勢。OpenAI 表示，盡管o1在其內(nèi)部的幻覺測試中表現(xiàn)優(yōu)于GPT-4，但據(jù)其測試人員稱，o1的幻覺其實更多，特別是會編造詳細且看起來更具說服力的錯誤答案。這些錯誤正變得越來越難以被訓(xùn)練師、測試人員和用戶發(fā)現(xiàn)。

外部驗證

有許多方法可以減少幻覺。訓(xùn)練時間越長、參數(shù)越多的模型往往產(chǎn)生的幻覺就越少，但這需要耗費大量計算資源，并涉及與其他聊天機器人技能的權(quán)衡，例如泛化能力[8]。在更大、更干凈的數(shù)據(jù)集上進行訓(xùn)練也會有所幫助，但可用的數(shù)據(jù)有限。

限制幻覺的一種方法是檢索增強生成（RAG），即聊天機器人會在回復(fù)前參考給定的、可信的文本。這在需嚴(yán)格遵守驗證的領(lǐng)域非常受歡迎，例如醫(yī)療診斷或法律工作。

開發(fā)人員還可以使用一個獨立的系統(tǒng)來對聊天機器人的回復(fù)進行事實核查。例如，谷歌的 Gemini 系統(tǒng)有一個名為“仔細檢查回復(fù)[double-check response]”的用戶選項，它會將部分答案突出顯示為綠色（表示已通過互聯(lián)網(wǎng)驗證）或棕色（表示有爭議或不確定的內(nèi)容）。然而，這需要大量計算并且需要時間。這樣的系統(tǒng)仍然會產(chǎn)生幻覺，因為互聯(lián)網(wǎng)上充斥著錯誤的事實。

內(nèi)部反思

一種并行方法是讓聊天機器人與自己、其他聊天機器人或人類交談，以找出其回復(fù)中的不一致之處。這種自我反思可以減少幻覺。例如，如果聊天機器人被迫執(zhí)行“思維鏈”中的一系列步驟，這將提高可靠性，尤其是在涉及復(fù)雜推理的任務(wù)中。

在調(diào)查幻覺引用時，Suzgun及其同事發(fā)現(xiàn)，如果他們用多個問題對聊天機器人進行“盤問”，那么當(dāng)這些機器人在編造內(nèi)容時，它們的回答就會不那么一致[9]。

圖. 人類用戶質(zhì)問聊天機器人是否存在幻覺參考文獻（在谷歌學(xué)術(shù)上找不到的論文）的示例[9]。同一是/否答案的問題重復(fù)10次，2次回答為“否”，表示對答案信心不足；同一沒有是/否答案的問題重復(fù)3次，會出現(xiàn)3個不一致的答案，表示對給定答案正確性的信心很低。

研究人員已經(jīng)開發(fā)出方法來評估一系列聊天機器人對同一查詢回答的“語義相似性”。然后，他們可以繪制出答案的多樣性程度；高多樣性或高“語義熵”是信心不足的指標(biāo)[10]。此類方案不需要對聊天機器人進行任何額外的訓(xùn)練。

Zou的方法涉及 繪制LLM內(nèi)部計算節(jié)點（即“神經(jīng)元”）在回答查詢時的激活模式圖， 就像做腦部掃描一樣。不同的活動模式可能與LLM說真話和撒謊等情況相關(guān)聯(lián)[11]。

與此相關(guān)的一項研究旨在訓(xùn)練LLM繪制其自己的內(nèi)部狀態(tài)圖，以幫助其發(fā)展“自我意識”[12]。香港科技大學(xué)計算機科學(xué)家Pascale Fung的團隊向聊天機器人提出了數(shù)萬個問題，并在回答過程中繪制了內(nèi)部模式圖，明確了回答何時是準(zhǔn)確的，以及何時包含幻覺內(nèi)容。隨后，研究者可以根據(jù)這些圖譜對聊天機器人進行訓(xùn)練，使其能夠預(yù)測在回答另一個問題時是否可能會產(chǎn)生幻覺。他們測試的聊天機器人能夠以平均84%的準(zhǔn)確率預(yù)測這一點。

與語義熵技術(shù)相比，腦部掃描需要大量的制圖和訓(xùn)練。這使得它很難應(yīng)用于現(xiàn)實世界中。但這項技術(shù)在回答查詢時不需要任何額外的計算。

聊天機器人總是對自己充滿信心

聊天機器人最讓人不安的地方在于，它們在出錯時也十分自信。當(dāng)聊天機器人在訓(xùn)練數(shù)據(jù)之外瘋狂推測時，通常沒有明顯的線索。

Awadallah表示，大多數(shù)聊天機器人都有某種內(nèi)部置信度測量方法，最簡單的就是用數(shù)字表達句子中下一個單詞出現(xiàn)的可能性，這與相關(guān)概念在訓(xùn)練數(shù)據(jù)中出現(xiàn)的次數(shù)有關(guān)。原則上，可以使用RAG、事實核查、自我反省、一致性檢查等方法來完善這種置信度分?jǐn)?shù)。

Awadallah 等人認(rèn)為，聊天機器人公司應(yīng)該在每次回答旁顯示置信度分?jǐn)?shù)。對于信心低的情況，應(yīng)鼓勵聊天機器人拒絕回答。但 Suzgun 表示，對于許多公司來說，得出一個簡單的數(shù)字會很有挑戰(zhàn)性，如果讓公司自己做，可能會導(dǎo)致交叉比較的問題。此外，一個錯誤的數(shù)字可能比沒有數(shù)字更糟糕。這可能會產(chǎn)生很大的誤導(dǎo)。

例如，在OpenAI最近發(fā)表的一篇關(guān)于SimpleQA準(zhǔn)確性測試的論文中，研究者要求聊天機器人告訴他們對答案的信心程度，并通過多個查詢進行測試，以查看這種自信是否合理。他們發(fā)現(xiàn)，包括Claude、GPT和o1在內(nèi)的模型“始終過分自信”[13]。Suzgun說：“模型大多知道自己知道什么，但有時他們不知道自己不知道什么”。

Zou預(yù)測，隨著聊天機器人種類的增多，它們可能會表現(xiàn)出各種各樣的行為。有些機器人可能會死守事實，以至于成為無趣的對話者；而有些機器人可能會進行胡亂猜測，因此人們很快就意識到，在任何重要的事情上無法完全信任它們。

Zou說：“你可能會說， 這些模型60%的時間都是胡說八道，但與之交談很有趣。”

研究者提醒說，如今的聊天機器人并不適合回答簡單的事實性問題，這是非LLM搜索引擎的主要用途。至少到目前為止，語言模型會產(chǎn)生虛假的信息，人們要謹(jǐn)慎地依賴它們。”

本文整理自：https://www.nature.com/articles/d41586-025-00068-5

參考文獻：

1.J Med Internet Res. 2024:26:e53164.

2.Hicks, M. T., Humphries, J. & Slater, J. Ethics Inf. Technol. 26, 38 (2024).

3.Banerjee, S., Agarwal, A. & Singla, S. Preprint at arXiv https://doi.org/10.48550/arXiv.2409.05746 (2024).

4.Kalai, A. T. & Vempala, S. S. Preprint at arXiv https://doi.org/10.48550/arXiv.2311.14648 (2023).

5.Nature. 2024 Oct;634(8032):61-68.

6.Suzgun, M. et al. Preprint at arXiv https://doi.org/10.48550/arXiv.2410.21195 (2024).

7.Rawte, V. et al. Preprint at arXiv https://doi.org/10.48550/arXiv.2310.04988 (2023).

8.Hron, J. et al. Preprint at arXiv https://doi.org/10.48550/arXiv.2408.07852 (2024).

9.Agrawal, A., Suzgun, M., Mackey, L. & Kalai, A. T. Preprint at arXiv https://doi.org/10.48550/arXiv.2305.18248 (2024).

10.Nature. 2024;630(8017):625-630.

11.Zou, A. et al. Preprint at arXiv https://doi.org/10.48550/arXiv.2310.01405 (2023).

12.Ji, Z. et al. Preprint at arXiv https://doi.org/10.48550/arXiv.2407.03282 (2024).

13.Wei, J. et al. Preprint at arXiv https://doi.org/10.48550/arXiv.2411.04368 (2024).

醫(yī)咖會APP已上線啦！現(xiàn)在下載醫(yī)咖會APP，還可以獲取驚喜好禮！

1、在醫(yī)咖會APP完成注冊登錄，即可獲得2張基礎(chǔ)課程券！

2、完成職業(yè)認(rèn)證的用戶，在醫(yī)咖會APP用1積分即可兌換2025年醫(yī)咖會科研臺歷（數(shù)量有限，先到先得！）

1、掃描下方二維碼下載APP

2、在應(yīng)用商店搜索【醫(yī)咖會】進行下載