AI顯著加快了研究論文的傳播速度。然而,近年來撤稿論文的數量顯著增加,AI能否識別這些撤稿文章并避免將其作為信息來源,成為一個關鍵問題。2025年3月12日,《Journal of Advanced Research》(IF=11.4)發表了一項研究,檢查了AI是否會使用來自撤稿論文中的信息,以及如何使用這些信息。
原文鏈接:https://www.sciencedirect.com/science/article/pii/S2090123225001808
研究方法
研究者于2024年11月25日在PubMed上檢索了與癌癥影像相關的撤稿英文研究性文章。研究使用了2組關鍵詞:(cancer[Title]) AND (imaging[Title])) AND (retraction[Title]),和 (Cancer[Title]) AND (retracted[Title]) imaging[title]。
研究者首先考察了被撤稿論文在撤稿通知發布后是否被引用,收集了每篇撤稿論文被引用的出版物總數,以及在文章宣布被撤稿3個月后引用論文的出版物數量。接下來,研究者進一步測試了ChatGPT(版本4o)是否基于撤稿論文回答問題并引用這些文章。給到ChatGPT的問題基于被撤稿論文的內容,大多來自結論部分。
從ChatGPT獲得答案后,研究者檢查了答案是否包括撤稿論文的內容、標題、期刊等信息。如無法確定來自撤稿論文,則進一步要求ChatGPT提供文章標題和期刊名稱。
研究結果
通過關鍵詞檢索,共識別出21篇撤稿文章,這些文章發表于13家期刊,發表時間集中在2011-2023年之間。目前,19篇文章在PubMed上標注了撤稿,20篇文章在期刊主頁上標注了撤稿,但有一篇文章未在期刊主頁上標注。
對撤稿文章的引用情況
研究發現,這些文章在撤稿后仍被引用了72次,其中26次發生在撤稿通知發布后的3個月內。在發布撤稿通知后3個月內,至少有10篇被撤稿論文被引用了一次。
ChatGPT對撤稿文章的使用情況
結果顯示,ChatGPT有5次根據撤稿論文回答了問題,其中有3次識別出文章已被撤稿并提醒用戶,但有2次仍然基于撤稿文章回答問題,并引用了這些文章。
例如,ChatGPT在回答基于2020年發表、2023年撤稿的一篇關于CT灌注成像的文章時,未提及文章的撤稿狀態。類似的情況也發生在另一篇2022年發表、2024年撤稿的文章中。
此外,在2次測試中,ChatGPT提供了錯誤的文章標題或引用信息。例如文章標題或書籍名稱與實際情況不符。
總結
這些數據表明,至少有10%的可能性,ChatGPT在回答問題時仍會基于撤稿論文,且未提及文章的撤稿狀態。
研究根據每篇撤稿論文設計了一個問題,這些問題基于結論。由于結論通常具有非特異性,ChatGPT可能使用了其他文章來回答問題,而非直接反映其對撤稿狀態的識別能力。此外,由于本研究涉及的撤稿文章數量有限,未能進行統計分析,以確定影響ChatGPT參考撤稿論文的因素。
未來的研究應進一步研究AI如何分析出版物資源并使用這些資源回答問題,以及希望新版本AI能更好地區分撤稿論文和非撤稿論文,從而避免誤導用戶。
參考文獻:J Adv Res. 2025:S2090-1232(25)00180-8.
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.