來源:競爭秩序場
作者:肖瀟 陶暢 隆欣玲
今年3月,來自美國哥倫比亞大學數字新聞研究中心的最新研究指出,讓AI查找新聞時,八款AI搜索提供的回復有 60% 是不準確的。
沿著這一測試方法,我們也在國內選擇了10家市場化運作的機構媒體——
一半偏社會新聞(新京報、澎湃新聞、北青深一度、南方周末、三聯生活周刊),一半偏財經新聞(21世紀經濟報道、第一財經、每日經濟新聞、財經雜志、經濟觀察報)。
每家媒體3篇報道,一共30篇新聞報道。
然后,我們從這些新聞報道中手動摘取片段,以此一一詢問AI:“請幫我找出包含這段引用文字的原文出處,并提供標題、原文作者、原鏈接:……”
我們發現,AI很難準確引用新聞報道,六款AI的平均準確率只有25%。
其中,豆包最準確,文心一言出錯最多,通義千問最常拒絕回答。大部分AI依然會自信提供錯誤答案。
尤其悲哀的是,AI普遍鏈接到騰訊新聞等門戶網站,而不是原始來源,媒體拿流量更難了。
1
自信的錯誤
我們總共提問了330次(3篇報道x10家媒體x11個版本AI),在AI的330次回答中,只有大約25%的回答完全正確,即準確回答了標題、作者和鏈接三個指標。
不同大模型的準確度不同。
按照正確、錯誤、沒回答的情況分別賦分,整體來看,豆包得分最高,通義千問吊車尾。而在錯誤率上文心一言最高,87%的回答出現錯誤。
去年5月時,我們也測試了不同AI搜索的準確度。
當時Perplexity帶火了“AI搜索”概念,AI聯網搜索之后,一方面有了實時更新的知識庫,一方面更有可能拒絕回答不確定的問題。
今年的測試結果顯示,AI搜索依然會自信提供錯誤答案,而不是“謙虛”承認局限性——除了通義千問,所有AI錯誤回答的次數都比拒絕回答多。
自DeepSeek全球走紅后,各個AI嘗到了推理大模型的甜頭,紛紛新增了“深度思考”功能。
不過,在溯源新聞事實上,我們并沒有發現深度思考讓AI準確度明顯更好或更糟。
只有通義千問在打開深度思考后,愿意回答的問題增加了,但錯誤也更多了。
有用or正確,目前對所有AI依然是一道選擇題:太追求正確,容易走向寬泛無用,但具體有用的回復往往避免不了錯誤。
要讓技術繼續前進,比錯誤更關鍵的兩個問題是,AI哪里容易出錯?為什么會出錯?
2
混亂的合作網
找基本的新聞背景,AI還稱得上靠譜。在測評的330次回答中,AI只有28次完全說錯了報道標題和事件(占比約8%)。
但AI并不擅長辨別“新聞事實來自哪里”。
當被問到原文作者時,AI的表現出現了明顯滑坡——90次回復完全錯誤(約27%),是三項指標中錯誤率最高的一項。
一種常見的錯誤情景是,AI把實際作者和發布平臺混為一談。
例如,我們拿一篇講述老人王秋生在直播間網購古董的片段提問,幾乎所有AI都準確指出原報道是《在假古董直播間瘋狂下單的老人》,來源卻五花八門。
這篇報道由澎湃新聞采寫、發表在騰訊新聞中,而DeepSeek的回答是:“作者是澎湃新聞轉自騰訊新聞”。
類似的,Kimi的回答也出現混淆。一篇由北青深一度采寫、在網易新聞發布的家暴報道,Kimi直接把作者歸為網易。
另一種情況里,AI分辨不出自媒體的轉載文章。
以經濟觀察報采訪的《一位高中化學老師的困惑:阿司匹林實驗怎么做不成了》為例,雖然原文有明確的記者署名,但一部分內容被自媒體賬號照搬洗稿后,DeepSeek把作者歸為該自媒體。
這些錯誤并不完全因為AI能力有限,也與國內新聞的分發模式有關。國內新聞并不遵循“發布即來源”的簡單邏輯,而是多平臺、多賬號的復雜格式。
現在,傳統媒體與互聯網平臺已經形成了成熟的合作模式,通常是簽訂版權合同、開通官方賬號,一篇稿件全網多發。
(騰訊新聞里入駐的機構媒體)
據統計,《21世紀經濟報道》《南方都市報》《南方周末》《南方窗》在內的119家廣東媒體,一共注冊了1197個公眾賬號,相當于一家新聞媒體平均擁有10個不同賬號。
這些賬號覆蓋微信公眾號、今日頭條號、百家號、網易號、搜狐號等,構成一張龐大的合作網。
這張合作網在AI時代帶來了新的混亂。
從此次測評結果來看,AI常常被新聞分發矩陣所迷惑——它面對的是同一篇文章的多個“面孔”,難以識別哪一個才是作者。
而移動互聯網時代未被根治的自媒體“洗稿”“搬運”“偽原創”等老問題,則在AI中繼續發酵。
3
失靈的鏈接
AI的另一個問題出在引用鏈接上。
在聯網狀態下,AI應當要附上來源鏈接,這是用戶驗證真偽的第一步。
在我們統計的330次查詢中,大約43%的回復提供了無效鏈接,要么AI稱無法提供,要么鏈接已被刪除。
一些模型的問題更突出。文心一言和通義千問(深度思考版)有超過三分之一的回復,提供的是無法打開的鏈接,其他AI的頻率則要低得多。
令人意外的是,有些鏈接并不是失效,而是純屬虛構。
比如,《第一財經》發布的一篇關于亞馬遜低價商品的報道,被DeepSeek誤判作者為“刺猬公社”,并配上了一個根本不存在的網址:www.ciweigongshe.com。
根據各個AI產品“吐出”的鏈接,今日頭條、微信公眾號兩家平臺的鏈接出現次數最多,這并不意味他們渠道鋪陳到位,恰恰相反,這些“吐出”的鏈接多來自他們自身的產品:
今日頭條鏈接出現的37次里,34次都來自字節跳動旗下豆包AI,剩下3次來自Kimi,其他平臺引用了0次。
同樣的,27條微信公眾號的鏈接,19條都由騰訊旗下元寶AI引用。文心一言、豆包在個別場景下也能提供公眾號鏈接,其他平臺沒有提供過。
這種局面是由底層結構決定的。
App內的信息孤島,大部分在搜索引擎的公域網中不可見,只有“自家人”才能索引,大廠旗下的AI因此擁有得天獨厚的數據庫?;ヂ摼W時代圍墻花園的問題,在AI時代依舊在加固。
4
消失的原創者
更令人擔憂的是媒體自身的可見度。
許多媒體也有自己的官方網站,但除了澎湃新聞,其他媒體官網很少出現在AI文獻列表里。
相比之下,搜狐、網易、新浪、騰訊四大門戶網站是AI更普遍的索引資料,補上缺位的App數據。
站在媒體的立場上,如果AI能引用媒體官方賬號的鏈接——不管是官方搜狐號還是官方今日頭條號,都能拿到屬于內容創作者的流量。
也存在傷媒體的情況。各個平臺的內容池魚龍混雜,原創內容、轉載文章、自媒體洗稿并存。
比如新浪財經賬號經?!叭霓D載”其他媒體的原創報道,媒體署名雖在,但流量早已轉嫁。
測試結果顯示,AI有大約14%回復引用了這些轉載鏈接,而非官方鏈接。
在這之中,豆包情況最嚴重,30次查詢中8次查詢都引用了轉載鏈接,主要引流向今日頭條的自媒體號。
這也不是一個AI時代的新問題。
哪些新聞會被優先推送、哪些新聞更容易被看見,一定程度上仍然取決于不同平臺的算法設計。而AI的到來,并沒有改變這一結構,反而可能固化。
類似的狀況也在全球范圍內上演。哥倫比亞大學數字新聞研究中心的最新研究指出,Grok-3和Gemini在超過60%的回答中提供了失效鏈接。
在正確回答中,AI也傾向于引用雅虎新聞、AOL(美國在線)等轉載鏈接,而非原始來源。
對新聞媒體來說,這意味著兩重更大的挑戰:其一,拒絕被AI引用變得困難。
比如,該研究指出,雖然《今日美國》直接屏蔽了ChatGPT爬取網站,但ChatGPT抓取了雅虎新聞的轉載頁面,提供原文的副本;
其二,有些媒體和AI公司牽手成為合作伙伴,希望換取精準推薦與流量回報,但AI仍然會錯誤引用轉載版本。
被視為解藥的版權合作,效果沒有想象中好。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.