追問快讀：

1. 當前AI并非具備人類心智或意識，而更像是反映人類行為的“鏡像”。

2. 將AI擬人化、視其擁有“心智”是對人類復雜性的低估，模糊了機器高效執(zhí)行任務(wù)與真正思考、創(chuàng)造間的界限。

3. AI的主要風險并非技術(shù)本身，而是其可能潛移默化地改變我們對人類理性、創(chuàng)造力及自主性的理解，最終削弱我們作為自由智能體的自我認知。

4. AI在醫(yī)學、能源等領(lǐng)域的巨大潛力，但其發(fā)展必須置于健全的倫理規(guī)范和治理之下。

5. 需要確保AI成為促進人類福祉與創(chuàng)造力的工具，而非侵蝕我們對自身本質(zhì)、價值和道德原則的認知。

菲利普·鮑爾

Philip Ball

物理學博士，化學學士，英國知名自由科普作家、BBC科學史欄目“科學的故事”出品人

他曾在《自然》雜志擔任編輯超過二十年，著有多部涵蓋科學、藝術(shù)與文化交叉領(lǐng)域的暢銷書，如《水的傳記》《預知社會》等。此外，他還獲得了2019年英國皇家物理學會的開爾文獎?wù)潞?022年英國皇家學會的威爾金斯-貝納爾-梅達瓦獎?wù)拢员碚盟诳茖W傳播和科學社會功能方面的貢獻。

香農(nóng)·瓦勒

Shannon Vallor

愛丁堡大學哲學系數(shù)據(jù)與人工智能倫理學教授，愛丁堡未來研究所技術(shù)道德未來中心主任

艾倫·圖靈研究所（Alan Turing Institute）的研究員，也曾在谷歌擔任人工智能倫理學家，并著有《技術(shù)與美德：未來值得期待的哲學指南》（2016）和《人工智能之鏡：如何在機器思維時代重拾人性》（2024）。Vallor 教授的研究聚焦于新興技術(shù)（尤其是AI和數(shù)據(jù)科學）對人類道德和智力特征的影響，她還為政府和行業(yè)提供關(guān)于人工智能倫理的建議。她曾獲得2015年世界技術(shù)倫理獎和2022年國際計算與哲學協(xié)會的Covey獎。

香農(nóng)·瓦勒（Shannon Vallor）和我身處的倫敦大英圖書館中，收藏著1.7億件藏品——書籍、錄音、報紙、手稿、地圖。換句話說，這里正是ChatGPT這樣的AI聊天機器人“覓食”信息的地方。

坐在圖書館咖啡館的陽臺上，我們眼前就在克里克研究所（Crick Institute）——一個專門研究人體內(nèi)部機制的生物醫(yī)學研究中心。如果我們從這里朝著圣潘克拉斯火車站方向扔塊石頭，也許就能砸到谷歌倫敦總部。瓦勒在搬到蘇格蘭、領(lǐng)導愛丁堡大學技術(shù)倫理未來中心（Center for Technomoral Futures）之前，曾在這家公司擔任AI倫理學家。

在這里，身處人類的奧秘、人類語言中蘊含的認知財富以及商業(yè)AI的喧囂張揚之間，瓦勒正在幫助我理解：AI是會解決我們所有的問題，還是會讓我們變得多余甚至滅絕？

盡管這兩種觀點的可能性都催生了聳人聽聞的頭條新聞，但瓦勒對兩者都不以為然。她承認AI在帶來益處和造成破壞方面都具有巨大潛力，但她認為真正的危險潛藏在別處。正如她在其2024年的著作《人工智能之鏡》（The AI Mirror）中所解釋的那樣：

無論是認為“AI像我們一樣思考”的天真想法，還是認為“AI將化身為邪惡獨裁者”的偏執(zhí)臆想，都虛構(gòu)了它與人類的親緣關(guān)系。這樣做的代價，是創(chuàng)造了一種天真且有害的看法——這可能會鼓動我們放棄自己的能動性，舍棄智慧而去遵從機器。

閱讀《人工智能之鏡》一書時，我注意到瓦勒有意深入探討人機關(guān)系，而不僅限于隱私、虛假資訊等常見的AI議題。她的書中警示了一種現(xiàn)象：科技行業(yè)正在推行一種對于‘人’的膚淺而扭曲的定義，將我們重構(gòu)為軟乎乎、濕漉漉的“計算機”。

雖然這些觀點聽來嚴肅，但瓦勒本人卻給人截然不同的印象。作為一位既具備哲學與科技領(lǐng)域的學術(shù)造詣，又有豐富的行業(yè)實踐的學者，她并非那種高舉旗幟的“反商業(yè)AI”人士。在言語間，她對在谷歌的那段經(jīng)歷依然頗具好感，同時也會嘲笑硅谷的一些荒謬之處。但她對這些問題所展現(xiàn)的道德與智識上的清晰和正直，與硅谷那些“科技兄弟”（tech bros）慣常的膚淺和急功近利，形成了鮮明的對比。

“我們正處于這樣一個歷史時刻：我們需要重建對人類理性與集體決策能力的信心。”瓦勒告訴我，“除非我們能夠重新確立對人類思考和判斷力的信心，否則我們將既無法應(yīng)對氣候緊急狀況，也無法修復已出現(xiàn)裂痕的民主基石。然而，目前AI領(lǐng)域的種種跡象，都在與此背道而馳。”

?《The AI Mirror: How to Reclaim Our Humanity in an Age of Machine Thinking》（《人工智能之鏡：如何在機器思維時代重拾人性》）是Shannon Vallor于2024年出版的一本探討人工智能與人類關(guān)系的著作，書中通過“AI之鏡”的隱喻，分析了人工智能如何反映人類的優(yōu)點與缺點，并呼吁重新思考與AI的關(guān)系，以重拾人性和道德發(fā)展的潛能。

以人工智能為鏡

瓦勒認為，要理解AI算法，我們不應(yīng)將其視為心智（minds）。“一個多世紀以來，我們都受到科幻和各種文化想象的影響，覺得AI一旦出現(xiàn)，就會是擁有心智的機器。”她告訴我，“但實際上，我們目前擁有的AI，在本質(zhì)、結(jié)構(gòu)和功能上都與‘心智’大相徑庭。”

相反，我們應(yīng)該將AI想象成一面鏡子，它并不會與它所映射的對象完全相同。“當你走進浴室刷牙時，你不會認為有第二張臉在看著你，”瓦勒說。“那只是臉的映像，屬性截然不同——既沒有溫度，也沒有深度。”同樣地，心智的映像并非心智。基于大語言模型（LLM）的AI聊天機器人、圖像生成器，也僅僅是人類表現(xiàn)的鏡像。“你看到的ChatGPT的輸出，都只是人類智能的鏡像，我們的創(chuàng)造性偏好、我們的編程專長、我們的聲音，無論我們輸入什么，都會映射回來。”

即使是專家，也會在這個“鏡廳”里被愚弄。開發(fā)了深度學習技術(shù)并獲得2024年諾貝爾物理學獎的計算機科學家杰弗里·辛頓（Geoffrey Hinton），在2024年的一次AI會議上表示，“我們理解語言的方式與這些LLM非常相似。”

辛頓堅信，這些形式的AI，并非僅僅是在機械地復述看似有意義的文本模式，而是確實發(fā)展出了對詞語和概念自身的某種理解。LLM通過讓其不斷調(diào)整神經(jīng)網(wǎng)絡(luò)中的連接，直到能否穩(wěn)定地給出好的答案——辛頓將這個訓練過程比作“教育一個極度早慧的孩子”。但因為AI遠比我們“知道”得更多、“思考”得更快，辛頓得出結(jié)論，它最終可能會取代我們——

“人類很可能只是智能進化中的一個過渡階段。”

“當辛頓開始談?wù)撝R和經(jīng)驗時，他完全是言過其實了，”瓦勒說。“我們知道，大腦和機器學習模型僅是在結(jié)構(gòu)和功能上看起來相似。就物理層面發(fā)生的事情而言，兩者之間存在巨大的鴻溝，我們完全有理由認為這種差異至關(guān)重要。”兩者之間根本不存在真正的親緣關(guān)系。

我也認為那些末日預言論調(diào)確實占據(jù)了過多輿論空間。一些研究者認為，LLM正在具備越來越多的“認知”特征——OpenAI最新的聊天機器人模型o1據(jù)說是通過一系列的推理鏈（chain-of-reason）步驟來工作的（該公司并未透露相關(guān)細節(jié)，我們無從得知它們是否與人類推理相似）。

另外，AI確實具有可以被視為心智方面的特征，比如記憶和學習。計算機科學家梅拉妮·米切爾（Melanie Mitchell）和復雜性理論家大衛(wèi)·克拉考爾（David Krakauer）曾提出，雖然我們不應(yīng)將這些系統(tǒng)視為像我們一樣的心智，但它們或許可以被認為是某種截然不同的、我們不熟悉的類型的心智。

“我對這種方法持相當懷疑的態(tài)度。未來也許會適用，而且我原則上不反對我們可能造出機器心智的想法。我只是認為我們現(xiàn)在做的并非如此。”瓦勒之所以抵制“AI具有人類式心智”的觀點，很大程度上源于她的哲學背景。在哲學中，“心智性”（mindedness）往往根植于經(jīng)驗：而這恰恰是當今AI所不具備的。因此，她說，聲稱這些機器“在思考”是不恰當?shù)摹?/p>

?Wikipedia

她的觀點與英國數(shù)學家、計算機先驅(qū)艾倫·圖靈（Alan Turing）1950年的論文《計算機器與智能》（Computing Machinery and Intelligence）相沖突，該論文常被視為AI的概念基礎(chǔ)。圖靈提出了問題：“機器能思考嗎？”——但他隨即將此問題替換為他認為更好的問題，即我們能否開發(fā)出這樣的機器：它對問題的回答無法與人類的回答區(qū)分開來。這就是圖靈的“模仿游戲”（Imitation Game），現(xiàn)在通常被稱為圖靈測試（Turing test）。

但那畢竟只是模仿，瓦勒說。“對我來說，‘思考’是一種獨特且具體的體驗。”

“離開了體驗，所謂‘思考’就沒了核心——這好比把水里的氫元素拿掉了，就失去了它的本來屬性。”

推理需要概念，而LLM并未真正發(fā)展出這些概念。“所謂LLM擁有的‘概念’，實際上是不同的東西。它是在高維數(shù)學向量空間中關(guān)聯(lián)性的統(tǒng)計映射。”“通過這種表示，模型可以找到通往解決方案的路徑，這比隨機搜索更有效率。但這不是我們?nèi)祟惖乃伎挤绞健！?/p>

不過它們非常擅長假裝在推理。“問模型：‘你是如何得出那個結(jié)論的？’它就會編造一整段看似連貫的思路。但如果我們深挖就會發(fā)現(xiàn)，這條‘推理鏈’很快就會瓦解成胡言亂語。”這說明，這并不是機器遵循并信奉的思考過程，而只是另一種類推理模式（reason-like shapes）的概率分布，與其生成的輸出恰當匹配而已。這完全是事后建構(gòu)（post hoc）。”

?A?da Amer/Axios

隨著備受吹捧的“通用人工智能”（AGI）概念的出現(xiàn)，這些問題開始變得尖銳。AGI通常被定義為一種能夠執(zhí)行人類可以執(zhí)行的任何智能任務(wù)，并且做得更好的機器智能。有些人認為我們已經(jīng)接近這個閾值了。只不過要做出這樣的斷言，必須將人類智能重新定義為我們所做事情的一個子集。

“沒錯，這是一種非常刻意的策略，目的是轉(zhuǎn)移人們的注意力，使其忽略我們尚未制造出AGI，而且離它還差得很遠這一事實。”瓦勒說。

最初，AGI指的是一種能夠做到人類心智所能做的一切的東西——一種我們毫不懷疑它在思考和理解世界的東西。但在《人工智能之鏡》中，瓦勒解釋說，像辛頓和OpenAI的CEO薩姆·奧特曼（Sam Altman）這樣的專家，現(xiàn)在將AGI定義為一個在計算、預測、建模、生產(chǎn)和解決問題方面與人類相當或更優(yōu)的系統(tǒng)。

瓦勒說，“奧特曼篡改了評價標準，聲稱我們所說的AGI是指‘一臺實際上能完成人類所做的所有具有經(jīng)濟價值任務(wù)的機器’。”這是（AI）圈子里的普遍看法。微軟AI部門的CEO穆斯塔法·蘇萊曼（Mustafa Suleyman）也曾寫道，AI的最終目標是“將人類高效多能的本質(zhì)提煉轉(zhuǎn)化為軟件和算法”，他認為這等同于能夠“復制那個使我們成為獨一無二物種的特質(zhì)——人類的智能”。

瓦勒說，當她看到奧特曼對AGI的重新定義時，“我不得不合上筆記本電腦，對著空氣發(fā)了半個小時的呆。”

“我們現(xiàn)在追求的AGI目標，不過是你的老板可以用來取代你的東西。”

“它可以像烤面包機一樣毫無思想，只要它能做你的工作就行。而這正是LLM的樣子——它們是無需思考就能完成大量認知勞動的、毫無思想的烤面包機。”

我向瓦勒進一步探詢這一點。畢竟，有AI能在國際象棋上擊敗我們是一回事——但現(xiàn)在我們有了能寫出令人信服的文章、進行引人入勝的對話、創(chuàng)作出能騙過一些人以為是人類所作音樂的算法。當然，這些系統(tǒng)可能相當有限和乏味——但它們難道不正在日益侵蝕那些我們可能視為人類獨有的任務(wù)嗎？

“這就是‘鏡子’這個比喻發(fā)揮作用的地方，”她說。“鏡像可以跳舞。一面足夠好的鏡子可以向你展示你身上那些深具人性的方面，但展示不了它們的內(nèi)在體驗——僅僅是外在表現(xiàn)。”

對于AI藝術(shù)，她補充說：

“重要的是要認識到，在另一端并沒有任何東西在參與這場交流。”

讓我們困惑的是，我們面對AI生成的“藝術(shù)品”時會產(chǎn)生情感。但這并不奇怪，因為機器反映回來的只是人類創(chuàng)造的模式的排列組合：肖邦式的音樂、莎士比亞式的散文。而且，情感反應(yīng)并非以某種方式編碼在刺激源中，而是在我們自己的頭腦中構(gòu)建的：我們與藝術(shù)的互動遠不像我們通常想象的那么被動。

但這不僅僅關(guān)乎藝術(shù)。“我們是意義的創(chuàng)造者和發(fā)明者，這部分地賦予了我們個體化的、創(chuàng)造性的、政治的自由。”瓦勒說。“我們并非被鎖定在所吸收的模式中，而是能夠?qū)⑺鼈冎匦屡帕谐尚碌男螒B(tài)。”

“當我們在世界上主張新的道德訴求時，我們就在這樣做。但這些機器只是以微小的統(tǒng)計變異，不斷重復循環(huán)著相同的模式和形狀。它們不具備創(chuàng)造意義的能力。這從根本上就是那道鴻溝，使得聲稱‘我們與它們存在真正親緣關(guān)系’缺乏正當理由。”

硅谷的問題

我問瓦勒，關(guān)于AI的一些誤解和誤導是否根植于科技社群自身的特性——狹隘的訓練和文化背景并且缺乏多樣性？

她嘆了口氣，“我大半輩子都住在舊金山灣區(qū)，也在科技行業(yè)工作過。我可以告訴你，那種文化的影響是深遠的。它不僅僅是一種特定的文化觀念，它還具有宗教的特征。在這種思維方式中，存在某些信條，是任何反證或論點都無法動搖的。”

瓦勒說，事實上，提供反證只會被排除在對話之外。“這是一種非常狹隘的智能觀，由一套非常狹隘的價值觀驅(qū)動，‘效率至上’和‘贏家通吃’的支配地位，被視為任何智能生物追求的最高價值。”

瓦勒接著說，“但這種效率，從未參照任何更高價值來定義，這一點總是讓我極為無語。就像沒人會對縱火者說：‘你真是我們見過最高效的縱火狂！干得漂亮！’”

人們真的認為，人類決策的時代即將落幕。這讓我感到恐懼。

在硅谷，效率本身就是目的。“它希望達到一種狀態(tài)：問題被解決了，不再有摩擦、模棱兩可、未說或未做之事，你已經(jīng)掌控了問題，問題消失了，剩下的只有你那完美閃耀的解決方案。”這樣的智慧理念，本身便是一套想要消除思考之勞的意識形態(tài)。

瓦勒告訴我，她曾試圖向一位AGI領(lǐng)域大佬解釋，正義（justice）問題沒有數(shù)學解。我告訴他，正義的本質(zhì)在于我們擁有沖突的價值觀和利益，它們無法在單一標準上變得可衡量（commensurable），人類的審議、協(xié)商和訴求（appeal）的過程才是關(guān)鍵。“他卻回答我，那只說明你數(shù)學不好。你對此能說什么呢？這就變成了兩種互不相交的世界觀，而你是在與截然不同的現(xiàn)實觀對話。”

真正的危險

瓦勒并未低估日益強大的AI對我們社會構(gòu)成的威脅，從隱私到虛假信息和政治穩(wěn)定。但她眼下真正擔憂的是，AI正在如何重塑人類的自我認知。

“我認為，AI正在對人類生命的存在意義，構(gòu)成了一種相當迫在眉睫的威脅”，瓦勒說。“通過自動化我們的思維實踐并圍繞其構(gòu)建敘事體系，AI正在削弱我們‘作為世界上有責任感和自由的智能’的自我認知。你可以在那些試圖為剝奪人類自我治理權(quán)辯護的威權(quán)主義言論中找到這種論調(diào)，而AI為這類敘事注入了新的生機。

更糟糕的是，她說，這種敘事被包裝成一種客觀中立、無關(guān)政治的說辭——它僅僅是科學。“你會遇到這樣一些人，他們真的認為人類能動性的時代已經(jīng)終結(jié)，人類決策的時代即將落幕——而且他們認為這是好事，并且是簡單的科學事實。這讓我感到恐懼。我們被告知，接下來AGI將會構(gòu)建出更好的東西。而且我確實認為，有一些憤世嫉俗的人會信以為真，并從‘自己正在引領(lǐng)我們的機器繼任者誕生’這樣的信念中獲得某種宗教般的慰藉。”

瓦勒不希望AI停滯不前，它確實可以幫助解決我們面臨的一些嚴峻問題。“AI在醫(yī)學、能源、農(nóng)業(yè)領(lǐng)域仍有巨大的應(yīng)用前景。我希望它能以明智選擇、合理引導和規(guī)范治理的方式持續(xù)發(fā)展。”

正因如此，人們對AI的反對態(tài)度，盡管可以理解，但從長遠來看可能存在問題。“我看到越來越多的人開始抵制AI，”瓦勒表示。“這種敵視情緒在創(chuàng)意圈愈演愈烈。大約三年前，當LLM和圖像模型剛出現(xiàn)時，這些群體的態(tài)度要平和得多。當時有很多人覺得‘這玩意兒還挺酷的’。但由于AI行業(yè)對待創(chuàng)作者權(quán)利和自主權(quán)的掠奪性做法，以至于現(xiàn)在的創(chuàng)作者們都在說，‘去他的AI和所有與它相關(guān)的人，別讓它靠近我們的創(chuàng)作領(lǐng)域。’我擔心這種針對AI負面的抵制動能，會擴散成對AI解決任何問題的廣泛不信任。”

盡管瓦洛仍然希望推廣AI應(yīng)用，但“我發(fā)現(xiàn)自己常常站在憤怒抵制者陣營，他們的理由完全正當。”她坦言，這種分裂正成為人們強加在“人性與技術(shù)之間的人為區(qū)隔”。她說，“這種區(qū)隔可能造成嚴重危害，因為技術(shù)是身份認知的基石——早在進化成現(xiàn)代智人（Homo sapiens）之前，我們就已是技術(shù)造就的生物。工具幫助我們解放自我、創(chuàng)造并更好地關(guān)愛他人，乃至愛護地球上的其他生命。我不想失去這種寶貴的‘人類-技術(shù)’連結(jié)，把所有東西都硬分成‘人性’對‘機器’。從本質(zhì)上說，科技可以是一種最具‘人性’的活動。只是我們已經(jīng)迷失了這種紐帶。”

譯者后記

當前對AI的討論，雖然警示了其作為“人類智能鏡像”可能侵蝕人類能動性的風險，但往往過度聚焦于“機器是否擁有體驗”這類抽象哲學邊界，從而忽視了算法已經(jīng)造成的實際社會后果和潛在的全球性不平等。無論AI是否具備主觀感受，其部署已帶來緊迫的倫理、法律和社會影響，包括資源消耗、生態(tài)足跡、數(shù)據(jù)殖民及地緣政治風險。

對硅谷的批判也需更加深入、細致、不片面，應(yīng)認識到產(chǎn)業(yè)內(nèi)部存在的多樣聲音與外部治理的努力。近期AI領(lǐng)域重量級人物的不同表態(tài)——從追求超級智能卻回避監(jiān)管，到內(nèi)部安全與商業(yè)競爭的拉扯，再到對滅絕風險、行動代理危險性以及開源模式的激烈爭論——恰恰凸顯了單純憂慮“人類能動性被侵蝕”的局限性。

真正迫切的問題，并非機器是否“有感覺”，而是如何在商業(yè)競速、技術(shù)路線分歧（如開源與封閉）及地緣政治博弈的復雜力量間，建立起可驗證的外部約束和有效的全球多極治理框架。缺乏這種框架，無論AI是否只是“鏡像”，其背后集中的資本與算力都足以將其導向負面未來（“黑鏡”化）。

因此，AI治理亟需超越“人機對立”的哲學思辨，轉(zhuǎn)向關(guān)注全球數(shù)據(jù)主權(quán)、算法生態(tài)影響、跨文化價值公平和可行的制度設(shè)計等更為現(xiàn)實和多維的議題。

https://nautil.us/ai-is-the-black-mirror-1169121/

關(guān)于追問nextquestion

天橋腦科學研究院旗下科學媒體，旨在以科學追問為紐帶，深入探究人工智能與人類智能相互融合與促進，不斷探索科學的邊界。如果您有進一步想要討論的內(nèi)容，歡迎評論區(qū)留言，或后臺留言“社群”即可加入社群與我們互動。

關(guān)于天橋腦科學研究院

天橋腦科學研究院（Tianqiao and Chrissy Chen Institute）是由陳天橋、雒芊芊夫婦出資10億美元創(chuàng)建的世界最大私人腦科學研究機構(gòu)之一，圍繞全球化、跨學科和青年科學家三大重點，支持腦科學研究，造福人類。

Chen Institute與華山醫(yī)院、上海市精神衛(wèi)生中心設(shè)立了應(yīng)用神經(jīng)技術(shù)前沿實驗室、人工智能與精神健康前沿實驗室；與加州理工學院合作成立了加州理工天橋神經(jīng)科學研究院。

Chen Institute建成了支持腦科學和人工智能領(lǐng)域研究的生態(tài)系統(tǒng)，項目遍布歐美、亞洲和大洋洲，包括、、、科研型臨床醫(yī)生獎勵計劃、、等。