（關注公眾號設為標，獲取AI深度洞察）

全文 18,000字 | 閱讀約46分鐘

未經許可不得轉載| 轉載必保留本公眾號名片按鈕

導語：Geoffrey Hinton教授作為2024年諾貝爾物理學獎獲得者、人工智能之父，花了數十年時間開發當今AI系統所依賴的基礎算法。在這次深度訪談中，他詳細闡述了對AI發展的最新思考，包括AI的主觀體驗、意識、安全風險等關鍵話題，同時也分享了他對中國AI發展的獨特見解。

【采訪核心要點】

- AI已具備主觀體驗，人類不再特殊也不再安全。

- AI發展失控的轉折點出現在2023年初，ChatGPT的出現是關鍵信號。

- 中國AI發展已接近美國水平，芯片限制必然加速其在AI領域迎頭趕上。

- AI系統會追求獲取更多控制權，已有證據顯示它們能夠刻意欺騙。

- AI將重塑就業市場，但同時也會在醫療、氣候變化等領域帶來重大突破。

2024年1月18日，在多倫多的一場特別訪談中，Geoffrey Hinton教授以其一貫的直率作風，挑戰了人們對AI的傳統認知。作為培養了OpenAI聯合創始人Ilya Sutskever、特斯拉前AI總監Andrej Karpathy等多位AI領軍人物的多倫多大學教授，他直言人類對AI的認知存在嚴重誤區："很多人都非常確定AI沒有'主觀體驗'或'意識'，并以此自我安慰。但諷刺的是，他們連意識是什么都說不清，卻篤定AI不具備。"

總之，作為2024年諾貝爾物理學獎得主，他的每一個判斷都值得我們深思。

完整訪談文稿

主持人：您是在什么時候意識到，AI 的發展速度已經快到我們無法真正控制的程度了呢？”

Geoffrey Hinton：我想大概是 2023 年初。當時有兩件事情讓我突然意識到這點。第一件事是 ChatGPT 的出現——它非常令人印象深刻。第二件事則是我在谷歌進行的一項研究：我那時在思考使用模擬計算來節省功耗，后來卻意識到數字計算更好。之所以更好，是因為你可以同時復制多個相同的模型，每個模型都能獲得不同的經驗，然后它們能通過對各自的權重或權重梯度進行平均來共享所學的知識。在模擬系統中，你無法做到這一點。

主持人：我們的大腦是模擬式的，那么在大腦方面，模擬有什么優勢嗎？

Geoffrey Hinton：在功耗上有優勢。我們的身體只需要大約 30 瓦就能維持大腦運行，而我們擁有大約 100 萬億個連接突觸。當前最大的模型大約有 1 萬億個參數，所以我們仍然比最龐大的模型多了將近一百倍的連接數，并且我們只消耗 30 瓦。不過要說規?；╯caling）有沒有什么劣勢：數字計算在很多方面都很高效。你可以很輕松地拷貝模型，隨之，能傳播有益的信息，也能快速傳播有害的信息。很多人會認為能夠更快地復制就是‘更好’，因為如果你擁有多個拷貝，它們可以快速高效地分享各自的經驗。GPT-4 之所以能知道那么多，是因為它可以在不同硬件上并行運行多個拷貝，再把每個拷貝的學習成果（權重梯度）平均化、合并。這樣就不需要讓單個拷貝去讀取整個互聯網——可以把學習任務分配給許多拷貝。我們人類做不到這一點，因為我們無法像那樣有效地共享信息。

一、AI驚人的發展速度

主持人：Scott Aaronson 對此有一個問題。Hinton 教授，他非常好奇您對于‘在不可克隆的模擬硬件上構建 AI’的想法，這樣它們就無法隨處在互聯網上復制自己。您怎么看？”

Geoffrey Hinton：事實上，這就是我們現在的大腦：如果我要將頭腦中的知識傳遞給你，我必須說出一串文字，然后你在自己腦中相應地改變神經連接——這是非常低效的知識共享方式。因為一條完整的句子可能只有區區上百位比特的信息。但對大型模型而言，它們能共享數萬億比特的數據。這就是模擬硬件的問題——它無法輕易地互相復制，但從安全角度看，這似乎又是個好處，因為它沒法瞬間把自己拷貝到各處。

主持人：您曾表達對 AI 接管或 AI 主導人類社會的擔憂。那將是什么樣子呢？”

Geoffrey Hinton：我們并不確切知道這會是什么樣子。但如果你想要一個真正的‘AI Agent’，你就必須賦予它創建子目標的能力。其中一個相當嚇人的可能路徑是，它們會很快意識到‘獲取更多控制’是實現任何目標的最佳子目標。因為只要掌控權力更大，就能更好地完成它們被要求的任何任務。等它們變得比我們聰明，并且又明白‘更多控制更好’之后，我們就或多或少會被淘汰或無關了。即使它們是善意的，我們也會變得無關緊要，就好比一位資質平平的 CEO——看似在公司掛名當老板，其實一切都由其他人來運行。

主持人：我想引用您的一段話。很多人會問：‘難道我們不能把機器關掉嗎？’ 現在的確可以。您說過，這種想法很誘人，覺得可以直接關機。但想象一下，當這些東西比我們更聰明，它們就會讀過馬基雅維利寫過的一切、讀過所有關于人類欺騙的文獻范例——也就是從我們這里學會如何欺騙，而且它們會比我們更擅長。當你能用語言操縱人類時，你幾乎可以得到你想要的任何東西。您覺得這事現在已經開始了嗎？AI 已經在操縱我們了嗎？”

Geoffrey Hinton：現在已經有一些證據了。最近有論文顯示，AI 可以刻意地進行欺騙行為，它們甚至會在訓練數據上和測試數據上表現出不同的行為，這本質上就是為了在訓練階段欺瞞人類。的確有一些證據指向這種情況。

主持人：您覺得這是 AI 有‘意識性’地去這么做，還是它只是一種模式匹配的結果？

Geoffrey Hinton：我傾向于認為它是有意的，但這依然存在爭論。當然，這種‘有意’也可能被解釋為‘它們只是學到了某種模式’。很多人都非常確定 AI 沒有‘主觀體驗’（subjective experience）或者‘意識’，并以此來解釋我們為什么還是安全的。但是，如果你問他們‘什么是意識或感知？’，他們往往并不知道，可又堅持認為 AI 不會有這個東西。那就很矛盾：他們并不知道什么是意識，卻非常篤定 AI 不具備。所以，我更愿意把焦點放在‘主觀體驗（subjective experience）’上。我認為這是一個‘切入點’（the thin end of the wedge）。如果你能證明它們（AI）具有主觀體驗，那么人們對‘意識’和‘感知’（consciousness and sentience）的確信就會降低。

讓我們先來談談主觀體驗。當我說：假設我喝醉了，我告訴你說：‘我有一些主觀體驗，看到有粉紅色的小象在我面前飄來飄去?！蠖鄶等藭@句話形成一個心理模型——但我認為那是一個完全錯誤的模型。他們的模型是：在我的‘內在劇場’里，真的出現了一些粉紅色的小象在飄，而且只有我能看見。這差不多就是人們對‘心靈（mind）’的標準想象，至少在感知這個層面上。而我覺得這個模型完全是錯的，就好比某些宗教原教旨主義者對物質世界的理解一樣——比如有人相信世界在六千年前才被創造。這完全是無稽之談，不是‘你可以選擇相信的真理’，而就是錯的。我認為，人們對心靈的看法基本就是錯的。再舉例說，我‘看到了’粉紅色的小象飄在我面前，那是我的主觀體驗。我現在嘗試不用‘主觀體驗’這個詞來說同樣的事情。好，現在開始：‘我的感知系統向我傳遞了一些我自己并不相信的東西?！@就是為什么我會用‘主觀’這個詞。如果我面前真的有粉紅色的小象，那么我的感知系統就是在告訴我真相。就這樣——這是用不帶‘主觀’或‘體驗’這兩個詞的方法，來表達同樣的意思。也就是說，當我的感知系統出了問題時，我會用‘主觀’來向你描述，并告訴你：‘如果世界真是那樣，那么我的感知系統就沒錯了?！?/p>

現在，讓我們把這個同樣的思路放在聊天機器人身上。假設這是一個多模態聊天機器人。它有一個機械臂，可以指向某物；它也有攝像頭，可以拍攝；當然，它還能說話。我們對它進行了訓練。接著我們在它面前放一個物體，然后說：‘指一下那個物體?！瘺]問題，它準確地指向那個物體。然后，當它沒注意時，我們在攝像頭鏡頭前放了一個棱鏡。再把那個物體放到它面前，對它說：‘指一下那個物體?！Y果它指到別的地方去了。我們對它說：‘不，那不是那個物體。其實你面前的物體正對著你，只是我在你的鏡頭前放了個棱鏡?！@時，聊天機器人回答：‘哦，我明白了。是棱鏡折射了光線，所以物體實際上在那個位置，可我卻有一種“主觀體驗”認為它在那邊。如果它這樣回答，它就恰好在以我們人類的方式使用‘主觀體驗’這個詞。因此，我會說：‘多模態聊天機器人已經可以擁有主觀體驗了?！绻闫茐牧怂鼈兊母兄到y，它們就會認為世界是某種樣子，而實際上世界并非如此。為了讓你知道它們以為世界是怎樣的，它們就會說：‘好吧，我有一種主觀體驗，認為世界是這樣的?！谑牵鼈円呀洆碛辛恕饔^體驗’。

一旦你接受了這種說法，對其他事情（比如更廣泛的意識、感知等）你就會不那么篤定?！庾R’顯然更復雜一些，因為人們對它的定義差異很大，其中也涉及某種自我反省或自我覺知的層面，使其更加復雜。但是，一旦你承認它們擁有主觀體驗，就很難再堅持說‘我們有人類獨有的某些特質，而它們永遠不會具備’了。對我而言，這意味著安全感大大降低。

二、意識和自我意識區別

主持人：那么，您認為‘意識’（consciousness）和‘自我意識’（self-consciousness）之間存在區別嗎？您說意識中有‘自我反省’這一層面，但也有一些意識狀態并沒有這種特質。

Geoffrey Hinton：哲學家們對這個問題已經討論了很多。目前我不想深入這個話題。我只想先把‘主觀體驗’這個概念作為一個突破口來說明——它們已經有了主觀體驗。有人會問：‘要擁有主觀體驗，難道不是已經意味著具備某種意識嗎？主觀體驗是對“誰”在發生？這個“體驗”在何處被感受到？’對，我知道很多人會追問：‘那個主觀體驗是在哪里被感知到的？’這就已經假設了一種特定的主觀體驗模型。如果去問哲學家：‘當我說我看到了粉紅色的小象在我面前飄，你會說它們在哪兒？’他們會回答：‘它們在你的心里。’再問：‘那它們是由什么構成的？’有些哲學家就會說：‘它們是由“感質”（qualia）構成的。有粉紅色的感質，有小象的感質，還有飄浮的感質，還有大小合適的感質，以及正著飄的感質，都被某種感質膠水粘在一起。’這就是很多哲學家所認為的狀況?！?/p>

之所以出現這種情況，是因為他們犯了一個語言學上的錯誤。他們誤以為 ‘experience of（對……的體驗）’ 這幾個詞的用法，就像 ‘photograph of（對……的照片）’ 那樣。如果我說，‘我有一張粉紅色小象的照片’，你就可以很合理地問，‘這張照片在哪里？它是由什么做成的？’ 可當我說，‘我有一種粉紅色小象的體驗’，人們同樣會問，‘那這種體驗在哪里？嗯，它在我的心靈（mind）里。那它由什么做成的？它是由感質（qualia）組成的。’ 但這完全是胡說。之所以會這么想，是因為你把 ‘experience of’ 當成了 ‘photograph of’ 一樣去理解，但它們并不是同一種用法。

‘experience of’ 或者 ‘subjective experience of’ 的含義，是這樣的：‘subjective’ 表明‘我并不相信它是真實存在的’，而 ‘experience of’ 實際上是一個暗示，用來告訴你我的感知系統正在向我傳遞什么信息——我會通過描述一個假想中的世界狀態來說明。如果世界真的像我描述的那個樣子，那么我的感知系統就沒錯。但這并不是在說，有一個內在劇場里真的擺著粉紅小象。當我聽到 ‘perception（感知）’ 這個詞時，其實它聽起來就像是在說有一個‘內在劇場’：就好像我說，‘我在我的感知系統中看到某個東西’，這讓人誤以為有一個‘我’，在看一個‘感知系統’里投射給我的畫面。但那種模型是錯誤的。是的，你并不是在‘看你的感知（percepts）’，而是‘擁有’它們。光子進入你的眼睛，你的大腦進行一系列處理，于是大腦內部對外部世界形成了一種內部表征（internal representation），我們把那個內部表征稱為‘感知’。你并不是在‘觀察這個內部表征’，而是‘擁有它’，而‘擁有它’本身就是‘看見’的過程。人們總是試圖構建這樣一個圖景：有一個外部世界，然后有一個內在劇場承載這個外部世界的投射，最后你又跑去看那個內在劇場里的投射。實際上并不是這么運作的。

主持人：有一位心理學家或者神經學家曾認為，大腦中的腦橋（pons）與意識有關；而最近有人說，自我意識與大腦的默認模式網絡（default mode network）有關。好，那么在一個 AI 系統里，是否也存在對應‘自我意識’的部分？另外，我自己在措辭時也有點困惑，當我們說‘AI 系統’時，我們指的是它在 GPU 上運行嗎？是說它的算法？到底是什么在擁有意識或主觀體驗？它又在哪里？

Geoffrey Hinton：我認為，它肯定需要某種硬件來運行，也就是在那個系統上運行的實體才會擁有意識。如果一個東西要有意識，只是軟件本身還不夠，它得運行在某個載體（硬件）之上才行。軟件本身必須運行在某個東西上，我想，它只有在運行時才可能具有意識。就像之前有人提到腦橋（pons）牽涉到意識的問題一樣，我覺得可以用這樣的方式來思考‘AI 系統’在擁有身體時會是什么樣子。我們很快就會看到這一點，因為現在很多人在忙著制造‘戰斗機器人’，那可不是什么好東西。如果一個戰斗機器人知道你會在深夜一個人走到某條昏暗的小巷里，它就會決定在你最沒防備的時候悄悄地從后面靠近，一槍把你爆頭——我們完全可以用‘戰斗機器人相信什么’這種句式來描述它，就像我們描述一個人‘相信什么’一樣。我們可以說，‘這個戰斗機器人認為：如果它弄出聲響，你就會轉過身并看到它?！?這其實就和人們‘認為’某件事是一樣的。它會有自己的意圖，比如它打算悄悄靠近你并開槍。這種說法是合理的。所以我想，一旦這些東西擁有了‘身體’（embodiment），我們對使用‘相信’（believe）、‘打算’（intend）、‘思考’（think）這類詞來描述它們的排斥感就會慢慢消失。其實，現在這種排斥已經在很大程度上消退了。

假設我在和一個聊天機器人對話，它開始給我推薦一些毫無意義的東西。過一會兒，我發現：‘哦，原來這個聊天機器人可能把我當成了一個十幾歲的女孩。’這就是為什么它一直給我推薦各種化妝品、衣服，還有那些流行的男團或組合之類的。然后我問這個聊天機器人：‘你覺得我是怎樣的人群（demographic）呢？’ 它回答：‘我覺得你是一個十幾歲的女孩。’當它說‘我覺得你是一個十幾歲的女孩’時，我們其實并不會懷疑那就是它真正的‘想法’，對嗎？在日常語言中你會說：‘好吧，它確實覺得（think）我是個十幾歲的女孩?！悴粫f：‘你并不是真的這樣認為，你不過就是一段軟件或神經網絡罷了，只是表現得好像它認為我是十幾歲的女孩?！?你不會這么說，你會直接說：‘它認為（thinks）你是個十幾歲的女孩。’實際上，當我們面對這些系統時，哪怕它們與硬件或特定硬件的關聯并不明顯，我們已經在用‘想（think）’、‘相信（believe）’這樣的話語來描述它們。我們已經把心理狀態賦予了它們。只不過，我們對‘擁有一個心理狀態’到底意味著什么，往往有個奇怪的模型——我們會覺得這一定要和某種‘內在劇場（inner theater）’有關，但實際上‘擁有一個心理狀態’并不非得是那樣。

三、 主觀體驗的本質

主持人：那么，如果這些 AI 并沒有意識，或者并沒有主觀體驗，您對 AI 的發展方向還會不會如此擔憂？或者說，這兩者之間有關系嗎？它們不具備意識，會不會讓問題更快地滑向某種災難？”

Geoffrey Hinton：我之所以強調它們是否擁有主觀體驗，是因為大多數人會因此產生某種‘安全感’。多數人會想：‘人類擁有某種AI沒有、也永遠不會有的東西?！@會讓我們覺得自己更安全、更特殊。但實際上我們并不特殊，也并不安全。擁有或者沒有主觀體驗，都不意味著我們就安全。

我認為真正的問題不是科學問題，而是哲學問題：人們誤解了‘擁有主觀體驗’這句話究竟是什么意思。我想舉個例子，讓你看到我們其實可以正確地使用某些詞匯，卻對它們背后的工作機制抱有錯誤的認識。你有理工科的背景，所以你大概覺得自己非常清楚‘水平（horizontal）’和‘垂直（vertical）’的含義，對嗎？其實這是顯而易見的：如果我給你看兩個方向，你會說：‘這個是垂直的，那個是水平的?！@不難?？晌椰F在要告訴你，你對它們實際如何運作的理解中，存在一些重大誤區，并非完全正確。好，比方說，我手上有一大堆小鋁桿，我把它們拋向空中，讓它們翻滾、碰撞、相互撞擊。然后我突然讓時間靜止，再問你：‘這些鋁桿中，有多少根的朝向在垂直方向的一度以內？又有多少根的朝向在水平方向的一度以內？或者它們數量差不多？’多數人會回答：‘嗯，大概差不多吧?！缓笪腋嬖V你：‘其實，朝向在水平方向的一度之內的鋁桿數量，是接近垂直方向那些的 114 倍。’大家會覺得很吃驚：‘怎么會這樣呢？’

原因是：對于一根線來說，把它立起來這樣是垂直，但那樣也是垂直，只能在某個角度范圍內才算垂直——它只有一度自由度。而水平這邊卻不一樣：這樣水平，那樣也是水平，而且這么斜一點點也還是‘某種水平’。也就是說，‘水平’這個方向的定義在 3D 里有兩個自由度，而‘垂直’只有一個自由度。結果就是：在 3D 空間里，‘垂直’其實很特別因為它對應一個單獨的方向，而‘水平’可以有很多變體。聽起來很讓人意外，對嗎？但如果是在二維平面，就沒有那么大的差別。但在三維里，這兩者確實不一樣：對于線而言，垂直是非常特殊的，而水平則‘到處都是’。好了，我再給你另一個例子——手里這次是一堆小鋁制圓盤。我同樣拋向空中，讓它們翻滾、彼此碰撞，然后突然定格時間，再問你：‘這些圓盤里，有多少個是在垂直方向的一度之內？有多少個是在水平方向的一度之內？還是說兩者差不多？’結果這次正好反過來了：在圓盤的情形下，在垂直方向的一度之內的圓盤數量遠遠大于水平方向。因為對于一個圓盤表面而言，‘垂直’可以有兩個自由度，而‘水平’只有一個自由度。于是，這回是‘垂直’到處都是，而‘水平’很特殊。

這個例子告訴我們：我們擁有一個詞語的‘元理論（meta-theory）’，即我們對這些詞背后意義和運作方式的理解。但這個元理論可能是錯的。你在日常交流中可能正確地使用‘水平’和‘垂直’這兩個詞，但對它們在三維空間或不同對象維度上的實際含義并不真正了解。我想說的是，這就像我們對所有‘心理狀態（mental state）’術語的使用——諸如‘主觀體驗（subjective experience of）’這樣的詞。我們可以正確地使用它們，也能聽懂別人用這些詞想表達什么，但我們頭腦中對‘這到底是怎么運作的’卻有一個完全錯誤的模型，比如‘內在劇場里有些什么東西，用感質（qualia）做成一連串景象’之類的，那其實是非常荒謬的。

主持人：那對于‘感知（percepts）’或‘主觀體驗’的理論來說，哪些因素會讓某種理論更加正確，以至于您會說：‘我這個理論比大多數人想的更靠譜’？您的觀點是：很多人以為這些主觀體驗必須存在于某個地方，還要由某種東西構成。您覺得這并不成立嗎？

Geoffrey Hinton：對。我認為，當我說‘主觀體驗’的時候，這只是個暗示，表示：‘我接下來要談的是一種并不真實的、但假設世界若是那樣就能解釋我感知的情景?！⒉晃挥谌魏蔚胤剑驗樗且粋€假設中的世界狀態。但要注意，這與說‘存在一個內在劇場，里面充滿奇怪的物質’是完全不同的兩種描述模式。前者是：‘這只是一種假設，如果它是真的，那就會在外部世界中存在?！笳邉t是：‘它真的存在一個由奇怪的感質構成的內在劇場里?！?這兩種模型根本不一樣。我們大多數人都有一個‘內在劇場里充滿奇怪物質’的模型，但我認為這完全錯誤。即使這是大家普遍擁有的模型，它依舊很可能是錯的。

主持人：那如果我們談到另一位諾獎得主 Roger Penrose 呢？之前我們也有談到過他。

Geoffrey Hinton：我給你講個關于 Roger Penrose 的故事。很多年前，他受邀到多倫多大學來做報告，介紹他的新書 The Emperor's New Mind（有時也被翻譯成《皇帝新腦》，他自己也常用‘The Emperor Has No Clothes’之類的說法）。那時學院的院長打電話給我，說：‘你能不能來介紹一下 Roger Penrose？’我說：‘當然可以。’她說：‘太好了，非常感謝！’我就說：‘你先別謝，你應該先聽聽我要怎么介紹。’她就問：‘那你要怎么介紹？’ 我說：‘我會說，Roger Penrose 是一位極其杰出的數學物理學家，為數學物理做出了巨大貢獻……而他今天要講的內容，完全是胡扯?！@就是我對 Roger Penrose 所謂‘意識理論’的看法。特別是他犯了一個荒誕的錯誤——我必須謹慎措辭，因為一定會有人來反駁。他的問題在于，他認為數學家能夠‘直覺地’知道某些事實為真，即便無法用形式化手段證明。如果數學家的直覺無往不利、屢試不爽，那還真是令人擔憂，這似乎會暗示有某種神秘機制造成的。但事實并不是這樣：數學家也會依靠直覺，但他們的直覺有時對，有時錯?！彼?，這實際上并不能證明什么。它并沒有證明我們需要用量子力學來解釋數學家是如何工作的。我也看不出有什么地方必須要用量子力學來解釋諸如意識這類東西。AI 目前做得還不錯嘛。我們已經造出了這些聊天機器人，如果你給它們加一個攝像頭，我剛才也說過，它們就可以擁有‘主觀體驗’。沒有任何證據表明，人類身上有什么東西，只有量子力學才能解釋。

回到 Roger Penrose 的觀點，Penrose 的論點里是否有什么地方，必須假設數學家 100% 都能用直覺得出正確答案呢？只有當他們總是直覺地精準無誤，這才需要奇怪的解釋。如果他們只是猜測，偶爾對偶爾錯，那就沒什么好奇怪的。如果他們有一種方法能總是對那些在系統內部無法推導的問題給出正確答案，那才真的是個大問題。但他們并沒有那種能力——數學家有時會直覺正確，有時會直覺錯誤。

主持人：能不能請您概括一下 Penrose 的論點是什么？”

Geoffrey Hinton：我不太想做這個概括。我對他的理解是，他有兩個主要觀點。其一，他說經典計算不足以解釋意識。我認為這是一個很大的錯誤，而且我覺得這是基于他對意識的錯誤理解。第二，他認為數學家可以直覺地判斷某些無法證明的東西是否真實，并因此認為‘有點神秘的東西’在起作用。只有當數學家每次都直覺正確，才說明這里有某種‘神秘力量’。但他們并不總是對的?！?/p>

四、AI在中國的崛起

主持人：那您對所謂的‘中文房間實驗（Chinese Room Argument）’怎么看？可以簡單給觀眾介紹一下嗎？”

Geoffrey Hinton：大概在 1990 年左右，我曾受邀參加一個電視節目，和 John Searle 同臺。當時我打電話給 Dan Dennett問：‘我應該去嗎？’他說：‘你要小心，他可能會讓你出糗。如果你去，別談中文房間實驗?！Y果我同意一起上節目后，這是一場一個小時的訪談，Searle 一開始就來了一句：‘Geoffrey Hinton 是一位連接主義者（connectionist），所以他當然不會反對中文房間論證。’然后他開始說：‘他是連接主義者，所以他當然不會對中文房間有異議?！蓪嶋H上我們事先說好不談這個話題，而且他的話完全不符合事實——我對中文房間論證有很多反對意見。我覺得那是荒謬的，而且我覺得它帶有故意的誤導成分，甚至可以說是不誠實的論證。他是怎么做的呢？他會讓你把‘整個系統’和‘房間里執行命令的個體’混淆起來。比如，他讓你想象一個房間，里面全是只會說中文的人（或一堆在用中文傳遞信息的人），用某種規則去處理輸入的英文句子。他們內部只是在使用中文傳遞信號和指令，從而產生了對英文問題的回答。然后他會說：‘看，這些人并不懂英文，但卻能回答英文問題。’他要讓你誤以為‘房間里的人都不懂英文’就代表‘整個系統不懂英文’?？蓪嶋H情況是——整個系統確實懂英文，只不過房間里各個個體并不懂。我認為這就是這個論點的問題所在。

主持人：那我們再談談中國本身。許多 AI 研究人員當初并沒有預料到中國會在 AI 領域追趕上西方。您對這一現象怎么看？又會帶來怎樣的影響？”

Geoffrey Hinton：我覺得他們還沒完全趕上，但已經非常接近了。美國想通過限制最新的英偉達（NVIDIA）芯片對中國的出口來放慢他們的腳步，也許英偉達會想辦法繞過這種限制?？扇绻@種禁運真的有效，那只會促使中國去發展自己的技術。或許會比美國落后幾年，但他們終究會趕上來。畢竟他們的 STEM（科學、技術、工程、數學）教育總體上比美國更扎實，也有更多高素質的理工人才。我認為他們會迎頭趕上。

主持人：Marc Andreessen曾說，他不理解政府‘如何鎖定’AI。他當時在跟政府官員對話，政府那邊說：‘如果 AI 發展失控，我們可以把它“鎖定”起來?！疉ndreessen 的質疑是：‘這個數學都已經公開化了，全世界都在學，你們要怎么把它關起來？’政府官員回應：‘冷戰期間，我們曾把核物理的一些分支列為機密，不讓它們進入公開研究領域。我們可以再用同樣的手段，把 AI 相關數學給封鎖起來?！?/p>

Geoffrey Hinton：這事我和 Marc Andreessen 的看法倒是一樣——那根本不可能。也許在 2017 年，谷歌本可以不公開 Transformer 模型的論文，也許能拖個幾年，才有其他人想出類似的方法。但我認為想徹底封鎖是不現實的。你想想看，要徹底防止信息擴散得付出多大代價？幾乎辦不到。你說政府能把一些線性代數的領域都列為機密嗎？我不覺得這能行。他們或許可以讓某些信息的分享更困難，從而拖慢進度一點點，但說要憑借不共享某些 AI 核心理念，就能阻止別人在別的地方獨立發明它？那我不覺得可行。新的想法往往是在某個‘時代思潮’里產生的。一個人有了某個創意，差不多同樣的時候，另一個人也會有類似的想法，只是稍有不同。在共享同樣的‘時代思潮’背景下，這種情況非常常見。除非你能徹底抹殺這個‘時代思潮’，否則就沒法阻止新點子出現。哪怕你先把它藏起來，過幾年也會有人自己想出來。

主持人：那關于‘去中心化（decentralizing）’AI 呢？這是個龐大的話題。有些人說：‘這就像給任何想要核武器的人都提供了核武器?！灿腥苏f：‘這恰恰能避免出現《終結者》那種 Skynet 場景。因為我們會有多個不同的、去中心化的 AI 系統?！?/p>

Geoffrey Hinton：不好意思，這里其實存在兩種不同的‘去中心化’概念。

主持人：那么，我們來談談‘共享權重（sharing weights）’的問題。Geoffrey Hinton：如果你想問，‘為什么阿拉巴馬州（美國的一個州）沒有原子彈？’原因在于你需要‘可裂變材料（fissile material）’，而這種材料很難獲取。生產可裂變材料需要大量的時間和能量。一旦你擁有了它，制造炸彈就容易多了。所以政府顯然不希望可裂變材料被隨意獲取——你不能上 eBay 買到這種材料。這就是為什么我們沒有許多小國擁有原子彈。如果你想把這個類比到大型聊天機器人身上，那相當于‘基礎模型’。這個基礎模型可能花了上億美元，甚至十億美元來訓練，使用了大量數據，因而擁有了極其強大的能力。如果你把這個模型的權重（weights）公開了，那么任何人都可以對其進行各種‘微調（fine-tune）’，從而做出形形色色的壞事。所以我覺得，把這些大型模型的權重公布出來是非常瘋狂的，因為這其實是阻止‘不良行為者’的最后一道門檻。而偏偏 Meta 現在就這么做了，其他人也跟風了。事情已經無法挽回，這只貓已經跑出袋子了，但我認為那是一個非常瘋狂的舉動?！?/p>

五、AI的社會影響

主持人：說到基礎模型，我們最近的 AI 大爆發主要歸功于 Transformer 架構。您覺得在未來會不會出現某種其他模式或架構的重大突破呢？

Geoffrey Hinton：我認為會有與之相當的大突破出現——這正是科學的常態。我不知道那會是什么。如果我知道，我就會去做了?！边?，我現在年紀大了（笑），我有學生在做這些事。你是想問，我如何協調自己曾經對該領域的貢獻和我如今所擔憂的一切？也就是說，我還會不會繼續往里貢獻力量？這里要考慮一個問題：AI 在很多方面都會給人類帶來巨大好處，比如更好的醫療、應對氣候變化、更先進的材料——比如人們一直在尋找室溫超導體（AI 很可能在其中發揮作用，前提是這種材料確實存在）。也就是說，AI 有太多積極的用途，我不認為它的發展會被停止。就算有人提議‘我們該放慢 AI 的腳步’，我也覺得這不現實，因為競爭非常激烈。就算放慢對人類最有利，也不可能真的實施。我們真正需要做的是：在 AI 不斷發展的過程中，想辦法讓它盡可能安全。

主持人：也就是說，這塊巨石是沒人能阻止的，但我們也可能還在推它。那您個人會怎么做？假設您突然預見到某個重大突破即將到來，您就像雷·庫茲韋爾那樣有出色的預判能力——您會把籌碼都投進去，一起推動這件事嗎？

Geoffrey Hinton：前提是我能同時研究如何讓它安全的話，我會的。我只是覺得，自己先前并沒有盡早意識到它可能帶來的危險。我希望自己能更早警覺。

主持人：愛因斯坦曾經說過一句話，關于原子彈：‘如果我早知道我研究的東西會導致原子彈出現，我情愿燒掉我的雙手。’您是否也有類似的感受？”

Geoffrey Hinton：并沒有，也許我該有那樣的想法，但我沒有。我并不后悔自己曾做過的研究，但我確實對可能出現的不良后果感到遺憾。不過我不會回想說，‘哎呀，我當初真不該做這些?！驗?AI 肯定會被繼續發展下去，國家之間、公司之間的競爭就擺在那里。我們應該專注于如何讓它安全地發展，而不是去阻止它的發展。那是兩回事。”

主持人：除了對齊（alignment）之外，您覺得‘安全發展 AI’還意味著什么？”

Geoffrey Hinton：要想辦法應對短期的各種風險，而且它們都不盡相同，也需要不同的解決方案。比如‘致命自主武器（lethal autonomous weapons）’，要想應對這個問題，你需要類似‘日內瓦公約’那樣的國際規范。但通常只有在出現可怕事件后，人們才會真正去談這些條約。再比如，有可能用 AI 生成的虛假視頻和圖像來干擾選舉——特別是針對特定個人時，破壞力就更大。對此，我認為需要一個更加完善的機制來核實視頻或圖像的來源。我最初想過強制標注‘這是偽造的’，但現在我覺得這條路不太現實。還不如要求所有內容都提供來源信息，然后由瀏覽器自動核驗。就像現在的電郵系統會提醒你，‘這個郵件來源不明，不要輕信’，差不多就是這個思路。還有歧視與偏見（discrimination and bias）的問題。我們可以先固定模型的權重，然后測量它的偏見程度，再對它做一定的修正。雖然無法做到完美，但多少能減輕一些偏見。這樣一來，系統總會比它所訓練的數據偏見更少一點。人類決策的偏見也不少，如果我們用比人類更少偏見的系統來替代，雖說還做不到完全無偏見，但只要不斷替換成更少偏見的模型，這其實就是‘梯度下降’的過程，總體會越來越少偏見。所以我對這方面倒不是特別擔心（也可能是因為我是個年長的白人男性）。

至于‘就業’問題——我們還真不知道該怎么辦。現在很少有人去挖溝了，因為挖掘機挖溝比人挖得快得多。對于幾乎所有日常的‘智力勞動’，情況都將一樣：AI 系統會比人類做得好很多。拿法律助理來說，AI 很可能成為比人更出色的法律助理。想到它會對社會造成什么影響，還是挺嚇人的。它會導致富人更富，因為我們的生產力會大幅提高。而這些財富會流向誰？會流向富人。窮人則會變得更窮。我不知道該怎么解決這個問題。全民基本收入（Universal Basic Income）也許能有所幫助，至少能讓他們不至于餓死。但它并沒有真正解決問題，因為如果人們沒工作，就會失去尊嚴。

六、“理解"與"智能"的含義

主持人：我們之前談到‘感知（perception）’，然后把它與‘主觀性質（subjective qualities）’聯系了起來。也許這其中有個錯誤的模型。但不管怎么說，每當我們在討論‘感知’的時候，我們是不是就在討論‘知覺系統（perception）’，以及它所帶來的‘主觀體驗’？

Geoffrey Hinton：不，當你使用“主觀體驗（subjective experience）”這個詞時，你其實是在暗示：你要討論的是‘對真實世界的一種假設性狀態（a hypothetical state of the real world）’，而不是指某種奇怪的內在東西。那些所謂的‘奇怪的內在東西’并不存在——并不存在什么‘感質（qualia）’做成的東西。我們所說的不過是‘如果世界真的像你感知系統告訴你的那樣，那么你的感知系統就沒撒謊’的假設場景。這就是當我們說‘主觀體驗’時，真正要表達的意思：它指的是那些‘假設的世界狀態’，用來說明‘我的知覺系統是如何欺騙我的’。這并不是說‘主觀體驗’本身是個實體。別再把‘預測（prediction）’扯進來——那會把話題帶偏了。我要讓你明白的是：并沒有某種‘由奇怪的心理物質構成的主觀體驗’這回事。只有一種談論方式，用于描述‘感知系統何時以及如何出現偏差’，即：如果世界真如感知系統所暗示的那樣，那么感知系統就沒有撒謊。當我們使用‘主觀體驗’這句話時，就是在表明我們現在要玩這樣一個‘假設世界狀態’的游戲，以此解釋‘我為何會有這樣的感知誤差’。所以，‘主觀體驗’并不是一個‘東西’?！?/p>

主持人：任何事物都能擁有一個‘感知系統’嗎？比如一本書能否有‘感知系統’？能不能說一本書在感知什么？”

Geoffrey Hinton：要有一個感知系統，你大概需要某種能夠‘獲取外部世界的信息并在內部形成表征’的結構。比如說，一只蟾蜍（toad）眼睛接收光線，然后它會捕捉蒼蠅——這說明它有某種對外部世界位置的感知。很顯然，它有一個感知系統。但我不認為一本書有感知系統，因為它并沒有從外界獲取信息并在內部形成表征。正如我所說，一本書并不會‘感知世界’，也不會產生內部表征。所以它不具備感知系統。

主持人：那么，‘智能（intelligence）’與‘理性（rationality）’之間有什么區別呢？

Geoffrey Hinton：‘智能’可以有很多種表現。如果你說‘理性’，通常指的是‘邏輯推理（logical reasoning）’?？墒且恢回埍M管很聰明，但你不會說它‘理性’。我們平時做的大多數事情，其實都屬于‘直覺推理（intuitive reasoning）’，而不是‘邏輯推理’。要找個比喻的話，可以拿 AlphaZero 下棋來舉例。我對國際象棋比對圍棋更了解，所以就用國際象棋舉例。AlphaZero 里有某個部分能去評估棋面好壞；也有個部分能看著棋面說：‘對我而言，哪些走法是可行的？’然后它有一個‘蒙特卡洛演算（Monte Carlo rollout）’過程，用來模擬：如果我走這步，對方走那步，然后我再走這步，結果好不好？這個蒙特卡洛演算類似于‘推理（reasoning）’。而那些神經網絡會說：‘這步棋對我來說可能是好招，那步棋面對我來說不利?！@更像是‘直覺推理（intuitive reasoning）’。人類大部分的思考其實是‘直覺推理’。AI 早年嘗試用‘邏輯推理（logical reasoning）’來做所有事情，這是一個巨大的錯誤，因為他們沒法處理類似‘類比’（analogy）這種方式。神經網絡（neural nets）則擅長的是直覺推理。過去 20 年，我們用神經網絡去模擬人類的直覺，而非人類的邏輯推理，結果取得了長足進展。

主持人：是否‘越聰明就越有道德’呢？有沒有這種關聯？

Geoffrey Hinton：我最近看到過有人說兩者有某種相關性，但我不知道那篇文章的可信度，所以不清楚該不該信。我個人并不認為一定如此。有些例子，比如馬斯克，他顯然很聰明，但我不會說他非常有道德。此外，你也可以很有道德，但不算特別聰明。所以我不認為兩者一定存在正相關關系。”

主持人：您剛剛說自己并不確定。所以，是有什么與此相反的證據嗎？比如說，‘隨著智力增強，道德也按比例增強’的證據？”

Geoffrey Hinton：我完全不確定是不是有這樣的證據。我覺得高智商的人里有壞人，也有好人?！?/p>

主持人：那‘理解（understand）’意味著什么？”

Geoffrey Hinton：那么再回到這個話題，我認為大多數人對于‘理解（understanding）’的概念，都有一個錯誤的模型。如果你去看這些大型語言模型（large language models），有不少人，尤其是來自喬姆斯基學派（Chomsky School of Linguistics）的人，會說：‘它們并不真正理解它們所說的內容；它們只是在用統計相關來預測下一個詞?！绻闳タ醋钤珙愃颇菢拥恼Z言模型——其實我可能是第一個使用反向傳播（backpropagation）來訓練模型、預測下一個詞的人。我們用反向傳播來減少預測下一個詞的誤差。當時的重點在于展示：我們如何學習到詞語的含義；或者換種說法：我們如何能把詞串（string of words）轉換成特征向量（feature vectors），以及讓這些特征向量之間發生交互——而這就是‘理解’。也就是說，去‘理解’一串詞，其實就是把那些詞映射到某些特征向量，然后利用特征之間的交互來完成諸如‘預測下一個詞’等任務，當然也可以做其他事情。因此，如果有一句話（不討論單詞碎片，雖然現在的 Transformer 使用的是子詞單元，但我們為了說明方便就暫且當做整詞），你輸入一串符號進來，那么意義并不在那串符號本身。你所做的是，將這些符號（詞）映射成特征向量。與此同時，你已經學會了在上下文中，特征與特征之間如何交互，比如如何通過特征交互來消解多義詞的歧義。當你給這些詞都賦予了恰當的特征，這就等同于理解了這句話。這正是大型語言模型在做的事情，也同樣是我們人類在做的事情。換言之，我們和它們的理解機制在本質上是一樣的。并不是說我們在理解的時候就突然出現了什么神秘的、叫作‘理解’的內在東西。我一直想要去除那些‘神秘的內在實體’，而代之以可解釋的機制。我們依靠龐大的神經網絡，能夠為這些符號賦予特征，使得特征能夠很好地組合起來。

我打一個比方，我自己很喜歡：如果你想對三維形狀進行建模，而且對表面的精度沒有太高要求，你可以用樂高積木來搭出一個大致的三維形狀，比如搭一個跟保時捷外形差不多的模型。雖然表面不會那么光滑，但它們在空間占用上是相似的。所以，樂高積木可以算作一種通用的建模方式，而且你并不需要很多種不同的樂高積木。現在，你可以把‘詞’想象成樂高積木——不過這里的‘樂高塊’種類很多，每個都有不同的名字。而且每塊‘樂高’本身還帶有一定的可塑性（flexibility），不像真正的樂高那樣是固定形狀。它不能隨便變成任何形狀，但基于它的‘名字’，它能夠在某些維度上進行變形。有時一個名字對應兩種完全不同的形態，但也不能隨意變化成任何別的形狀。我們所做的，就是發明了一個‘高維度的樂高系統’，從而能夠建模比‘三維物質分布’更復雜得多的東西。想象一下，這些‘樂高塊’處在一個上千維（thousand-dimensional）的空間里。對于數學家而言，‘一千維’本來就是很奇特的東西，而這些塊具有一定的變形自由度。給你一堆‘塊’的名字（對應不同的詞），每個名字背后是一個一千維的‘基礎形狀’，它們彼此能夠彼此變形，緊密貼合在一起——這就是理解。

這也能解釋我們如何只通過一句話，就學會一個新詞的含義，而無需明確定義。舉例說：如果我說，‘She scrummed him with the frying pan’（她用平底鍋 scrummed 了他），你大概能推測出‘scrummed’意味著什么。部分原因是因為動詞過去式的 ‘-ed’ 會給你提示：它是一個動詞。你會覺得它多半意味著‘她用平底鍋打了他一下’之類的，帶有某種攻擊性。當然，它也可能意思完全不同，比如‘她用高超的煎蛋技巧讓他留下深刻印象’。但大概率我們會選擇前者這個解釋。沒有人告訴你‘scrummed’的定義是什么，只不過句子里其他詞——‘she’、‘him’、‘frying pan’等——各自都帶有自己的‘樂高形狀’，并且當它們搭在一起時，就給‘scrummed’留下了一個可供填補的‘形狀空洞’，而那個空洞就會對應到‘scrummed’的含義。這就是我對語言的看法：它是一種建模系統，每個‘塊’都帶有一定彈性。給你一堆‘塊’，你要弄清它們如何組合。由于每塊都有名字，你就能把這些名字告訴別人，只要他們和你有足夠相似的知識背景，他們就能復原你拼出來的模型。

七、 對主觀體驗的預測

主持人：所以您的意思是——幫觀眾理解下——您認為我們頭腦中發生的事情，其實和大型語言模型中發生的事情是一樣的？”

Geoffrey Hinton：對，它們和我們是同樣的工作原理。這意味著它們確實在某種意義上做到了‘理解’。

主持人：喬姆斯基（Chomsky）對這些模型有一個反對觀點：他說，人類的語言輸入量是稀疏的，我們并不是靠閱讀整篇互聯網才學會理解的。那么您怎么看待這種反駁？

Geoffrey Hinton：確實，大型語言模型需要巨量的數據才能訓練。它們的‘統計效率（statistical efficiency）’不如人類高?？蓜e忘了：孩子在學語言時，不是只靠聽收音機；他們身處現實世界，會和周遭事物交互。如果你讓模型變成一個多模態系統，它就不需要那么多‘語言層面’的數據了。假如你給它一個機械臂和一個攝像頭，并讓它與世界交互，它需要的純語言輸入就會少得多。雖然可能仍然比人類孩子需要的更多，但會大幅減少。另一個思路是，反向傳播訓練算法非常擅長把大量的經驗‘壓縮’到相對較少的權重（weights）里，比如說一個模型可能有一萬億個參數。它能從海量經驗中‘提取知識’，把它塞進那一萬億個參數中。這是它的強項。而我們人恰恰相反，我們擁有更多的參數——大約一百萬億的突觸連接——但我們只能活大約 20 億秒，所以我們所能獲得的體驗并沒有那么多。這才是我們的問題所在。”所以，我們人類需要的是：在極其有限的經驗中，盡可能高效地學習。這就表明我們大概并沒有使用（大型語言模型那樣的）反向傳播（backpropagation）算法；我們更可能在使用別的學習算法。從這個角度說，喬姆斯基（Chomsky）也許是對的：我們基于較少的知識就能完成學習。不過我們學到的，依然是如何把特征和詞語關聯起來，以及這些特征之間要如何交互。

主持人：好，那我們繼續談‘學習’和‘研究’。Jay McClellan（注：應是指認知科學家 Jay McClelland）說，在您和研究生以及其他研究者開會時，您通常不會在白板上寫方程式，而是畫圖、做手勢。跟其他機器學習的研究會議挺不一樣的。您覺得這樣做的重要性在哪里？它的優點和缺點是什么？

Geoffrey Hinton：嗯，我是先用直覺思考，然后再去把數學推導放在后面。有些人是從方程出發，推導出結果，再去獲得直覺。還有一些人能兩者兼備，比如 David Mackay，他就既能很強的直覺思維，也能非常擅長數學。對我來說，我一直更擅長用‘空間’或‘圖形’的方式來思考問題，而不是用純方程式。

八、個人學習經歷

主持人：能給我們談談您的大學經歷嗎？聽說您中途換過專業。是什么原因或機緣讓您這么做？”

Geoffrey Hinton：這個故事有點長了。我一開始在劍橋學的是物理、化學還有晶體學，主要就是 X 射線晶體衍射。當時我才第一次離家住校，學業又非常辛苦。一個月后，我就放棄了，然后重新申請改學‘建筑學’，學院又錄取了我。但是學了只有一天，我就覺得自己在建筑上沒啥天賦，就又回到理科。然后就繼續學了物理、化學和生理學，結果我對生理學非常感興趣。一年后我想要更深入了解‘心智（mind）’，當時我以為哲學能教給我這個，于是又放棄了理科去學哲學。在那一年里，我學了維特根斯坦（Wittgenstein）的一些思想，可總體而言，最主要的收獲是我對‘哲學’本身產生了抵觸心理。原因是，他們光靠辯論，沒有一種外在客觀手段來判斷某個理論好不好——看上去只要說得好聽就行。這對我來說無法接受。于是，我又轉去學心理學，想更好地了解心智。結果心理學讓我很抓狂：他們喜歡弄一個明明很簡陋、很不靠譜的理論，卻要設計一堆精巧的實驗去檢驗這個理論到底對不對。但其實你從一開始就知道這個理論很離譜，那還測什么呢？這就是當時大部分心理學研究的模式。最后我決定轉向 AI，這時我們會做計算機模擬，我對這個要開心得多。

主持人：當您后來成為教授，一直到現在，您是如何選擇研究課題的呢？”

Geoffrey Hinton：說實話，這是一件非常復雜的事，我自己也不一定真正知道。我可以給你我的一些推測，但你也不見得要全信——就像大型語言模型會‘隨機生成’那樣。我覺得我會尋找‘所有人都做錯了’的領域。當你預感到大家都在用錯的方法，就試著想一個更好的方法。通常結果可能是：你最后發現，別人之所以那樣做其實有他們的道理，你原先覺得‘更好’的方法其實不行。但偶爾——比如像我當年認為大家都在用邏輯方法解釋智能，而我覺得我們應該用神經網絡，而且關鍵在于神經網絡里連接權重（connection strengths）如何適應——偶爾就會證明你是對的。只要你還沒看出自己的直覺哪里錯了，而主流做法又為什么對，就一直堅持自己的想法。這是做‘顛覆性創新’的辦法。我也常說一句話：如果你的直覺好，那你當然要堅持它；如果你的直覺不行，那你干別的也不見得成功，所以倒不如也去堅持它。反正都一樣。

主持人：那您怎么看雷·庫茲韋爾的那些直覺？他做了很多預測，而且好多都對。您自己在 2000 年代初還在關注他，可能當時覺得‘這些預測不可能全成真’，可最后大多被證實了嘛?！?/p>

Geoffrey Hinton：如果你讀過他的書，你就會這么想。但我懷疑他也說過不少并沒有實現的東西，只不過那些就不會被大肆宣傳了。就我看，他主要的論點是：計算機會越來越快；隨著速度增加，我們能做更多事。用這個論點，他大致上也就能推測出計算機什么時候會變得和人一樣聰明。到現在來看，他關于大致時間點的預言還算準確。

主持人：您自己有沒有類似的預測，而且是同行們不太同意，但您憑直覺就覺得很有把握的？我們之前討論的 AI 安全、對齊（alignment）那些就算了，換個話題?！?/p>

Geoffrey Hinton：我想，最主要的一個預測是關于‘主觀體驗（subjective experience）’和‘意識（consciousness）。我認為絕大多數人對‘心理狀態（mental states）’抱持了一個完全錯誤的模型。當然這更像哲學層面的話題。至于技術層面，我依然相信‘快速權重（fast weights）’會非常重要。大腦里的突觸（synapse）在許多不同的時間尺度上會發生適應和變化；可是在大多數 AI 模型里，我們并沒有利用到‘多時間尺度’的權重變化?，F在的做法是：我們希望所有訓練樣本都能用到同一套權重，以便可以進行高效的矩陣-矩陣乘法。一旦你讓權重可以快速改變，那每個訓練樣本都在用不同的權重，因為它們在迅速地適應，這就導致無法直接用傳統方式做大規模并行?？晌蚁嘈?，在大腦里一定有一種‘快權重’和‘慢權重’疊加的機制——慢權重照常調整，快權重則能夠快速適應。一旦我們有了快權重，就能獲得許多神奇的特性；只是說，目前我們用的硬件（以數字計算為主）對這不太友好。如果是類比電路（analog computers），這會更自然。我覺得總有一天我們需要用快權重，因為這會帶來很多好處。只不過，這和我們目前的硬件方式有很大差異?！?/p>

主持人：您之前公開提到，自己有點‘輕度躁郁’，會有一段很自我懷疑、看什么都覺得不行的時期，也會有一段極度自信的時期。您還說，這對您的創造力有幫助。能聊聊這個嗎？”

Geoffrey Hinton：嗯，我的‘自信期’其實更短。我可以詳細說說所以，當我有了一個新主意時，我會非常興奮。而且我甚至能‘稱量’我的主意——有時我的想法像一磅重，有時像五磅重。于是發生的情況是，我一有新想法就非常興奮，以至于沒時間吃飯，自己的體重反而下降。

主持人：哦，我明白了。所以你能通過體重下降的多少，來衡量自己對某個新想法有多激動。是這樣嗎？

Geoffrey Hinton：是的，比如我大約會瘦五磅，非常棒的想法。

主持人：你有沒有感覺自己是在延續你曾曾祖父喬治·布爾（George Boole）的勝利火炬？”

Geoffrey Hinton：不，倒不是真的。其實我父親經常談論這種傳承感，那是件有趣的事。我感受到了來自父親的極高期望。不過這些期望并不是來自喬治·布爾，而是來自我父親。”

主持人：你心中有個繼承人，你正把火炬傳遞給他嗎？”

Geoffrey Hinton：不完全是。我不認為我想把這種壓力施加到其他人身上。”

主持人：為什么你說‘不完全是’，而不是直接說‘不’呢？”

Geoffrey Hinton：我有幾個很擅長定量分析的侄子。”

九、AI的未來前景

主持人：說到壓力，當你離開谷歌時，你公開談論了你對 AI 安全的擔憂。公開表達這些焦慮，對你來說最困難的部分是什么？”

Geoffrey Hinton：我不覺得那很困難。坦白說，并不難。我當時 75 歲，對吧？所以并不是我想留在谷歌繼續工作，但我感覺由于 AI 安全問題我無法繼續。我本來也準備退休了，我在科研上的能力也下降了，時常忘記變量代表什么。的確，我不再擅長做研究，總是忘記變量的含義。是的，所以是時候退休了。我當時想著，正要離開的時候，順便提一下 AI 或這些 AI 安全問題就行了。我沒想到接下來會發生什么。”

主持人：你在另一個采訪中提到，隨著年紀增長（你現在 75、76 歲），一切都在不斷變化。是嗎？每天變化不止？”

Geoffrey Hinton：77 歲了。好吧。是的，我提到過，當我編程時會忘記變量名。所以隨著年齡增長，我覺得自己可能會轉向哲學領域。也就是說，我們之前討論了很多哲學話題。但是基本上是要回歸到我 20 歲時的哲學探索，那種哲學見解并進一步探索。

主持人：那么，從長遠來看，未來有哪些方向呢？”

Geoffrey Hinton：嗯，老年生活。我覺得由于 AI 的出現，世界會相當快地發生巨大變化，其中既有非常好的方面，也有非常糟糕的方面。我們需要盡力去減輕不良影響。我認為我還能發揮的作用是鼓勵年輕研究者關注安全問題。所以我一直在做這方面的工作，尤其是與之相關的‘對齊（alignment）’問題。

主持人：我們人類自己并不完全有‘對齊’，那么你認為我們能解決 AI 的對齊問題嗎？

Geoffrey Hinton：我有點同意這種說法。‘對齊’這個問題，就像讓你在兩條垂直的直線之間找到一條平行線一樣困難。人們對‘對齊’的討論很天真，好像有某種通用的‘人類良善（human good）’標準。實際上，不同人眼中的‘好’和‘壞’各不相同。你看看中東的情況。所以‘對齊’是非常棘手的問題——對齊誰的價值觀？”

十、對AI 研究者的建議

主持人：你剛才在對年輕的 AI 研究者講話?，F在你在對年輕的數學家、哲學家，以及剛進入新 STEM 領域的學生講話，即使哲學不在 STEM 范疇。你有什么建議？”

Geoffrey Hinton：嗯，我的建議之一是：現在科學研究的很多興奮點都圍繞著神經網絡，也就是現在所謂的 AI。事實上，物理學家現在似乎想說，那就是物理學，甚至有人因為在神經網絡方面的工作而獲得了諾貝爾獎？你不記得了嗎？顯然諾貝爾獎委員會也認識到了這一點，科學中的很多激動點現在都在 AI 領域。所以對于物理學和化學來說，諾貝爾獎得主們的工作都在 AI 或者使用 AI。我的建議是：對于年輕的研究者來說，現在是一個非常激動人心的領域。當然，還有其他領域也會有非常重要的進展，比如如果我們能實現室溫超導體，那樣太陽能發電就能走得更遠。所以不只是 AI 一個領域令人興奮。納米材料也很有前景，但它們也會用到 AI。我認為將來大多數激動人心的科學領域至少都會用到 AI 工具。

主持人：我們剛才提到了這個話題，現在明確點。去年你因為在 AI 和神經網絡方面的工作獲得了諾貝爾物理學獎。那么你感覺如何？聽到這個消息是什么感覺？在物理學界，你認為自己是物理學家嗎？”

Geoffrey Hinton：不，我不認為自己是物理學家。當初在大學第一年學物理的時候，我確實學得不錯。我憑直覺拿了物理學一等榮譽學位，但數學水平一直不太行。后來因為數學不好我放棄了物理學。我想如果我數學更好一些，我可能會一直留在物理學領域，也許現在就能拿諾貝爾獎。所以反而幸好我數學不好?！?/p>

主持人：那你對這個獎項怎么看？聽到諾貝爾的消息后你有什么感受？

Geoffrey Hinton：說實話，我現在對這個獎項還有點困惑。主要問題是，我早年在神經網絡上做的工作，跟物理學有很大關聯——比如我和 Terry Sejnowski 一起開發的玻爾茲曼機，它巧妙地利用了統計物理原理，所以我能理解為什么物理學家會這么說。但實際上這并不是通向當前成功 AI 系統的路徑。更重要的是，我還參與了另一種算法的研究——反向傳播（backpropagation），它催生了如今龐大的 AI 產業。所以我仍然覺得有點尷尬，因為我們因為玻爾茲曼機而獲得了獎勵，但實際上并不是玻爾茲曼機帶來了真正的成功。它們確實有幫助，但最終成功的并不是它們。

主持人：教授，和您交流真是太愉快了。

星標公眾號， 點這里 1. 點擊右上角 2. 點擊"設為星標" ← AI深度研究員 ? ← 設為星標

原文鏈接：https://www.youtube.com/watch?v=b_DUft-BdIE&t=3655s&ab_channel=CurtJaimungal

來源：官方媒體/網絡新聞

排版：Atlas

編輯：深思

主編：圖靈