機(jī)器之心報(bào)道

編輯：Panda

4 月 14 日，谷歌首席科學(xué)家 Jeff Dean 在蘇黎世聯(lián)邦理工學(xué)院舉辦的信息學(xué)研討會(huì)上發(fā)表了一場(chǎng)演講，主題為「AI 的重要趨勢(shì)：我們是如何走到今天的，我們現(xiàn)在能做什么，以及我們?nèi)绾嗡茉?AI 的未來(lái)？」

在這場(chǎng)演講中，Jeff Dean 首先以谷歌多年來(lái)的重要研究成果為脈絡(luò)，展現(xiàn)了 AI 近十五年來(lái)的發(fā)展軌跡，之后又分享了 Gemini 系列模型的發(fā)展歷史，最后展望了 AI 將給我們這個(gè)世界帶來(lái)的積極改變。

機(jī)器之心將在本文中對(duì) Jeff Dean 的演講內(nèi)容進(jìn)行總結(jié)性梳理，其中尤其會(huì)關(guān)注演講的第一部分，即谷歌過(guò)去這些年對(duì) AI 領(lǐng)域做出的奠基性研究貢獻(xiàn)。我們將看到，Transformer、蒸餾、MoE 等許多在現(xiàn)代大型語(yǔ)言模型（LLM）和多模態(tài)大模型中至關(guān)重要的技術(shù)都來(lái)自谷歌。正如 網(wǎng)友 @bruce_x_offi 說(shuō)的那樣，你將在這里看到 AI 的進(jìn)化史。

下面我們就來(lái)具體看看 Jeff Dean 的分享。

源地址：https://video.ethz.ch/speakers/d-infk/2025/spring/251-0100-00L.html

• 幻燈片：https://drive.google.com/file/d/12RAfy-nYi1ypNMIqbYHjkPXF_jILJYJP/view

首先，Jeff Dean 分享了他得到的一些觀察：

• 近年來(lái)，機(jī)器學(xué)習(xí)徹底改變了我們對(duì)計(jì)算機(jī)可能性的期望；
• 增加規(guī)模（計(jì)算、數(shù)據(jù)、模型大小）可帶來(lái)更好的結(jié)果；
• 算法和模型架構(gòu)的改進(jìn)也帶來(lái)了巨大的提升；
• 我們想要運(yùn)行的計(jì)算類型以及運(yùn)行這些計(jì)算的硬件正在發(fā)生巨大的變化。

機(jī)器學(xué)習(xí)十五年

首先，神經(jīng)網(wǎng)絡(luò)！

神經(jīng)網(wǎng)絡(luò)的概念是在上個(gè)世紀(jì)提出的，而現(xiàn)在 AI 的各種能力基本上都是某種基于神經(jīng)網(wǎng)絡(luò)的計(jì)算。我們可以粗略地將神經(jīng)網(wǎng)絡(luò)視為真實(shí)神經(jīng)元行為的非常不完美的復(fù)制品。它還有很多我們不理解的地方，但它們是 AI 的基本構(gòu)建模塊之一。

反向傳播是另一個(gè)關(guān)鍵構(gòu)建模塊，這是一種優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)重的方法。通過(guò)反向傳播誤差，可讓模型的輸出逐漸變成你想要的輸出。這種方法能有效地用于更新神經(jīng)網(wǎng)絡(luò)的權(quán)重，以最小化模型在訓(xùn)練數(shù)據(jù)上的誤差。并且由于神經(jīng)網(wǎng)絡(luò)的泛化特性，得到的模型也具有泛化能力。

神經(jīng)網(wǎng)絡(luò)和反向傳播是深度學(xué)習(xí)革命的兩大關(guān)鍵。

2012 年時(shí)，Jeff Dean 與其他一些研究者開(kāi)始研究：如果訓(xùn)練真正的大型神經(jīng)網(wǎng)絡(luò)，它們會(huì)比小型神經(jīng)網(wǎng)絡(luò)表現(xiàn)更好。在這一假設(shè)基礎(chǔ)上，他們決定訓(xùn)練一個(gè)非常大的神經(jīng)網(wǎng)絡(luò)，并且他們使用了無(wú)監(jiān)督學(xué)習(xí)算法。

這個(gè)大型神經(jīng)網(wǎng)絡(luò)比 2012 年已知的最大神經(jīng)網(wǎng)絡(luò)還大 60 倍，使用了 16,000 個(gè) CPU 核心。

Jeff Dean 說(shuō)：「當(dāng)時(shí)，我們的數(shù)據(jù)中心還沒(méi)有 GPU。我們有很多普通的舊 CPU 計(jì)算機(jī)。我們看到的是，這個(gè)無(wú)監(jiān)督的訓(xùn)練目標(biāo)再加上一些監(jiān)督訓(xùn)練，將 AI 在 ImageNet 22K 上的最佳性能提高了 70% 左右。」

這是一個(gè)相當(dāng)大的進(jìn)步，也證明了我們的假設(shè)，即如果投入足夠的訓(xùn)練計(jì)算，更大模型的能力會(huì)更強(qiáng)。

作為這項(xiàng)工作的一部分，谷歌開(kāi)發(fā)了他們第一個(gè)神經(jīng)網(wǎng)絡(luò)大規(guī)模基礎(chǔ)設(shè)施系統(tǒng)，稱為DistBelief。這是一個(gè)分布式計(jì)算系統(tǒng)，分散在許多機(jī)器上，而且我們?cè)S多同事并不認(rèn)為它能其作用。但實(shí)際上，當(dāng)模型很大時(shí)，本就不適合僅使用單臺(tái)計(jì)算機(jī)。

在分?jǐn)傆?jì)算時(shí)，有幾種不同的方法。第一種是垂直或水平地切分神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元。這樣一來(lái)，每臺(tái)計(jì)算機(jī)上都只有神經(jīng)網(wǎng)絡(luò)的一部分，然后你需要想辦法讓這些不同部分之間互相通信。這叫做模型并行化。

另一種方法是數(shù)據(jù)并行化，即在許多不同的機(jī)器上都有底層模型的副本，然后將訓(xùn)練數(shù)據(jù)劃分給不同的模型副本。

模型并行化與數(shù)據(jù)并行化可以同時(shí)使用。

在 DistBelief 中，實(shí)際上還有一個(gè)中心系統(tǒng)，可以接收來(lái)自模型不同副本的梯度更新，并將它們應(yīng)用于參數(shù)。但 Jeff Dean 表示他們的做法實(shí)際上在數(shù)學(xué)上并不正確，因?yàn)檫@個(gè)過(guò)程是完全異步的。不同的模型副本將獲得參數(shù)的新副本，在一些數(shù)據(jù)上進(jìn)行計(jì)算，再將基于這些參數(shù)和該批次訓(xùn)練數(shù)據(jù)的梯度發(fā)送回參數(shù)服務(wù)器。但這時(shí)候，參數(shù)已經(jīng)有變化了，因?yàn)槠渌Ｐ透北驹诖似陂g應(yīng)用了它們的梯度。因此，根據(jù)梯度下降算法，這在數(shù)學(xué)上顯然是不正確的，但它是有效的。所以這就是個(gè)好方法。

這就是使我們能夠真正將模型擴(kuò)展到非常大的原因 —— 即使只使用 CPU。

在 2013 年，谷歌使用該框架擴(kuò)展了一個(gè)擴(kuò)大了詞的密集表示的訓(xùn)練，這還用到了一個(gè)詞嵌入模型 Word2Vec。

基于此，谷歌發(fā)現(xiàn)，通過(guò)使用高維向量表示詞，如果再用特定的方式訓(xùn)練，就能得到兩個(gè)很好的屬性：

一、在訓(xùn)練大量數(shù)據(jù)后，這個(gè)高維空間中的近鄰詞往往是相關(guān)的，比如所有與貓、美洲獅和老虎相關(guān)的詞都匯集到了一個(gè)高維空間的同一部分。

二、方向在這種高維空間中是有意義的。舉個(gè)例子，為了將一個(gè)男性版本的詞轉(zhuǎn)化為女性版本，比如 king → queen、man→woman，都要朝著大致相同的方向前進(jìn)。

2014 年，我的三位同事 Ilya Sutskever、Oriol Vinyals、Quoc V. Le 開(kāi)發(fā)了一個(gè)神經(jīng)網(wǎng)絡(luò)，名為序列到序列學(xué)習(xí)模型。這里的想法是，對(duì)于一個(gè)輸入序列，或許可以根據(jù)它預(yù)測(cè)出一個(gè)輸出序列。

一個(gè)非常經(jīng)典的例子是翻譯。比如如果源句子是英語(yǔ)，可以一個(gè)詞一個(gè)詞地處理輸入的英語(yǔ)句子來(lái)構(gòu)建表示，得到一個(gè)密集表示，然后你可以將這個(gè)表示解碼成法語(yǔ)句子。如果有大量的英語(yǔ) - 法語(yǔ)對(duì)，就可以學(xué)習(xí)得到一個(gè)語(yǔ)言翻譯系統(tǒng)。整個(gè)過(guò)程都是使用這種序列到序列的神經(jīng)網(wǎng)絡(luò)。

Jeff Dean 表示自己在 2013 年左右開(kāi)始擔(dān)心：由于模型越來(lái)越大，語(yǔ)音識(shí)別等方面也開(kāi)始出現(xiàn)一些好用的應(yīng)用，用戶量可能有很多，那么該如何提供所需計(jì)算呢？

因此，谷歌開(kāi)始嘗試改進(jìn)硬件，并決定為神經(jīng)網(wǎng)絡(luò)推理構(gòu)建更定制的硬件。這就是張量處理單元（TPU）的起源。

第一個(gè)版本的 TPU 只專門(mén)用于推理，所以它使用了非常低的精度 —— 它的乘法器只支持 8 位整數(shù)運(yùn)算。但他們真正的目標(biāo)是構(gòu)建一種非常擅長(zhǎng)低精度線性代數(shù)的硬件，它將能服務(wù)于許多不同類型的基于神經(jīng)網(wǎng)絡(luò)的模型。這個(gè)硬件也不需要現(xiàn)代 CPU 中那些花哨復(fù)雜的功能，例如分支預(yù)測(cè)器或各種緩存。相反，他們的做法是盡力以更低的精度構(gòu)建最快和最小的密集線性代數(shù)硬件。

不出所料，最終生產(chǎn)出的 TPU 在這些任務(wù)上比當(dāng)時(shí)的 CPU 和 GPU 快 15 到 30 倍，能源效率高 30 到 80 倍。順便說(shuō)一下，這是 ISCA 50 年歷史上被引用最多的論文。這很了不起，因?yàn)樗?2017 年才發(fā)表。

之后，谷歌開(kāi)始研發(fā)專用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的專用型超級(jí)計(jì)算機(jī) —— 大量芯片用高速網(wǎng)絡(luò)連接起來(lái)。現(xiàn)在谷歌TPU pod在推理和訓(xùn)練方面都適用，并且連接的 TPU 也越來(lái)越多。最早是 256 臺(tái)，然后是 1000，之后是 4000，最近已經(jīng)來(lái)到了八九千。而且谷歌使用了定制的高速網(wǎng)絡(luò)來(lái)連接它們。

上周，谷歌宣布了新一代的 TPU，名為Ironwood。Jeff Dean 表示谷歌不會(huì)繼續(xù)再用數(shù)字來(lái)命名 TPU。Ironwood 的 pod 非常大：它有 9216 塊芯片，每塊芯片可以執(zhí)行 4614 TFLOPS 的運(yùn)算。

TPU 的能源效率也在快速提升。

另一個(gè)非常重要的趨勢(shì)是開(kāi)源。這能吸引更廣泛的社區(qū)參與并改進(jìn)這些工具。Jeff Dean 認(rèn)為，TensorFlow和Jax（都是谷歌開(kāi)發(fā)的）另外再加上 PyTorch，對(duì)推動(dòng) AI 領(lǐng)域的發(fā)展做出了巨大的貢獻(xiàn)。

然后到 2017 年，Transformer誕生了。當(dāng)時(shí)，他們觀察到：循環(huán)模型有一個(gè)非常順序化的過(guò)程，即一次吸收一個(gè) token，然后在輸出下一個(gè) token 之前更新模型的內(nèi)部狀態(tài)。這種固有的順序步驟會(huì)限制從大量數(shù)據(jù)學(xué)習(xí)的并行性和效率。因此，他們的做法是保存所有內(nèi)部狀態(tài)，然后使用一種名為注意力的機(jī)制去回顧經(jīng)歷過(guò)的所有狀態(tài)，然后看它們哪些部分與當(dāng)前執(zhí)行的任務(wù)（通常是預(yù)測(cè)下一 token）最相關(guān)。

這是一篇非常有影響力的論文。部分原因是，他們最初在機(jī)器翻譯任務(wù)上證明，用少 10 到 100 倍的計(jì)算量和小 10 倍的模型，就可以獲得比當(dāng)時(shí)最先進(jìn)的 LSTM 或其他模型架構(gòu)更好的性能。注意，下圖使用了對(duì)數(shù)刻度。所以盡管箭頭看起來(lái)很小，但其中差異實(shí)際非常大。

這篇論文很重要，幾乎所有現(xiàn)代大型語(yǔ)言模型都使用 Transformer 或其某種變體作為底層模型架構(gòu)。

2018 年時(shí)，一個(gè)新思潮開(kāi)始流行（當(dāng)然這個(gè)想法之前就有了）。也就是人們意識(shí)到大規(guī)模語(yǔ)言建模可以使用自監(jiān)督數(shù)據(jù)完成。比如對(duì)于一段文本，你可以用其中一部分來(lái)預(yù)測(cè)文本的其他部分。這樣做能夠得到一些問(wèn)題的答案。實(shí)際情況也證明了這一點(diǎn)。并且人們也發(fā)現(xiàn)，使用更多數(shù)據(jù)可以讓模型變得更好。

這類模型有多種訓(xùn)練目標(biāo)。一是自回歸，即查看前面的詞來(lái)預(yù)測(cè)下一個(gè)詞。今天大多數(shù)模型都采用了這種形式。另一種則是填空。上圖中展示了一些例子。

這兩種訓(xùn)練目標(biāo)都非常有用。自回歸式如今被用得更多，比如你在與聊天機(jī)器人對(duì)話時(shí)，模型就在根據(jù)之前的對(duì)話進(jìn)行自回歸預(yù)測(cè)。

2021 年，谷歌開(kāi)發(fā)了一種方法，可將圖像任務(wù)映射到基于 Transformer 的模型。在此之前，大多數(shù)人都在使用某種形式的卷積神經(jīng)網(wǎng)絡(luò)。本質(zhì)上講，圖像可被分解成像素塊；就像 Word2Vec 將詞嵌入到密集表示中一樣，也可以對(duì)像素塊做類似的事情 —— 用一些高維向量來(lái)表示這些塊。然后，就可以將它們輸入到 Transformer 模型，使其能夠處理圖像數(shù)據(jù)。現(xiàn)在我們知道，圖像和文本還可以組合成多模態(tài)數(shù)據(jù)。因此，這項(xiàng)研究在統(tǒng)一文本 Transformer 和圖像 Transformer 方面產(chǎn)生了巨大的影響。

另外，在 2017 年，Jeff Dean 還參與開(kāi)發(fā)了一種創(chuàng)造稀疏模型的方法。本質(zhì)上講，就是對(duì)于一個(gè)很大的模型，僅激活其中一小部分，而不是針對(duì)每個(gè) token 或樣本都激活整個(gè)模型。

在最初的論文中，實(shí)際上有相當(dāng)多的專家 —— 每層有 2048 名專家。而每次會(huì)激活其中 2 個(gè)。這很不錯(cuò)，因?yàn)槟Ｐ同F(xiàn)在有了非常大的記憶能力，可以記住很多東西。并且選擇具體激活哪些專家也可以通過(guò)反向傳播以端到端的方式學(xué)習(xí)。這樣一來(lái)，你可以得到擅長(zhǎng)不同任務(wù)的專家，比如有的擅長(zhǎng)處理時(shí)間和日期，有的擅長(zhǎng)地理位置，有的擅長(zhǎng)生物學(xué)。

然后，Jeff Dean 列出了更多谷歌在稀疏模型方面的研究成果，感興趣的讀者可以參照閱讀。

2018 年，谷歌開(kāi)始思考，對(duì)于這些大型分布式機(jī)器學(xué)習(xí)計(jì)算，可以有哪些更好的軟件抽象。谷歌構(gòu)建了一套可擴(kuò)展的軟件Pathways來(lái)簡(jiǎn)化大規(guī)模計(jì)算的部署和運(yùn)行。

如上圖所示，每一個(gè)黃點(diǎn)構(gòu)成的框都可被視為一個(gè) TPU Pod。當(dāng)這些 TPU Pod 在同一棟建筑內(nèi)時(shí)，使用該建筑物內(nèi)的數(shù)據(jù)中心網(wǎng)絡(luò)來(lái)保證它們互相通信。而當(dāng)它們位于不同的建筑內(nèi)時(shí)，可以使用建筑物之間的網(wǎng)絡(luò)以及相同的數(shù)據(jù)中心設(shè)施。甚至可以將不同區(qū)域的 TPU Pod 連接在一起。

事實(shí)上，Pathways 給機(jī)器學(xué)習(xí)開(kāi)發(fā)和研究人員的抽象之一是你只需要一個(gè) Python 過(guò)程。Jax 本就有「設(shè)備（device）」的概念。比如如果你只是在一臺(tái)機(jī)器上運(yùn)行，里面有 4 塊 TPU 芯片，當(dāng)使用 Jax 和 Pathways 訓(xùn)練時(shí)，整個(gè)訓(xùn)練過(guò)程中所有芯片都將作為 Jax 的設(shè)備進(jìn)行處理。依照這個(gè)機(jī)制，你可以用單一的 Python 進(jìn)程管理成千上萬(wàn)個(gè) TPU 設(shè)備。Pathways 負(fù)責(zé)將計(jì)算映射到實(shí)際的物理設(shè)備上。而自上周開(kāi)始，Pathways 已開(kāi)始向谷歌云的客戶提供。

2022 年，谷歌一個(gè)團(tuán)隊(duì)發(fā)現(xiàn)，在推理時(shí)思考更長(zhǎng)時(shí)間是非常有用的。基于此觀察，他們提出了思維鏈（CoT）。

圖中舉了個(gè)例子：如果給模型展示一些示例，示例中如果包含得到正確結(jié)論的思考過(guò)程，那么 LLM 更有可能得到正確答案。

這個(gè)方法看起來(lái)很簡(jiǎn)單，而實(shí)際上卻能極大提升模型的準(zhǔn)確度，因?yàn)橥ㄟ^(guò)鼓勵(lì)它們生成思考步驟，可以讓它們以更細(xì)粒度的方式解決問(wèn)題。

可以看到，在 GSM8K（八年級(jí)一般數(shù)學(xué)水平問(wèn)題）上，隨著模型規(guī)模增大，如果只使用標(biāo)準(zhǔn)提示方法，解決準(zhǔn)確度會(huì)有一些提高，但如果使用思維鏈提示法，解決準(zhǔn)確度則會(huì)大幅上升。

這正是在推理時(shí)使用更多計(jì)算的一種方式，因?yàn)槟Ｐ捅仨氃谏筛?token 之后才給出最終答案。

下面來(lái)看蒸餾 —— 也是谷歌發(fā)明的。2014 年，Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean 最早開(kāi)發(fā)出了這種名為蒸餾（Distillation）的技術(shù)，可用來(lái)蒸餾神經(jīng)網(wǎng)絡(luò)中的知識(shí)。這種方法能夠?qū)⒏玫拇竽Ｐ椭械闹R(shí)放入到一個(gè)更小的模型中。

在訓(xùn)練小模型時(shí)，比如想要其預(yù)測(cè)下一 token，典型方法是讓其先根據(jù)前面的句子進(jìn)行預(yù)測(cè)，如果對(duì)了，很不錯(cuò)，如果錯(cuò)了，就反向傳播誤差。

這種方法還不錯(cuò)，但蒸餾卻能做到更好。

教師模型不僅會(huì)給小模型正確的答案，而且還會(huì)給出它認(rèn)為這個(gè)問(wèn)題的好答案的分布。也就是說(shuō)，教師模型能提供更豐富的訓(xùn)練信號(hào)。這種非常豐富的梯度信號(hào)可以用來(lái)為較小模型的每個(gè)訓(xùn)練樣本注入更多知識(shí)，并使模型更快地收斂。

如上圖中表格所示。這是一個(gè)基于語(yǔ)音識(shí)別的設(shè)置，其中給出了訓(xùn)練幀準(zhǔn)確度和測(cè)試幀準(zhǔn)確度。

可以看到，當(dāng)使用 100% 的訓(xùn)練集時(shí)，測(cè)試幀準(zhǔn)確度為 58.9%。而如果只使用 3% 的訓(xùn)練集，可以看到其訓(xùn)練幀準(zhǔn)確度還提高了，但測(cè)試幀準(zhǔn)確度下降很明顯，這說(shuō)明出現(xiàn)了過(guò)擬合現(xiàn)象。但是，如果使用蒸餾方法，3% 的訓(xùn)練集也能讓模型有很好的測(cè)試幀準(zhǔn)確度 —— 幾乎和使用 100% 訓(xùn)練集時(shí)一樣準(zhǔn)確。這說(shuō)明可以通過(guò)蒸餾將大型神經(jīng)網(wǎng)絡(luò)的知識(shí)轉(zhuǎn)移到小型神經(jīng)網(wǎng)絡(luò)中，并使其幾乎與大型神經(jīng)網(wǎng)絡(luò)一樣準(zhǔn)確。

有意思的是，這篇論文被 NeurIPS 2014 拒了。于是他們只得在研討會(huì)上發(fā)表了這篇論文。而現(xiàn)在，這篇論文的引用量已經(jīng)超過(guò)了 2.4 萬(wàn)。

另外在 2022 年，谷歌一個(gè)團(tuán)隊(duì)研究了一種不同的將計(jì)算映射到 TPU Pod 以執(zhí)行有效推理的方法。其中，有很多變體需要考慮，比如權(quán)重固定、X 權(quán)重聚集、XY 權(quán)重聚集、XYZ 權(quán)重聚集……

谷歌得到的一個(gè)見(jiàn)解是：正確的選擇取決于許多不同的因素。正如圖中所示，其中的圓點(diǎn)虛線是最佳表現(xiàn)。可以看到，隨著批量大小的變化，最佳方案也會(huì)隨之變化。因此在執(zhí)行推理時(shí)，可以根據(jù)實(shí)際需求選擇不同的并行化方案。

時(shí)間來(lái)到 2023 年，谷歌開(kāi)發(fā)了一種名為推測(cè)式解碼（Speculative Decoding）的技術(shù)，可讓模型推理速度更快。這里的想法是使用一個(gè)比大模型小 10 到 20 倍的 drafter 模型，因?yàn)槠鋵?shí)很多東西靠小模型就能預(yù)測(cè)，而小模型速度又快得多。因此，就可以將兩者結(jié)合起來(lái)提升效率：先讓小模型預(yù)測(cè) k 個(gè) token，然后再讓大模型一次性預(yù)測(cè) k 個(gè) token。相比于讓大模型一次預(yù)測(cè)一個(gè) token，這種做法的效率明顯更高。

Jeff Dean 表示：「所有這些結(jié)合在一起，真正提高了人們今天看到的模型的質(zhì)量。」

從底層的 TPU 發(fā)展到高層的各種軟件和技術(shù)進(jìn)步，最終造就了現(xiàn)今強(qiáng)大的 Gemini 系列模型。

這里我們就不繼續(xù)整理 Jeff Dean 對(duì) Gemini 系列模型發(fā)展歷程的介紹了。最后，他還分享了 AI 將給我們這個(gè)社會(huì)帶來(lái)的一些積極影響。

他說(shuō)：「我認(rèn)為隨著更多投資和更多人進(jìn)入這個(gè)領(lǐng)域，進(jìn)一步的研究和創(chuàng)新還將繼續(xù)。你會(huì)看到模型的能力越來(lái)越強(qiáng)大。它們將在許多領(lǐng)域產(chǎn)生巨大影響，并有可能讓更多人更容易獲得許多深度的專業(yè)知識(shí)。我認(rèn)為這是最令人興奮的事情之一，但也會(huì)讓一些人感到不安。我認(rèn)為我們有 AI 輔助的未來(lái)一片光明。」