機器之心報道

機器之心編輯部

在斯坦福，有一門專門講 Transformer 的課程，名叫 CS 25。這門課曾經邀請過 Geoffrey Hinton、Andrej Karpathy 以及 OpenAI 的 Hyung Won Chung、Jason Wei 等一線大模型研究科學家擔任講師，在 AI 社區引起廣泛關注。

最近，這門課又上新了。這一春季學期課程名為「CS25: Transformers United V5」，邀請了 Google DeepMind 推理團隊創立者和現任負責人 Denny Zhou、OpenAI Canvas 項目負責人 Karina Nguyen、OpenAI 研究科學家 Hongyu Ren（任泓宇）、Meta 視頻生成團隊研究科學家 Andrew Brown 等知名研究者，深入探討 AI 領域的最新突破。

而且，這門課是完全開放的，任何人都可以現場旁聽或加入 Zoon 直播，無需注冊或與斯坦福大學建立關聯。

• 課程地址：https://web.stanford.edu/class/cs25/recordings/

課程結束后，他們還會把課程的視頻上傳到官方 YouTube 賬號。目前，新學期視頻第一期已經上傳。

• 視頻地址：https://www.youtube.com/watch?v=JKbtWimlzAE

整個學期的課程表如下：

想要聽直播的同學記得在太平洋夏令時間每周二下午 3:00 - 4:20（北京時間每周三上午 6:00 - 7:20）蹲守，具體信息請參考官方網站。

往期熱門課程

V2：Geoffrey Hinton——Representing Part-Whole Hierarchies in a Neural Network

AI 領域傳奇人物 Geoffrey Hinton（「深度學習教父」）分享了他對神經網絡中部分-整體層次結構的最新研究，提出了 GLOM 模型，旨在模擬人類視覺系統處理復雜場景的能力。

講座探討了 GLOM 如何通過動態解析樹結構增強 Transformer 在視覺任務中的表現，解決自注意力機制的計算效率瓶頸。Hinton 結合深度學習的演變歷程，從感知機到 RNN 再到 Transformer，展望了神經網絡在模擬認知過程和提升視覺理解中的未來潛力。

• 視頻地址：https://www.youtube.com/watch?v=CYaju6aCMoQ&t=2s

V2：Andrej Karpathy——Introduction to Transformers

Andrej Karpathy（前 Tesla AI 總監、OpenAI 研究員）系統介紹了 Transformer 架構的原理與影響。他從 2017 年《Attention is All You Need》論文出發，拆解了自注意力機制（Self-Attention）、多頭注意力（Multi-Head Attention）及 Transformer 在大型語言模型（如 ChatGPT）中的核心作用。

講座還探討了 Vision Transformer（ViT）等跨領域應用，并展望了模型高效化和多模態學習的未來。Karpathy 結合自身從斯坦福學生到業界先鋒的經歷，回顧了深度學習從 RNN 到 Transformer 的演變。

• 視頻地址：https://www.youtube.com/watch?v=XfpMkf4rD6E

V3：Douwe Kiela——Retrieval Augmented Language Models

Douwe Kiela（Contextual AI 首席執行官兼斯坦福符號系統客座教授）深入探討了檢索增強生成（Retrieval-Augmented Generation, RAG）作為解決大型語言模型（LLM）局限性的關鍵技術。講座介紹了 RAG 的基本概念，即通過外部檢索器提供上下文信息，緩解幻覺（hallucination）、信息時效性和定制化問題。

Kiela 回顧了語言模型的歷史，追溯至 1991 年的神經語言模型，澄清了 OpenAI 并非首創的誤解，并調研了 RAG 的最新進展，如 Realm、Atlas 和 Retro 架構，分析其優劣。他還探討了 RAG 與長上下文模型的效率對比、指令微調（instruction tuning）的重要性以及未來的研究方向，如多模態 RAG 和預訓練優化。

• 視頻地址：https://www.youtube.com/watch?v=mE7IDf2SmJg

V4：Jason Wei & Hyung Won Chung of OpenAI

OpenAI 研究科學家 Jason Wei 和 Hyung Won Chung 分享了關于大型語言模型（LLM）和 Transformer 架構的洞見。

Jason Wei 探討了語言模型的直觀理解，強調下一詞預測作為大規模多任務學習的本質，并分析了擴展律（scaling laws）與個體任務的涌現能力。Hyung Won Chung 則從歷史視角審視 Transformer 架構的演變，聚焦計算成本指數下降的驅動作用，提出通過連接過去與現在預測 AI 未來的統一視角。

兩位講者結合在 OpenAI 的工作經驗（如 FLAN-T5、Codex），展望了 Transformer 在多模態和通用 AI 中的潛力。

• 機器之心報道：AI研究的主要推動力會是什么？ChatGPT團隊研究科學家：算力成本下降
• 視頻地址：https://www.youtube.com/watch?v=3gb-ZkVRemQ