機器之心發布

機器之心編輯部

《大規模語言模型：從理論到實踐（第2版）》是一本理論與實踐并重的專業技術書，更是AI時代不可或缺的知識工具書。任何人都能在本書中找到屬于自己的成長路徑。

在人工智能浪潮席卷全球的今天，大語言模型正以前所未有的速度推動著科技進步和產業變革。從 ChatGPT 到各類行業應用，LLM 不僅重塑了人機交互的方式，更成為推動學術研究與產業創新的關鍵技術。

面對這一飛速演進的技術體系，如何系統理解其理論基礎、掌握核心算法與工程實踐，已成為每一位 AI 從業者、研究者、高校學子的必修課。

2023 年 9 月，復旦大學張奇、桂韜、鄭銳、黃萱菁研究團隊面向全球學術界與產業界正式發布了《大規模語言模型：從理論到實踐》。短短兩年，大語言模型在理論研究、預訓練方法、后訓練技術及解釋性等方面取得了重要進展。業界對大語言模型的研究更加深入，逐漸揭示出許多與傳統深度學習和自然語言處理范式不同的特點。例如，大語言模型僅需 60 條數據就能學習并展現出強大的問題回答能力，顯示了其驚人的泛化性。然而，本書作者們也發現大語言模型存在一定的脆弱性。例如，在一個擁有 130 億個參數的模型中，僅修改一個特定參數，就可能導致模型完全喪失生成有意義信息的能力

這些發現促使本書的作者「復旦大學 NLP 團隊」張奇、桂韜、鄭銳、黃萱菁幾位老師對本書第 1 版進行大幅修訂升級（增加內容超過 40%），系統整合 AI 領域最新研究成果與技術進展，為廣大讀者帶來更前沿、更實用的知識體系與工程實踐指導。無論你是渴望深入理解 LLM 原理的學者，還是希望將 AI 能力融入產品的工程師，亦或是對人工智能充滿興趣的學習者，這本書都將為你提供系統、權威且極具實操價值的知識指引。

第二版核心升級

聚焦前沿技術

深度剖析 MoE（混合專家模型）、強化學習、多模態、智能體、RAG（檢索增強生成）、效率優化等技術趨勢，緊跟 AI 最新發展。

重構知識體系

覆蓋預訓練、微調、強化學習、應用開發、效率優化等全流程，體系更加完善，邏輯更清晰。

提升實踐價值

新增逾 40% 的前沿研究成果與技術案例，增設工程實踐指南與評估體系模塊，助力理論落地。

擴展章節內容

新增多模態大語言模型、智能體、RAG、大模型效率優化等實用章節，并對指令微調和強化學習部分進行了大幅修改。

本書架構

圍繞LLM 理論基礎、預訓練、指令理解、大模型增強、大模型應用五大部分展開。

第 1 部分介紹大語言模型的基礎理論：包括語言模型的定義、Transformer 結構、大語言模型框架、混合專家模型等內容，并以 LLaMA 使用的模型結構為例介紹代碼實例。

第 2 部分介紹大語言模型的預訓練，包括大語言模型預訓練數據和分布式訓練。該部分介紹了預訓練需要使用的數據分布和數據預處理方法。除此之外，還介紹模型分布式訓練中需要掌握的數據并行、流水線并行、張量并行及 ZeRO 系列優化方法。并以 DeepSpeed 為例介紹如何進行大語言模型預訓練。

第 3 部分介紹大語言模型如何理解并服從人類指令，包括指令微調和強化學習。重點介紹模型微調技術、指令微調數據的構造策略，以及高效微調方法，如 LoRA、Delta Tuning 等方法。強化學習章節重點講解其基礎理論、策略梯度方法（REINFORCE 算法、廣義優勢估計、PPO 算法、PLOO 算法、GRPO 算法），推理模型的強化學習（以 DeepSeek-R1 和 Kimi k1.5 為例），RLHF 等，并結合實際案例，以 DeepSpeed-Chat 和 verl 框架為例，詳細說明如何訓練類 ChatGPT 系統。

第 4 部分圍繞提升大語言模型的能力展開詳細探討，內容涵蓋多模態大語言模型、大模型智能體和檢索增強生成。多模態大語言模型章節重點介紹其基礎理論、架構設計與訓練策略，并探討其在實際場景中的應用實踐。智能體章節聚焦其發展歷程與大語言模型智能體的架構設計，深入分析智能體的實現原理，并以 LangChain 和 Coze 為例詳細闡述具體實踐。RAG 章節介紹其核心思想與實現方式，涵蓋檢索增強框架的設計、檢索模塊與生成模塊的協作機制，以及其在具體任務場景中的應用方法與實踐。

第 5 部分圍繞如何應用大語言模型展開討論，內容涵蓋大語言模型效率優化、大語言模型評估，以及大語言模型典型應用的開發與部署。效率優化章節重點介紹模型壓縮與優化、訓練效率優化和推理效率優化等提升模型效率的關鍵技術。大語言模型評估章節探討其基本概念和難點，闡述評估體系的構建、評估方法的設計及實際評估的實施。大語言模型應用章節介紹典型的大語言模型應用場景，詳細介紹其開發流程、開發工具及本地部署的實踐方法。

新增章節亮點

• 多模態大語言模型：介紹典型架構及其與 LLM 的融合方法、多模態訓練策略。
• 大模型智能體：剖析涵蓋感知、規劃、記憶機制及工具調用能力的核心架構，訓練與實踐方法。
• 檢索增強生成（RAG）：解析系統設計模式、訓練優化策略、評估體系全流程。
• 大模型效率優化：圍繞模型壓縮、低精度訓練、高效推理框架（如 vLLM）等全鏈路技術實踐展開。
• 大語言模型基礎：新增混合專家模型（MoE）相關內容。
• 強化學習：新增對「The Bitter Lesson」的理解、長思維鏈、推理模型的強化學習等內容。

作者團隊簡介

本書作者團隊由來自復旦大學的張奇、桂韜、鄭銳、黃萱菁等多位人工智能領域的優秀學者組成。團隊長期專注于自然語言處理、大規模預訓練模型、智能體、多模態學習等前沿方向，具備豐富的理論研究與工程實踐經驗。

張奇，復旦大學計算機科學技術學院教授、博士生導師。兼任上海市智能信息處理重點實驗室副主任，中國中文信息學會理事、CCF 大模型論壇常務委員，CIPS 信息檢索專委會常務委員、CIPS 大模型專委會委員。近年來在國際重要學術期刊和會議上發表論文 200 余篇。獲得 WSDM 2014 最佳論文提名獎、COLING 2018 領域主席推薦獎、NLPCC 2019 杰出論文獎、COLING 2022 杰出論文獎。

桂韜，復旦大學副研究員。研究領域為預訓練模型、類人對齊和智能體交互。在國際重要學術期刊和會議上發表論文 50 余篇，主持國家自然科學基金計算機學會和人工智能學會的多個人才項目。獲得錢偉長中文信息處理科學技術一等獎、NeurIPS 2023 大模型對齊 Track 最佳論文獎，入選第七屆「中國科協青年人才托舉工程」、上海市啟明星計劃。

鄭銳，博士畢業于復旦大學計算機科學技術學院，師從張奇教授。曾任字節跳動豆包大模型團隊算法工程師，現就職于某前沿科技公司，研究方向為大模型對齊、復雜推理能力提升。獲得 NeurIPS Workshop on Instruction Following 2024 最佳論文獎。在 ICLR、ICML、NeurIPS、ACL 等國際會議上發表多篇論文。

黃萱菁，復旦大學特聘教授、博士生導師。主要從事人工智能、自然語言處理和大語言模型研究。兼任中國計算機學會理事、自然語言處理專委會主任、中國中文信息學會理事、計算語言學學會亞太分會主席。在國際重要學術期刊和會議上發表論文 200 余篇，獲優秀論文獎 8 項。獲得錢偉長中文信息處理科學技術一等獎、上海市育才獎，以及人工智能全球女性學者、福布斯中國科技女性等多項榮譽。

專家點評

自《大規模語言模型：從理論到實踐》首版問世以來，便受到了學術界與產業界的廣泛關注。此次全新升級的第二版，內容更加豐富、體系更加完善，得到了多位人工智能領域權威專家的高度認可（按姓氏拼音排序）：

「隨著 ChatGPT 的問世，大語言模型展現出巨大潛力，對人工智能發展產生了深遠影響。面對這一迅速發展的技術，如何快速理解其理論并參與實踐是我們必須要面對的挑戰。本書在第 1 版的基礎上增加了多模態、智能體、RAG 等章節，并對指令微調和強化學習部分進行了大幅修改，旨在幫助讀者深入理解大語言模型的原理，提供實操指導，值得閱讀。」

——柴洪峰 中國工程院院士

「本書深入解析了大語言模型的基本原理，分析了當前幾種有代表性的大語言模型的學理特點，分享了作者在這一領域的實踐經驗。本書的出版恰逢其時，是學術界和產業界不可多得的讀物，將助力讀者進一步探索和應用大語言模型。」

——蔣昌俊 中國工程院院士

「本書全面解析了大語言模型的發展歷程、理論基礎與實踐方法，對大語言模型預訓練、指令微調、強化學習、多模態、智能體、RAG 等前沿領域的研究進展有較好的覆蓋。此外，本書深入探討了大語言模型的實際應用場景與評價方法，為研究者提供了系統的理論指導與實踐經驗。相信本書對從事相關研究的學者和大語言模型開發者具有重要的參考價值。」

——周伯文 上海人工智能實驗室主任、首席科學家、清華大學惠妍講席教授

《大規模語言模型：從理論到實踐（第 2 版）》的出版上市，希望可以讓讀者快速掌握大語言模型的研究與應用，更好地應對相關技術挑戰，為推動這一領域的進步貢獻力量。