花了一周時間，總算補完了re:Invent 2024全球大會“云春晚”的主要節(jié)目。

干貨太多，讓我有點不知道從哪兒講起了。挑個重點吧，講講亞馬遜云科技的大模型版圖。

先上一張圖，一圖看懂“亞麻云”的大模型布局。

針對上圖，我們再畫個重點，把最最重磅的產(chǎn)品列列↓

▋特別重磅?：

Amazon Nova，這是亞麻云自研的基礎模型，一出場就很炸裂，從評測結果看，具備年度最佳表現(xiàn)，吊打同級別的GPT、Gemimi、Claude等模型。

▋特別重磅?：

Amazon Trainium3芯片，用于大模型訓練的算力怪獸，這顆芯片采用3nm工藝，將于2025年正式發(fā)布，是現(xiàn)有Trainium 2芯片性能的兩倍，能效提高40%。

此外還有EC2 Trn2實例，性價比高30~40%，單節(jié)點就能提供20.8 PFLOPS算力@FP8，以及基于亞麻云專有網(wǎng)絡互聯(lián)技術NeuronLink來構建的算力巨無霸UltraServer。

▋特別重磅?：

Amazon Bedrock模型服務平臺重大更新，提供上百個業(yè)界頂級大模型，滿足客戶所有場景需求（包括著名的Claude 3.5、Llama 3、poolside、Stable Diffusion3.5和Luma AI，以及新鮮出爐的Amazon Nova）。

Bedrock提供全托管的一站式服務：模型選擇、推理成本優(yōu)化、模型定制、安全審核、Agents構建和編排。重點功能“模型蒸餾”，請記住，后面要考。

▋特別重磅?：

Amazon SageMaker全家桶重大升級，整合了A云幾乎所有的數(shù)據(jù)集成、清洗、分析的工具和服務，并在智能湖倉（LakeHouse）之上，增加了Zero-ETL的數(shù)據(jù)編織能力。

在這個全家桶里，一份數(shù)據(jù)集可以用于多個場景，不同的數(shù)據(jù)集也可以跨源服務于某個場景（甚至不需要做ETL/ELT)，也不需要在各種服務里反復切換。

▋特別重磅?：

Amazon QAI智能助手面向開發(fā)場景和商業(yè)場景都做了重大更新。

最激動人心的是，它可以自動化完成諸如「VM工作負載遷移到云原生架構、.net應用遷移到Linux應用、IBM主機應用遷移」這些當下既剛需又Boring的工作。

好了，接下來，我來逐層拆解一下這幅大模型版圖。

01、基礎設施層

先看最下面的基礎設施層，搞大模型離不開存算網(wǎng)的配套，而亞麻云則是把云上存算網(wǎng)的能力，直接拉滿了。

基礎設施層：計 算

首先，算力是巨頭們爭奪的焦點，Amazon在計算芯片上持續(xù)發(fā)力，而且是“四箭齊發(fā)”，布局相當全面。

面向訓練場景的Trainium系列、面向推理場景的Inferentia系列、面向通用計算場景的Graviton系列，以及面向DPU場景用于云基礎設施卸載和加速的Nitro芯片。

單個芯片性能“再炸裂”也只是紙面算力，只有成系統(tǒng)、易維護、可交付，而且實際扛活的時候不打折扣、不撂挑子，才算是把紙面算力真正兌現(xiàn)。

亞麻云的牛掰之處在于，將這些自研芯片的算力/能力，用近乎無損的云化方式以服務來交付，自動化、免維護、按需擴展、高性價比…

只有這樣，算力的“原子彈”，才能變成人人會用、好用的“加特林”。

對于廣大AI用戶來講，這個“加特林”，就是那些立等可取的訓練實例、推理實例…，信手拈來，快速投入模型訓推任務即可。

比如新鮮出爐的EC2 Trn2實例，集成了16個Trainium2芯片，基于亞麻云獨創(chuàng)的NeuronLink技術互聯(lián)（對比下NVLink），單節(jié)點提供20.8 PLOPS算力@FP8，比GPU實例性價比高出30%-40%。

當然，還有更吊炸天的UltraServers，組合更多的Trainium2芯片，變身超級服務器，抱團扛更大的活，比如萬億參數(shù)級別的大模型。

UltraServer的互聯(lián)還是采用A家自有的NeuronLink，帶寬達到2TB/s，延遲僅為1μs。

UltraServers可以進一步組合，形成更大的超級集群，讓成千上萬的Trainium2協(xié)同工作，超強算力、海量HBM內(nèi)存、無阻塞互聯(lián)。

不止如此，在大會現(xiàn)場，亞麻云還投下了一顆重磅算力炸彈，宣布將在2025年發(fā)布第三代訓練專用芯片：Amazon Trainium3。

Trainium3是Amazon首款3nm芯片，性能是Trainium2的兩倍，能效提升40%。（預計是第一代的8倍）

Amazon為啥像那些半導體公司一樣，狂卷算力芯片？

只因大模型、GenAI的計算負載，與傳統(tǒng)云工作負載有很大不同，經(jīng)典云計算的殺手锏是Scale out，你可以組合一堆“老破小”服務器，通過橫向擴展的方式來干大活。

但是，大模型越來越卷的參數(shù)量，對算力帶來了前所未有的挑戰(zhàn)。

這些逆天的巨量算力需求，并不能完全通過“Scale out大法”來解決，對單個計算單元的能力要求非常高，既需要Scale out，也需要Scale up。

上面那些發(fā)布，展示了亞麻云對未來的預判和決心：①構建單體能力更強的計算節(jié)點（Scale up）；②構建規(guī)模更大、效率更高的計算集群（Scale up）。

所以，才有了不斷迭代的Trainium系列芯片、計算實例，和基于NeuronLink持續(xù)擴展的超級服務器（UltraServer）、超級集群（UltraCluster）。

這種“Scale out+up”架構能打嗎，來看下面這個戰(zhàn)例↓

Claude模型的母公司Anthropic，正在聯(lián)合亞麻云構建Rainier項目：該項目基于UltraServer，組成包含數(shù)十萬Trainium2芯片的超級集群，提供超過當前5倍的算力（EP級），用于訓練下一代Claude模型。

還不止如此，不要忘了，除了Trainium系列，亞麻云還有算力芯片全家桶：Inferentia系列、Graviton系列，以及Nitro System。

“全家”上陣，各施所長，各顯其能，那才叫一個真能打。

連Apple這樣的大佬，都跑來為之捧場，介紹他們基于Graviton3、Inferentia2和Trainium2來構建Apple Intelligence的實踐經(jīng)驗。

當然，亞麻云也有這足夠的號召力和生態(tài)能力。

除了基于自研芯片提供大模型的訓推服務，還最新發(fā)布了基于N記Blackwell芯片P6系列實例，該實例比當前GPU快2.5倍，又是一個大提升。

跑GPU最爽的地方在哪兒？當然是亞麻云。

基礎設施層：存 儲

Amazon S3，是亞麻云2006上線以來的第一款服務，這一次，針對大模型對數(shù)據(jù)的海量需求，S3又迎來了兩項重磅更新。

第一項是Amazon S3 Tables，這是全新的存儲桶（buckets）格式，相當于完全的Apache Iceberg數(shù)據(jù)湖服務，用于大型分析數(shù)據(jù)集。

這種“新桶”，可以大幅提高Iceberg表的性能和擴展性，相比以前，現(xiàn)在每個表都是一級資源，查詢性能提升3倍，事務處理能力提升10倍。并提供表級安全性和更優(yōu)的成本。

如何利用S3 Tables快速查詢分析并與Amazon云上分析服務聯(lián)動

第二項更新是Amazon S3 Metadata元數(shù)據(jù)服務，這項服務可以幫助用戶從存儲在S3中的PB甚至EB級數(shù)據(jù)中，大海撈針，迅速找到需要的數(shù)據(jù)。

S3 Metadata可以自動從對象中捕獲元數(shù)據(jù)，并近實時地存儲到S3 Tables中，便于后續(xù)查詢，并能在對象發(fā)生變化時，分鐘級更新對應元數(shù)據(jù)。

無論是應對海量數(shù)據(jù)的分析查詢需求，還是為大模型訓練準備和供應優(yōu)質(zhì)數(shù)據(jù)飼料，S3的這兩項更新，都非常應景。

基礎設施層：網(wǎng) 絡

網(wǎng)絡我們不多說，但AI時代網(wǎng)絡的重要性不容小覷：更大帶寬、更低延遲、更高可靠性。

亞麻云怎么做的呢？節(jié)點內(nèi)部，他們有NeuronLink高速互聯(lián)，而節(jié)點之間，他們推出了“10p10u網(wǎng)絡”，也就是第二代UltraCluster網(wǎng)絡架構。

“10p10u”支持20000+卡集群規(guī)模，網(wǎng)絡容量超過10PB，延遲低于10μs。

10p10u網(wǎng)絡可以支撐Trainium2 UltraServer之間的互聯(lián)需求，每臺超級服務器都需要接近13TB的網(wǎng)絡帶寬。

為了達到這樣的目標，Amazon集結了一系列的黑科技，包括Nitro萬卡的端側網(wǎng)絡加速和保序、定制的EFA網(wǎng)絡接口、專用的光纜中繼連接器、Firefly光纖插頭、SIDR管理協(xié)議等等。

Amazon Nitro網(wǎng)卡演進史

當然對于智算網(wǎng)絡來講，光拼帶寬和時延還不夠，還需要可靠性、安全性、可管理性、性價比等等，以及如何落地到場景，為Bedrock、Amazon Q的開發(fā)者提供網(wǎng)絡服務…

Amazon給出了一系列的方案，篇幅有限我不展開了，大家看圖吧。

02、數(shù)據(jù)層

無論是傳統(tǒng)的分析場景、ML場景，還是如今的大模型訓調(diào)推場景，數(shù)據(jù)和數(shù)據(jù)質(zhì)量重要性，不言而喻。

但是，從各種異構的數(shù)據(jù)源收集數(shù)據(jù)、對海量不同格式數(shù)據(jù)進行清洗、快速精準查找有價值的數(shù)據(jù)…，歷來都是大難題。

這次，亞麻云給出了“終極解決方案”。

數(shù)據(jù)層：Amazon SageMaker

Amazon SageMaker重裝上陣。

新一代的SageMaker，統(tǒng)一了數(shù)據(jù)、分析和AI工作流，針對大模型時代客戶面臨的數(shù)據(jù)分析、模型訓練、資源成本等關鍵難題，提供一站式的工具和服務。

比如，基于SageMaker Unified Studio，用戶可以在統(tǒng)一入口下，使用Amazon所有的數(shù)據(jù)和AI服務（流處理、數(shù)據(jù)處理、SQL分析、模型開發(fā)、GenAI應用開發(fā)、BI、搜索分析）。

如此，數(shù)據(jù)不需要搬來搬去，工具和服務也不需要來回切換，數(shù)據(jù)一統(tǒng)、服務一統(tǒng)、工作流一統(tǒng)，效率大大提升。

新SageMaker還提供了面向應用程序的Zero-ETL能力（就是這兩年大火的數(shù)據(jù)編織DataFabirc），不需要構建和管理數(shù)據(jù)管道，不需要數(shù)據(jù)遷移，原地就可以即席分析第三方跨源數(shù)據(jù)。

同時，Amazon再次表現(xiàn)出對Iceberg的“偏愛”，發(fā)布了SageMaker Lakehouse。

這是一套兼容Apache Iceberg的數(shù)據(jù)湖服務，針對所有類型數(shù)據(jù)源提供簡單統(tǒng)一的數(shù)據(jù)接入與訪問控制，讓數(shù)據(jù)集成更加簡單，為大模型提供優(yōu)質(zhì)充足“飼料”更加容易。

03、模型層

模型層的更加激動人心，一是Amazon的自有模型，二是全托管模型服務平臺。

模型層：自有基礎模型Nova

Amazon自己的預訓練模型震撼出爐，一發(fā)就是個王炸組合↓

Amazon Nova基礎模型共包括四大模型，從小到大：用于簡單任務的超高性價比文字處理Micro模型；低成本的Lite多模態(tài)模型；兼具準確性、速度和成本的Pro多模態(tài)模型；用于復雜的推理任務同時也可進行蒸餾定制的Premier多模態(tài)模型。

功能方面，Nova模型支持微調(diào)（Fine-tuning)，蒸餾（Distillation）訓練更小的模型。

同時，Nova模型與Bedrock知識庫深度集成，可用于RAG，以根據(jù)自有數(shù)據(jù)生成響應。

性能層面，Amazon Nova模型與同類模型相比，Nova在所有基準測試中都是相等或更好，極具競爭力。（對比GPT、Gemini、Claude3.5）

除了這四個基礎模型，還發(fā)布了圖像生成模型Amazon Nova Canvas、視頻生成模型Amazon Nova Reel。

同樣，在功能和性能層面，Amazon后發(fā)制人，Canvas跟業(yè)界頂流產(chǎn)品相比，表現(xiàn)更優(yōu)（分別對比DALL·E 3和SD 3.5 Large）。

Amazon還有進一步動作，將在2025年提供Speech-to-Speech（語音到語音）和Any-to-Any（多模態(tài)到多模態(tài)）模型。

模型層：Bedrock全托管模型服務

其實，在過去的一年，Amazon已經(jīng)反復給大家秀過Bedrock這個平臺的實力了。

這是一個全托管的模型服務平臺，是構建和拓展大模型應用的最簡單方式，提供模型選擇、成本優(yōu)化、模型定制、安全審核、Agents構建和編排等一站式服務。

在Bedrock上，你可以選擇業(yè)界最領先的開源和商業(yè)模型，無需關注基礎設施的部署和管理，包括來自全球9家領先AI公司的高性能基礎模型↓

比如著名的商業(yè)模型Claude 3.5、著名開源模型Llama 3、開發(fā)者最愛模型poolside、著名圖像生成模型Stable Diffusion3.5、黑馬級視頻生成模型Luma AI等等。

同時，通過大模型Marketplace，額外提供100多款通用和行業(yè)模型，按需選擇。

選擇合適的基礎模型只是第一步，Bedrock還提供一系列的模型優(yōu)化和定制手段，相比于傳統(tǒng)的Fine-Tuning手段，這次亞麻云發(fā)布了模型蒸餾功能。

蒸餾，顧名思義，把“水分”蒸出去，在不影響性能的前提下，縮小模型體積（參數(shù)量），最終獲得一個更有性價比、更低推理延遲的定制模型。

此外，Bedrock還提供了提示詞緩存、智能提示詞路由等功能，進一步進行推理優(yōu)化、降本提速。

前者可以讓特定模型效率提升85%、成本降低90%，后者在無損質(zhì)量、不影響準確性的情況下，讓推理成本再降低30%。

這么說吧，亞麻云處心積慮的琢磨著如何幫助客戶省錢，過去賣云是這樣，現(xiàn)在搞大模型也是這樣。

模型定制和優(yōu)化好了，下一步需要構建具體的大模型應用，Bedrock又拿出了幾項法寶，分別是↓

1、Amazon Bedrock的知識庫：讓用戶通過自動化的RAG工作流程，更好地利用私有數(shù)據(jù)。
2、Amazon Bedrock Guardrails：為大模型的生成內(nèi)容提供安全保護，可阻止高達85%的有害內(nèi)容（包括多模態(tài)有害內(nèi)容，如圖像數(shù)據(jù)），并支持自動推理檢查，防止因幻覺產(chǎn)生的事實性錯誤。
3、多Agents協(xié)作：構建、部署和編排多個Agents，協(xié)同處理復雜的多步驟任務。

04、應用層

到了這一層，亞麻云拿出了自己獨門的大模型應用，Amazon Q，這是一個強大的生成式人工智能助手，也是強大的AI生產(chǎn)力工具。

目前主要有兩大應用領域↓

應用層：面向研發(fā)場景的Amazon Q

Amazon Q Developer專門面向開發(fā)者，端到端滿足整個開發(fā)生命周期的需求，并與GitLab深度集成。

老程序舊軟件的維護、移植、修補等無聊工作，開發(fā)者們苦之久矣。如今，在GitLab上可以讓Q Developer代勞↓

比如Java應用程序遷移，或者.net應用遷移到Linuxnew。

企業(yè)要做云轉(zhuǎn)型，將大量的VM工作負載遷移為云原生架構new，或者將IBM等大型主機應用程序遷移new等等，這些都可以找“小Q”。

本次，Q Developer還全新推出3個Agents，分別司職生成單元測試、文檔和代碼審查。

這個全能的開發(fā)小助手，就是要把開發(fā)者從這些非常重要但無差異的工作上解放出來，讓他們可以更專注于創(chuàng)造性任務。

而且，亞麻云產(chǎn)品線太豐富了，產(chǎn)品和服務之間可以做各種聯(lián)動。

比如Q Developer與Bedrock聯(lián)動，即使用戶一句Python語言也不會，只需用講出業(yè)務需求，Q Developer就會指導他一步步在Bedrock上構建出機器學習模型。

應用層：面向商業(yè)場景的Amazon Q

Amazon Q Business作為企業(yè)級業(yè)務小能手，可以連接不同的業(yè)務系統(tǒng)、企業(yè)數(shù)據(jù)源，然后用對話的方式進行搜索。這種連接和檢索，在安全和隱私的條件約束下，可以跨越各種數(shù)據(jù)庫和企業(yè)數(shù)據(jù)。

比如，利用Q Business提供強大的索引能力（Amazon Q index），可以從業(yè)界主流辦公、協(xié)作軟件源索引過去一年的數(shù)據(jù)，并持續(xù)更新。

怎么樣，你想到了啵，有這個神操作，企業(yè)BI的能力可以大大加強了。

Amazon也是這么干的，讓Q Business和QuickSight組成一對好CP，商業(yè)智能如虎添翼。

接下來，再通過全新的Q Business API，獨立軟件開發(fā)商可在自有軟件中集成Amazon Q index，有了這種超強的跨數(shù)據(jù)源能力，應用程序可以變得更強大、更個性化。

最后，Amazon還發(fā)布Q Business Automate功能，用于創(chuàng)建跨團隊和應用程序的自動任務，讓AI小助手天天揮著鞭子監(jiān)督和管理一堆Agents干貨，業(yè)務系統(tǒng)的自動化能力可以獲得質(zhì)的飛躍。

至此，從底到上，我們完整拆解了亞馬遜云科技的大模型版圖。

還是那句話，你大爺永遠是你大爺。這才是搞大模型的正確姿勢！

因為篇幅實在有限，re:Invent 2024春晚的更多精彩節(jié)目無法一一道來，不過不用急，馬上就會有“返場”了↓

敬請關注re:Invent中國行：12.20成都；12.25武漢、青島；1.10廣州；1.17天津…