2024亞馬遜云科技re:Invent

構建全新AI生態

美國當地時間2024年12月2日，2024亞馬遜云科技re:Invent全球大會在拉斯維加斯正式拉開帷幕，來自世界各地的超6萬名參會者蜂擁而至。在5天時間里，亞馬遜云科技帶來了一系列足以改變行業發展軌跡的創新。

在本次大會上，亞馬遜云科技全方位展示了他們在AI生態這個木桶中的每一項長板能力。

在基礎架構層：對計算、存儲、數據庫全方位革新，推出性能比肩英偉達旗艦的 AI 訓練芯片Trainium3及其迄今最強AI服務器Trn2 UltraServer，新一代Amazon SageMaker為生成式AI全生命周期提供一站式服務；在中間層，Amazon Nova發布6款大模型，預告2款大模型，同時Amazon Bedrock迎來三大重要更新；在應用層，Amazon Q developer、Amazon Q Business都進行了一番從頭到腳的升級。

據不完全統計，僅前三天，亞馬遜云科技就發布了超過30+新品，涵蓋推理芯片、AI服務器、大語言模型、生成式AI開發工具等等，讓科技愛好者們目不暇接。

而在親身感受這些密集的產品發布過程中，最吸引我們關注的，無疑是亞馬遜在數據庫領域的革新。

因為隨著AI時代的到來，人們逐漸把關注重點向應用端遷移。但不可否認的是，云計算的底層架構仍然是科技大廠不可忽視的投資領域。

尤其伴隨著生成式AI的全面發展，數據本身和數據能力的重要性愈發突出，與此同時，行業里則不斷暴露出AI模型開發部署以及數據管理的復雜性問題。

而此次亞馬遜云科技在數據庫領域的革新，堪稱劃時代。

亞馬遜云科技：

突破分布式架構的“不可能三角”

眾所周知，數據已經成為當前企業的核心資產，而在生成式AI時代，數據的重要性更是被提升到了一個新的高度。

在本次re:Invent大會上，亞馬遜云科技CEO Matt Garman介紹說，十年前，亞馬遜云科技客戶中存儲數據超過1 PB的還不到100個；如今這一數量增加到幾千個，甚至還有幾個客戶存儲的數據超過了1 EB。

當企業的存儲數據體量達到EB級別，數據庫的復雜性也呈指數級增長，困擾數據庫行業半個多世紀的CAP困境成為了必須邁過的絆腳石。

簡單來說，CAP理論指的是：一個分布式系統不可能同時滿足一致性（Consistency）、可用性（Availability）和分區容錯性（Partition Tolerance）這三個基本需求。

舉例來看，一個銀行APP，賬戶余額是系統中的重要數據。如果用戶轉賬了100元，那么系統中的所有節點都應該立刻更新，確保用戶在任一分行查詢，都能看到相同的余額信息。這就要求系統必須保持一致性。

一個社交媒體網站，即使系統的數據庫出現部分故障，某些部分的數據可能不是最新的，但你依然可以瀏覽內容、關注好友，這是可用性的重要意義。

一個分布式數據庫，某個區域的節點因為網絡故障無法與其他區域的節點通信。這時，系統仍然能夠處理請求，并且在網絡恢復后，自動進行數據同步。這就是分區容錯性。

但是問題在于，這三個要素最多只能同時實現兩點，不可能三者兼顧，也就是所謂的“不可能三角”。

而現在，亞馬遜則用硬實力告訴我們：小孩子才三選二，成年人的準則是全都要。

此次re:Invent大會上，Matt Garman宣布推出Amazon Aurora DSQL。他表示，有了Amazon Aurora DSQL，客戶不需要再做“選擇題”，可以既擁有低延遲，還擁有5個9的高可用性，同時更擁有強一致性。

在非關系型數據庫方面，亞馬遜云科技此次發布了Amazon DynamoDB global tables，支持跨區域同步。

這套方案的推出，成功打破數據庫久遠的CAP魔咒，幫助用戶同時實現：多可用區高可用，跨區域部署及無限擴展，數據強一致性。

打破CAP魔咒，亞馬遜究竟是怎么做到的

具體來說，亞馬遜云科技推出了兩項新的數據庫服務，最快的分布式數據庫Amazon Aurora DSQL和Amazon DynamoDB global tables(全局表)新功能。

其中，Amazon Aurora DSQL是專為下一代Aurora打造的無服務器分布式SQL的數據庫，具有迄今為止最快的讀寫速度，可以在多個區域內獨立擴展計算和存儲，實現99.999%的高可用性。

而Amazon DynamoDB是第一個完全托管的無服務器NoSQL數據庫，有了全局表新功能后，該數據庫現支持多區域強一致性，確?？蛻舻亩鄥^域應用程序始終讀取最新數據，而無需更改任何應用程序代碼。

那么問題來了，亞馬遜究竟是如何同時實現低延遲、高可用性，和強一致性的呢？

為了在低延遲的情況下實現多區域強一致性，Aurora DSQL 將事務處理與存儲解耦，Aurora DSQL只在提交時檢查每個事務，并在提交時并行處理所有區域的所有寫入，從而提供一個具有強大一致性和快速寫入的多區域數據庫。

為了確保每個區域都能以準確的順序看到每個數據庫操作，Aurora DSQL使用了自己的時間同步服務，該服務在每個 EC2實例上添加了硬件參考時鐘，將它們同步到與衛星連接的原子鐘，從而在世界任何地方提供微秒級的精確時間。

舉個最簡單的例子：假設我們是一個覆蓋全球的大型合唱團，現在需要同時舉辦一場演唱會，需要每個歌手在特定的時刻唱出相同的音符，保持節奏一致。

在Amazon Aurora DSQL中，每個數據庫節點都有一個硬件參考時鐘，它通過原子鐘來同步時間，保證了數據節點無論在地球的哪個角落，它們都會在幾乎相同的時刻進行讀寫操作。

這相當于給每位歌手匹配了一個全球統一的精確節拍器。

同時，Amazon Aurora DSQL通過將事務處理和存儲分開（就像把歌手和伴奏分開）來優化效率，讓全球的合唱團成員可以并行地開始唱歌。Amazon Aurora DSQL的數據庫在處理事務時，首先會進行一個一致性檢查，確保所有的數據庫節點都同步到一致的狀態。

Amazon DynamoDB的全局表，就像全球合唱團的指揮，自動協調各個區域的數據同步，確保每個城市的合唱團在演唱時都能立即獲得最新的歌詞和指揮動作，即使某個合唱團在演唱時沒有獲得最新的指令，他們也會自動從其他城市同步過來，確保他們的表演永遠跟其他城市同步。

也正是通過這些技術的協同工作，Amazon Aurora DSQL和Amazon DynamoDB實現了強一致性，即無論你在全球哪個區域訪問數據，始終能夠看到最新和一致的數據，且這個過程對用戶幾乎是透明的。

Amazon Aurora DSQL與同樣使用原子鐘保證一致性的Spanner 進行了比較，對于一個基本的 10 次事務SQL語句，Aurora DSQL的讀寫吞吐量是其4倍。

就像CTO Warner提到的那樣“我們不想讓事情變得復雜。我們所做的一切都是為了簡化我們的客戶所看到的東西?！?/strong>

這種從底層架構消除復雜化的開發思路，幫助亞馬遜實現數據庫能力升級，同時給用戶帶來更簡單方便的使用體驗。

與此同時，亞馬遜在數據能力的進化基礎上，還高效地將數據與機器學習模型集成在一塊，推出了一個所有數據、分析與AI 需求的中心平臺——新一代Amazon SageMaker。

集成化環境、分布式訓練、一站式部署

Amazon SageMaker全新進化

Amazon SageMaker發布于2017年底，之前的定位一直是個基于云計算的機器學習服務。

此次Swami博士發布了新一代Amazon SageMaker。從功能上看，Amazon SageMaker AI與客戶的數據強相關，提供集合了數據調用、數據分析、大模型訓練的一站式服務，定位上發生了重大的變化。

具體來說，有三大層面的更新：

首先，Amazon SageMaker HyperPod flexible training plans：能充分利用云端峰谷資源來節約訓練時間和降低成本。

它允許用戶根據自己的時間和預算靈活地訓練生成式 AI 模型，并為用戶提供一份模型訓練時間預測表，清晰地展示加速模型訓練所需的時間段與可用區域。

其次，Amazon SageMaker HyperPod task governance建立了實時分析和建議引擎，幫助用戶開發了一種動態分配計算資源的解決方案，可以最大限度地提升計算資源地利用率，幫助企業在項目開發中將計算的成本降低可達40%。

最后，Amazon SageMaker將很多第三方合作伙伴的工具放入進來，囊括了用戶希望使用的第三方常用的AI apps，如comet、deepchecks、fiddler以及LAKERA等。

客戶可以利用Amazon SageMaker集成他們常用的第三方應用程序，進一步加速模型開發生命周期，并且能直接享受到亞馬遜云科技諸多的技術和功能創新，實現效果的一步到位。

簡單總結下，新一代Amazon SageMaker實現了數據和機器學習領域又一次創新的融合，Amazon SageMaker提供的工具可以消除復雜繁重的分析工作，將生成式AI生命周期的所有內容都集中在1個平臺。

在大數據和分布式環境中，Amazon SageMaker一站式的集成協作，使得機器學習項目能夠快速、準確地處理海量數據并做出預測，特別是在高并發和高效能要求的場景中，創造了用戶體驗的頂峰。

就像Matt提到的客戶范例，“許多客戶向我們反饋，他們的分析和AI工作負載越來越多地圍繞相同的數據和相同的工作流程進行融合。這正在改變其對分析服務的看法，因為事實證明，他們不再僅僅孤立地使用分析和AI工具，他們正在使用歷史分析數據來訓練機器學習模型，并且越來越多地將相同的數據納入其生成式AI應用程序中?！?/p>

畢竟數據才是企業的核心資產，才是差異化的競爭力，如果企業能夠絕對優勢的數據和大模型整合在一個平臺上，領先行業的效率優勢已經不言而喻。

綜上所述，Amazon SageMaker作為一個一站式的數據處理和機器學習平臺，通過不斷的技術創新和功能擴展，為數據科學家和開發人員提供了更加便捷、高效和強大的機器學習解決方案。

總結

從新一代云服務到更智能的自動化解決方案，和更先進的數據庫技術，亞馬遜不停地秀肌肉。在本屆re:Invent大會上，亞馬遜云科技展示了其在云計算、人工智能、大數據和開發者工具等AI生態全領域的水桶狀實力。

在這個過程中，亞馬遜云科技的理念也愈發深入人心：新產品與技術的更新不應是“拿著錘子找釘子”，而是去繁就簡，實用至上。

亞馬遜云科技CEO Matt Garman在采訪中也專門強調了：“客戶之所以選擇亞馬遜云科技，是因為我們提供了最全面、最優秀的服務。人們之所以依賴我們，是因為我們在安全性和運營性能方面遙遙領先，并且我們幫助他們創新和快速發展。我們必須繼續推動這個發展路線圖。”

隨著2024 亞馬遜云科技re:Invent大會逐漸步入尾聲，我們有理由相信，新一輪AI生態的技術大演進，即將拉開序幕。

*前述特定亞馬遜云科技生成式人工智能相關的服務僅在亞馬遜云科技海外區域可用，亞馬遜云科技中國僅為幫助您發展海外業務和/或了解行業前沿技術選擇推薦該服務。

素材來源官方媒體/網絡新聞