在亞馬遜，有這樣一支負責搜索的團隊正在利用深度學習技術幫助公司內各個團隊從數據中獲取智能。它就是M5搜索團隊，正在構建大模型以支持亞馬遜的機器學習（ML）應用程序。

借助亞馬遜云科技的服務，M5搜索團隊能夠運行數百億參數模型的深度學習實驗。M5搜索團隊使用多種亞馬遜云科技服務構建、訓練和部署多模態的大型機器學習模型。

如今，M5搜索團隊整合了數據，簡化了創建大模型的過程，亞馬遜各個團隊都可以使用這些模型，為他們的機器學習應用程序帶來深度學習的強大能力。

01.利用深度學習賦能亞馬遜各團隊

作為一家擁有超過160萬員工的跨國科技公司，亞馬遜由許多不同的團隊組成，各團隊的業務重點和優先事項也都不盡相同。其中，亞馬遜搜索致力于開發產品和服務以提高亞馬遜網站上的終端用戶體驗。亞馬遜搜索應用科學和工程負責人Belinda Zeng表示：“亞馬遜搜索是連接不同產品的橋梁，能在不同產品中建立協同，助力業務發展。為了解釋豐富的數據集信息，我們構建了預訓練模型，從而利用深度學習來增強亞馬遜的搜索功能。”

M5搜索團隊負責亞馬遜的發現式學習策略，并構建多模態大模型，支持多語言、多實體和多任務。本質上很多工作是實驗性的。團隊需要能夠快速擴展實驗，并迅速進入生產階段，同時訓練數千個模型，每個模型都擁有超過2億參數，以及在亞馬遜云科技上有效地擴展基礎設施。要實現這些并不容易，因此M5搜索團隊在基礎設施解決方案中使用了Amazon EC2，該服務能夠為幾乎全部工作負載提供安全且可調整的計算容量。亞馬遜搜索首席工程師Rejith Joseph表示：“我們選擇Amazon EC2是因為它提供了海量最新硬件資源，且資源可輕松獲取。”此外，M5搜索團隊需要存儲許多大型數據集，每個數據集都有數百TB。他們利用Amazon S3處理存儲需求。Amazon S3作為對象存儲服務，具有行業領先的可擴展性、數據可用性、安全性和高性能。

02.每月擴展到數千個訓練任務

在2020年第四季度，M5搜索團隊開始使用亞馬遜云科技服務構建、訓練和部署其機器學習模型。截至2022年，團隊使用各種亞馬遜云科技服務，每月擴展至數千個訓練任務，涉及大量GPU集群上的PB級數據。除了使用Amazon S3進行數據存儲之外，M5搜索團隊還使用了Amazon FSx，在云中輕松啟動、運行和擴展功能豐富且性能優越的文件系統。該團隊還使用了全托管的批處理服務Amazon Batch，可在任何規模下高效運行批處理計算作業。亞馬遜搜索工程經理Roshan Makhijani表示：“通過廣泛使用Amazon FSx、Amazon EC2和Amazon Batch的服務，我們提高了實驗速度。在亞馬遜云科技上進行構建非常靈活，我們在不到3天的時間里就可以擴展到新區域，只要新區域有硬件可用。”

從一開始，M5搜索團隊就與亞馬遜云科技的產品團隊合作解決公司的棘手問題。例如，數據密集型訓練作業需要海量計算資源，使用跨區域計算是訪問這些資源的必要手段，但以前沒有實際解決方案能靈活實現跨區域計算。Belinda Zeng表示：“我們與亞馬遜云科技緊密合作，開發了一些新功能，實現了跨區域計算，成功解決了這一難題。”此外，團隊不斷增長的數據需求日益挑戰Amazon FSx的極限。通過與亞馬遜云科技合作，M5搜索團隊解決了所有性能問題，并為持續擴展打下了基礎。正是由于這些增強功能，M5搜索團隊現在僅需1-2周就可以擴展機器學習基礎設施。

團隊還使用C++庫開發了一種自定義解決方案，以建立跨流媒體的Amazon S3——即在一個區域存儲數據并在另一個區域進行流式數據傳輸——而不影響訓練作業的速度。Makhijani表示：“使用Amazon S3，我們實現了我們需要的高吞吐量流媒體解決方案。” 通過選擇最優的GPU、CPU以及亞馬遜云科技自研設計的高性能機器學習推理芯片Amazon Inferentia，M5搜索團隊成功在機器學習推理過程中降低成本并優化性能。Joseph表示：“不同模型在不同硬件上能提供的吞吐量有所不同，因此，硬件的選擇可以幫助我們擴展模型架構，并針對多種類型的硬件進行優化，同時控制成本。”此外，團隊在EC2 UltraClusters中部署了Amazon EC2 P4d實例，這些實例由云端高性能計算、網絡和云存儲構成，以獲得最佳的計算和通信吞吐量。亞馬遜云科技深度學習AMI和深度學習容器提供了優化且安全的機器學習框架和工具，使機器學習從業者能夠在云上加速深度學習，從而簡化了EC2實例的配置和部署，并實現了擴展。在解決方案中，團隊還使用了Amazon EC2實例的網絡接口Elastic Fabric Adapter（EFA），客戶可以借此在亞馬遜云科技上大規模運行需要高度跨節點通信的應用程序。

此外，M5搜索團隊在亞馬遜云科技上使用開源深度學習框架PyTorch，用以簡化機器學習模型開發并將模型部署到生產中。具體而言，團隊試驗了多種PyTorch庫，如分布式數據并行和Amazon S3插件，以及PyTorch Profiler和完全分片數據并行等工具進行分布式訓練。如今，亞馬遜各部門都可以利用深度學習的強大功能，以上能力的運用幾乎無所不在。例如，M5搜索團隊開發了一種機器學習模型，能夠準確更正客戶在搜索過程中的拼寫錯誤，從而改善搜索體驗。Zeng表示：“機器學習應用能夠幫助系統準確解讀客戶的真實意圖，并提供多樣化的相關推薦列表，這些功能都得益于我們預訓練模型中豐富而細致的信息。”

03.持續提升效率

亞馬遜搜索現在已經擁有了大規模構建機器學習模型的技術。下一步，團隊計劃持續改進其全球集群以提高生產力和使用效率。團隊還將使用新的Amazon EC2實例匹配不同的模型，既用于訓練，也用于推理。M5搜索團隊將繼續與亞馬遜云科技合作，優化其基礎設施的彈性，提高生產力，并降低訓練大型模型的前置成本。Joseph表示：“通過使用亞馬遜云科技持續提升效率，我們可以釋放深度學習和人工智能的無限潛能，最終讓我們的客戶從中受益。”