廣東
【太平洋科技快訊】Meta近日推出了其最新的Llama 4系列人工智能模型，包括Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth。這一系列模型首次采用了混合專家(MoE)架構，通過將任務分配給多個專注于特定任務的“專家”子模型，顯著提升了訓練和推理的效率。
據悉，Llama 4系列模型經過大量未標注的文本、圖像和視頻數據的訓練，具備了廣泛的視覺理解能力。它們能夠處理和整合各種類型的數據，包括文本、視頻、圖像和音頻，并在這些格式之間實現內容轉換，展現了強大的多模態處理能力。
Llama 4系列模型具備非常長的上下文窗口，其中Llama 4 Maverick的上下文窗口為100萬個token，Llama 4 Scout更是達到1000萬個token。這一特點使得它們能夠處理長達7500頁的文本輸入，為醫學、科學、工程、數學和文學等信息密集型領域提供了強大的支持。
目前，Llama 4 Scout和Llama 4 Maverick已在Llama.com網站、Meta的合作伙伴處以及WhatsApp、Messenger、Instagram Direct等平臺上公開獲取，而Llama 4 Behemoth仍在訓練中。
Llama 4系列模型參數：
Llama 4 Scout：配備170億活躍參數和16個“專家”模型，總參數達1090億。該模型擅長文檔總結和代碼推理，且可在單個NVIDIA H100 GPU上運行，適用于高效信息提取和復雜邏輯推理任務。
Llama 4 Maverick：擁有170億活躍參數和128個“專家”模型，總參數量高達4000億。在創意寫作、翻譯和圖像處理等方面表現優異，超越了許多競品模型。
Llama 4 Behemoth：作為系列中最強大的模型，具備2880億活躍參數和接近2萬億的總參數。在多個STEM基準測試中表現卓越，展現了強大的問題解決能力。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
