出品｜虎嗅科技組

作者｜孫曉晨

編輯｜苗正卿

頭圖｜視覺中國

當地時間4月5日，Meta推出其迄今最為強大的開源AI模型Llama 4系列，其首批推出的Llama 4系列模型包括Llama 4 Scout和Llama 4 Maverick。此外，還有更為強大的Llama 4 Behemoth仍在訓練中。

據Meta介紹，Llama 4 Scout包含170億活躍參數、16個專家模型及1090億總參數，在各種廣泛接受的基準測試中，性能優于Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1。Llama 4 Scout的支持上下文長度為1000萬token，這將為AI模型的功能打開新的可能，如多文檔摘要，解析大規模用戶活動以進行個性化任務，以及在龐大的代碼庫中進行推理。

而Llama 4 Maverick也擁有170億活躍參數，但是其專家模型數量增至128個，總參數量為4000億。該模型據稱擁有頂尖的圖像定位能力，可將用戶指令與相關視覺概念精準對齊，并將模型響應錨定到圖像中的特定區域。Meta表示，Llama 4 Maverick在多項主流基準測試中，全面超越GPT-4o與Gemini 2.0 Flash；在活躍參數僅為其一半的情況下，該模型在推理與代碼能力方面實現了與DeepSeek V3同等性能；其聊天版本在LMArena測試中取得1417的ELO評分，擁有無與倫比的性價比。

Llama 4 Scout和Llama 4 Maverick均從Llama 4 Behemoth中蒸餾而來，而Llama 4 Behemoth據稱包含2880億活躍參數、16個專家模型以及2萬億參數。Meta表示，Llama 4 Behemoth為其迄今為止最強大的模型，且尚在訓練中，目前在STEM領域的基準測試中表現優于GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro。

在官網博文中，Meta分享了關于Llama 4系列模型的技術細節：

該系列模型為首批采用混合專家（MoE）架構的模型，其在訓練和推理時計算效率更高，且在相同的訓練FLOPs預算下，能夠生成更高質量的結果。

此外，Llama 4采用原生多模態設計，融入早期融合技術，將文本和視覺標記無縫集成到統一的模型骨干中。Meta稱：“早期融合是一個重大的進步，因為它使我們能夠使用大量未標記的文本、圖像和視頻數據對模型進行聯合預訓練。”Llama 4的視覺編碼器也得到改進，以更好地適應大語言模型。

在模型訓練過程中，訓練團隊采用了名為“MetaP”的新型訓練技術，能夠可靠地設置關鍵模型超參數（如各層學習率和初始化規模）。Llama 4通過預訓練支持200種語言（其中100多種語言的訓練標記量超過10億個），整體多語言訓練標記量較Llama 3提升10倍，為開源社區的模型微調工作奠定了堅實基礎。

Meta還通過其他一系列動作對模型進行訓練和完善，如采用FP8精度以進行高效模型訓練、采用“中期訓練”的方式繼續訓練模型以提升模型核心能力等。

模型安全也是Meta關注的重點，其在博文中稱“我們的目標是開發最有幫助和最有用的模型，同時防范和減輕最嚴重的風險。我們按照我們的《開發者使用指南：人工智能保護》中概述的最佳實踐來構建 Llama 4。這包括在模型開發的每個層面（從預訓練到后訓練）整合緩解措施，以及可調節的系統級緩解措施，以保護開發者免受對抗性用戶的影響。”

2025年以來，DeepSeek R1、Grok 3、GPT-4.5眾多模型接連推出，不斷刷新數據，如今Llama 4又強勢入場，聲稱碾壓GPT-4.5，可見這場模型之戰愈加激烈。作為開源大模型，Llama 4系列模型展現了Meta對開源策略的堅持。Meta首席執行官扎克伯格表示：“他們的目標是建立世界領先的人工智能，將其開源，并使其普遍可用，以便世界上每個人都能受益。”結合DeepSeek帶來的沖擊以及OpenAI日益明顯的開源傾向，AI公司對開源策略似乎已經愈加認同。但是面對OpenAI等眾多競爭對手，Meta能否通過開源策略構建有效生態壁壘，Llama 4 Behemoth能否助其在“萬億參數俱樂部”中占據領先地位，還尚未可知。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4207107.html?f=wyxwapp