2025 å¹´ 4 月 6 日,Meta( ååæŒ‘在周å…)發(fÄ)布了其 Llama å®¶æ—的新一批 AI 模型:Llama 4。
這次發(fÄ)布了:Llama 4 Scoutã€Llama 4 Maverick å’Œ Llama 4 Behemoth。
Meta è¡¨ç¤ºï¼Œæ‰€æœ‰æ¨¡åž‹éƒ½ä½¿ç”¨â€œå¤§é‡æœªæ¨™è¨˜çš„æ–‡æœ¬ã€åœ–åƒå’Œè¦–é »æ•¸(shù)據(jù)â€é€²è¡Œäº†è¨“練,從而ç²å¾—“廣泛的視覺ç†è§£â€ã€‚
DeepSeek çš„é–‹æ”¾æ¨¡åž‹å¤§ç²æˆåŠŸï¼Œå…¶æ€§èƒ½æ¯”è‚©ç”šè‡³å‹éŽ Meta 之å‰çš„æ——艦 Llama 模型,據(jù)稱這刺激了 Meta åŠ å¿«é–‹ç™¼(fÄ) Llama。
據(jù)說 Meta 已緊急è¨ç«‹ä½œæˆ°(zhà n)室來解密 DeepSeek 如何é™ä½Žé‹è¡Œå’Œéƒ¨ç½² R1 å’Œ V3 ç‰æ¨¡åž‹çš„æˆæœ¬ã€‚
Scout å’Œ Maverick 已在 Llama.com 上公開å¯ç”¨ï¼ŒåŒ…括 AI 開發(fÄ)平臺 Hugging Face,而 Behemoth ä»åœ¨è¨“ç·´ä¸ã€‚
Meta 表示,廣泛用于WhatsAppã€Messenger å’Œ Instagram ç‰æ‡‰ç”¨ç¨‹åºä¸çš„ AI 助手 Meta AI 已經(jÄ«ng)éŽæ›´æ–°ï¼Œå¯åœ¨ 40 個國家或地å€(qÅ«)使用 Llama 4。
ç›®å‰ï¼Œå¤šæ¨¡æ…‹(tà i)功能僅é™äºŽç¾Žåœ‹å¸‚å ´çš„è‹±æ–‡ç‰ˆã€‚
一些開發(fÄ)人員å¯èƒ½æœƒå° Llama 4 許å¯è‰æå‡ºç•°è°ã€‚
â€œæ³¨å†Šåœ°â€æˆ–“主è¦ç‡Ÿæ¥(yè)地點â€åœ¨æç›Ÿçš„用戶和公å¸è¢«ç¦æ¢ä½¿ç”¨æˆ–分發(fÄ)這些模型,這å¯èƒ½æ˜¯æç›Ÿåœ°å€(qÅ«)çš„AI和數(shù)據(jù)éš±ç§æ³•律è¦(guÄ«)定的治ç†è¦æ±‚çš„çµæžœã€‚(éŽåŽ»ï¼ŒMeta曾炮轟這些法律éŽäºŽç¹ç‘£ã€‚)
æ¤å¤–,與之å‰çš„Llama 版本一樣,月活èºç”¨æˆ¶è¶…éŽ 7 億的公å¸å¿…é ˆå‘ Meta 申請?zhÃ)åŽ¥åº Så¯ è‰ ï¼Œ Meta å¯è‡ªè¡Œæ±ºå®šæŽˆäºˆ 還是 æ‹’çµ•è¨±å¯ è‰ ã€‚
Meta åœ¨ä¸€ç¯‡åšæ–‡ä¸å¯«é“:“這些 Llama 4 模型標志著 Llama 生態(tà i)系統(tÇ’ng)開始迎來一個新時代。 é€™åªæ˜¯ Llama 4 系列的開始。â€
Meta 表示,Llama 4 是其第一批使用混åˆå°ˆå®¶ï¼ˆMoEï¼‰æž¶æ§‹çš„æ¨¡åž‹ï¼Œé€™ç¨®æž¶æ§‹æ“æœ‰æ›´é«˜çš„è¨ˆç®—æ•ˆçŽ‡ï¼Œä¾¿äºŽè¨“ç·´å’Œå›žç”æŸ¥è©¢ã€‚
MoE 架構基本上將數(shù)據(jù)處ç†ä»»å‹™åˆ†è§£ç‚ºå¤šå€‹å任務,然åŽå°‡å®ƒå€‘交給更å°ã€æ›´å°ˆé–€çš„â€œå°ˆå®¶â€æ¨¡åž‹è™•ç†ã€‚
比如說,Maverick 共有 4000 å„„å€‹åƒæ•¸(shù)ï¼Œä½†åªæœ‰ 170 億個活èºåƒæ•¸(shù)ï¼Œå»æœ‰128 個“專家â€ã€‚ï¼ˆåƒæ•¸(shù)å¤§è‡´å°æ‡‰äºŽä¸€å€‹æ¨¡åž‹è§£æ±ºå•題的技能。)Scout 有 170 億個活èºåƒæ•¸(shù)ã€16 個專家和 1090 å„„å€‹ç¸½åƒæ•¸(shù)。
據(jù) Meta 的內(nèi)éƒ¨æ¸¬è©¦çµæžœé¡¯ç¤ºï¼ŒMaverick 在æŸäº›ç·¨ç¨‹ã€æŽ¨ç†ã€å¤šèªžè¨€ã€é•·ä¸Šä¸‹æ–‡å’Œåœ–åƒç‰åŸºæº–測試ä¸çš„表ç¾(xià n)è¶…éŽäº† OpenAI çš„ GPT-4o 和谷æŒçš„ Gemini 2.0 ç‰æ¨¡åž‹ã€‚
該公å¸è²ç¨±ï¼ŒMaverick 最é©åˆå‰µ(chuà ng)æ„寫作ç‰â€œä¸€èˆ¬åŠ©ç†å’ŒèŠå¤©â€ç”¨ä¾‹ã€‚
然而,Maverick 還無法與谷æŒçš„ Gemini 2.5 Proã€Anthropic çš„ Claude 3.7 Sonnet å’Œ OpenAI çš„ GPT-4.5 ç‰åŠŸèƒ½æ›´å¼·å¤§çš„æœ€æ–°æ¨¡åž‹ç›¸æå¹¶è«–。
Scout 的優(yÅu)å‹¢åœ¨äºŽè™•ç†æ–‡æª”摘è¦å’Œå¤§åž‹ä»£ç¢¼åº«æŽ¨ç†ç‰ä»»å‹™ã€‚å…¶ç¨ç‰¹ä¹‹è™•在于,它有一個éžå¸¸å¤§çš„上下文窗å£ï¼š1000 è¬å€‹ token。(token 代表原始文本的片段,比如說“fantasticâ€é€™å€‹å–®è©žåˆ†æˆäº†â€œfanâ€ã€â€œtasâ€å’Œâ€œticâ€ã€‚)
簡而言之,Scout å¯ä»¥æŽ¥æ”¶åœ–ç‰‡å’Œå¤šé”æ•¸(shù)百è¬å€‹å–®è©žï¼Œå¾žè€Œèƒ½å¤ 處ç†ç¯‡å¹…極長的文檔。
據(jù) Meta 估算,Scout å¯ä»¥åœ¨å–®å–®ä¸€å¡Šè‹±å‰é”H100 GPU 上é‹è¡Œï¼Œè€Œ Maverick 需è¦è‹±å‰é” H100 DGX 系統(tÇ’ng)或åŒç‰ç³»çµ±(tÇ’ng)。
Meta 尚未發(fÄ)布的 Behemoth 將需è¦åŠŸèƒ½é‚„è¦å¼·å¤§çš„硬件。
據(jù)該公å¸è²ç¨±ï¼ŒBehemoth æ“æœ‰ 2880 億個活èºåƒæ•¸(shù)ã€16 個專家和近兩è¬å„„å€‹ç¸½åƒæ•¸(shù)。
Meta 的內(nèi)éƒ¨åŸºæº–æ¸¬è©¦é¡¯ç¤ºï¼Œåœ¨è¡¡é‡ STEM 技能(比如數(shù)å¸å•é¡Œè§£æ±ºï¼‰çš„å¹¾é …è©•æ¸¬ä¸ï¼ŒBehemoth 的表ç¾(xià n)壓倒 GPT-4.5ã€Claude 3.7 Sonnet å’Œ Gemini 2.0 Pro(但ä¸å¦‚ 2.5 Pro)。
值得注æ„的是,Llama 4 æ¨¡åž‹ä¸æ²’æœ‰ä¸€å€‹åƒ OpenAI çš„ o1 å’Œ o3-mini 那樣采用æ£å®—的“推ç†â€æ¨¡åž‹ã€‚æŽ¨ç†æ¨¡åž‹æœƒæ ¸å°ç”案的真實性,并且通常能更å¯é 地回ç”å•é¡Œï¼Œä½†å› æ¤éœ€è¦èŠ±æ¯”å‚³çµ±(tÇ’ng)çš„â€œéžæŽ¨ç†â€æ¨¡åž‹æ›´é•·çš„æ™‚間來æä¾›ç”案。
值得關注的是,Meta è¡¨ç¤ºï¼Œå®ƒå°æ‰€æœ‰ Llama 4 模型進行了調(dià o)整,以便ä¸å†é »ç¹åœ°æ‹’絕回甓有çˆè°â€çš„å•題。
據(jù)該公å¸è²ç¨±ï¼ŒLlama 4 會回甓有çˆè°â€çš„æ”¿æ²»å’Œç¤¾æœƒè©±é¡Œï¼Œè€Œä¹‹å‰çš„那批 Llama 模型拒絕回ç”。æ¤å¤–,該公å¸è¡¨ç¤ºï¼ŒLlama 4 在拒絕回ç”哪些æç¤ºæ–¹é¢â€œæ˜Žé¡¯æ›´åŠ å¹³è¡¡â€ã€‚
Meta 發(fÄ)言人稱:“您å¯ä»¥æŒ‡æœ› Llama 4 æä¾›æœ‰å¹«åŠ©çš„ã€äº‹å¯¦æ€§çš„回ç”,它并ä¸åšå‡ºä»»ä½•判斷。我們æ£ç¹¼çºŒ(xù)æé«˜ Llama çš„éŸ¿æ‡‰èƒ½åŠ›ï¼Œä»¥ä¾¿å®ƒèƒ½å¤ å›žç”æ›´å¤šçš„å•é¡Œï¼Œèƒ½å¤ å›žæ‡‰å„種ä¸åŒçš„è§€é»žï¼Œå¹¶ä¸”ä¸æœƒå袒æŸäº›è§€é»žã€‚â€
ç‰¹åˆ¥è²æ˜Žï¼šä»¥ä¸Šå…§(nèi)容(å¦‚æœ‰åœ–ç‰‡æˆ–è¦–é »äº¦åŒ…æ‹¬åœ¨å…§(nèi))為自媒體平臺“網(wÇŽng)易號â€ç”¨æˆ¶ä¸Šå‚³å¹¶ç™¼(fÄ)布,本平臺僅æä¾›ä¿¡æ¯å˜å„²æœå‹™ã€‚
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.