字節跳動進一步整合 AI 研發力量。
文丨王與桐
程曼祺
繼吳永輝擔任字節 AI 研發部門 Seed 的負責人后,Seed 組織正在陸續調整。
吳永輝直接管理范圍擴大。據了解,近期原 Seed 大語言模型(LLM)負責人喬木已多日未現身辦公室,他的工作飛書也處于停用狀態。LLM 之下的 3 個團隊,Pre-train(預訓練)、Post-train(后訓練) 和 Horizon 轉為直接向吳永輝匯報。
約半月前的另一個變化是,字節 AI Lab 的 3 個方向正式并入 Seed,分別是探索機器人和具身智能的 Seed Robotics,將 AI 應用于材料、生物等科研探索的 AI for Science 和致力于讓 AI 公正、透明、可解釋且符合倫理標準的 Reponsible AI。
自 2023 年下半年以來,AI Lab 的 NLP(自然語言處理)和 Pixel Dance(視頻生成團隊)已陸續并入 Seed。最新調整意味著,AI Lab 正式在組織結構上被 Seed 全部吸收到。李航仍為 AI Lab 負責人,此次調整前,李航的匯報線已在今年更早時從朱文佳轉向吳永輝。
同時,原本屬于 AML(Applied Machine Learning,機器學習系統團隊,主要工作之一是 AI Infra)部門的肖文之團隊也于近期并入 AI Lab 的 AI for Science 團隊。肖文之從向 AML 負責人項亮匯報轉而向李航匯報。在字節期間,肖文之曾發表過模型訓練數據以及監督預訓練方向的成果。
這些陸續的調整,共同指向字節跳動正進一步整合 AI 研發力量。
作為字節大模型研發的新負責人,吳永輝的直接管理范圍擴大。他在今年 2 月正式加入字節,相比 2015 年加入、歷任 TikTok 產品技術負責人的原 Seed 研發負責人朱文佳,吳永輝的研發經歷更聚焦 AI:吳永輝在 2008 年博士畢業后就進入 Google,主導了神經機器翻譯(GNMT)、RankBrainn 等項目,論文引用次數超 4 萬次。2023 年,吳永輝成為 “Google Fellow”,這是 Google 授予技術領域作出突出貢獻專家的最高榮譽。
現在由吳永輝直接管理的 LLM 團隊,是當前生成式 AI 熱潮里最核心的模塊,也是各公司智能競爭最激烈的領域。
字節的 LLM 團隊分為 3 個小組,各自有不同研發重點:其中 Pre-train 團隊致力研發下一代 Pre-train 新范式、高能力超小模型及 Al for Math;Post-train 團隊為全模態統一的大模型提供核心 Post-train 基礎技術。Horizon 的探索方向包括 Long-CoT ;開發 O-model Architecture(一種模型架構,主要用于處理大規模語言模型中的計算和存儲需求);建立流式 Memory 、管理無限長上下文、構建超級智能系統等。
Horizon 方向不止字節一家在探索。今年 2 月 OpenAI 推出了 Agent 產品 Deep Research,該功能源于 OpenAI 內部對模型 long-horizon 任務的探索,長期目標是在未來給用戶一個終極 All-in-one 的 Agent。
今年 1 月,字節還成立了以探索長期智能邊界為目標的虛擬組織 Seed Edge,更發散、全面地探索一系列前沿方向,包括下一代推理、下一代學習機制、世界模型等等。
一方面,字節的 AI 核心研發在形式上變得越來越凝聚,另一方面,作為資源豐富的科技巨頭,字節的 AI 研發探索呈現多方向、全布局的特點。
挑戰在于,字節該怎么組織好這個高人才密度的團隊,讓聰明人發揮合力,而不因過大的內外部競爭壓力難以保持技術研發節奏。
今年 2 月的字節全員會上,字節模型研發團隊 Seed 負責人之一朱文佳說:“目前來看,我們的模型肯定是第一梯隊,可以對標國內外最好的模型。”
到目前為止,不少 AI 領域從業者并不認為字節的模型能力在第一梯隊。一位 AI 應用公司告訴我們,他們目前付費最多的是 OpenAI 和阿里的 Qwen。
一些變化正暗流涌動。在字節的技術骨干和中層中,一些在 2023 年之后加入的 AI native 的技術人才最近正觀察外部機會。據了解,一位技術骨干曾跟獵頭表達過想換公司的想法;另一位技術骨干則在今年早些時候見過數位投資人,試圖在模型層創業,但暫未獲得明確的投資意向。
“我現在認識一堆想創業的 CTO 級別人選。” 一位 AI 投資人說:“可市場最缺的是好的創業想法,其次是好的 AI 產品經理,最后才是技術人員。”
部分更基層的一線工程師,則因近期組織的陸續調整和拿成果的壓力而擔憂:他們擔心自己所在小團隊在調整中的前途;也感受到,當前更容易做的成果已探索得差不多了,再想要進展,就需要更大投入,在總資源充沛的情況下,一些研發人員的體感仍是卡不夠用,部分實驗和項目需要排隊等資源,“各憑本事”。
馬云曾說:“員工的離職原因林林總總,只有兩點最真實:1. 錢,沒給到位;2. 心,委屈了。”
在中國的 AI 人才爭奪戰中,錢,字節給得最到位,但招人之外的更重要命題是,怎么為重金請來的聰明技術人才,打造一個簡單、良性的環境,讓他們保持好奇心,激發創造力,最終帶來價值。
賀乾明對本文亦有貢獻
題圖來源:《指環王:護戒使者》
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.