機器之心發布
機器之心編輯部
在字節跳動,有這樣一群實習生,他們的另一重身份,都是來自頂尖高校的技術博士。
實習第 100 天,團隊為了清華博士云飛專門開了一個全新課題。北大博士瑞晨曾經不得已擱置的想法,也在這里實現了大規模驗證。
在字節跳動的實習經歷,幾乎貫穿了北大博士天亮和中科院博士露陽的整個博士生涯。天亮從一個 “束手束腳” 的實習生成長為一名獨當一面的技術大牛。曾抱著 “試一試” 心態的露陽,也在 “一件又一件有挑戰的事” 中拿下了 5 篇頂會和 3 項專利,他決定長期留在這里……
天亮、露陽、云飛、瑞晨…… 他們是眾多正在或曾在字節跳動實習的技術博士故事的縮影。對于仍在校園象牙塔的年輕人而言,職場仿佛是個很遙遠的地方。但加入字節跳動后,他們就像一顆顆種子,在這片自由、創新的土壤扎下了根,并不斷實現突破、成長……
從左至右:露陽、云飛、天亮、瑞晨
“去那里能真的學到東西”
天亮常說,自己是在字節跳動讀了個博士,因為 “博士期間的成果基本上都是在公司做的”。
2018 年 10 月 22 日,入職那天,也是天亮的生日。到達盈都那排 “矮樓” 時,恰逢上班高峰,穿過 “旋轉門” 進入工區的人絡繹不絕,他回憶說,“當時最直接的感受就是:好多人,好擠啊?!?/p>
“擠” 的背后,是這家企業正在快速發展。天亮回憶說,“其實字節參與視頻編碼標準制定還沒多久,但在外界看來,這家公司科研實力很強,有一種異軍突起的感覺?!?/p>
之所以會產生這樣的認知,一方面是字節跳動在短時間內密集發布成果,另一方面則是匯聚了一批 “優秀的人”。
“很多行業享有盛名資深大佬都在字節,” 天亮說,“我導師經常在實驗室講,你們的大師兄、大師姐又在字節做出了什么成果。”
盈都大廈一角
入職前參與的一次提案會,更加深了他的這種印象。那次會上,圍繞 H.266 國際標準框架,字節跳動提出了一條全新的技術方案,剩下的五六家廠商,都是對手陣營。
“會議室有兩個話筒,我在字節的那位大師姐站在一個話筒前,剩下的廠商站在對面輪番挑戰。那種感覺,就像是華山論劍里的高手過招?!?天亮對那次會議記憶猶新,“我之前對她是只聞其名不見其人。直到那次,我才真的意識到,這個人真厲害?!?/p>
最終,字節跳動在那場會議上贏得了勝利,提案順利通過。所以,當導師推薦他到 “大師姐” 的部門實習時,天亮非常激動,“我的想法很簡單:有那么多大佬在,去那里肯定能學到真東西?!?/p>
因為想 “學到真東西”,而來字節跳動實習的技術博士,并不只有天亮一個。
2020 年的暑假,在清華直博的云飛確定了自己的課題方向 —— 通用智能機器人。導師告訴她,字節跳動有一個相關領域的團隊,建議她去 “看一看”。
“我導師讀書時也曾在字節實習過好幾次,他覺得在這里能學到不少東西?!?云飛說,在導師的親身經歷 “背書” 下,盡管還有其他實習機會,但她還是來到了這里。
云飛在校園
同樣是在那個夏天,中科院博二在讀的露陽也發現,自己 “需要一個更大、更好的發展平臺”。
“在網絡領域,傳統軟件協議棧處理的方式已經到達瓶頸,軟硬件協同設計下的高性能傳輸協議正在成為重點?!?露陽回憶說,“所以我當時很想往數據中心網絡領域發展。”
在導師的引薦下,露陽和字節跳動彈性加速部門的負責人聊了幾次,發現對方 “做事的態度和科研的能力都很好”。知道露陽在硬件領域比較薄弱,那位負責人(也就是露陽后來的 Leader)還專門為他整理了一套技術文檔。
入職第一天下午 1v1 時,露陽回憶說,Leader 給他買了一堆零食和飲料, “他直接說想把我留的時間更長,和我一起做很多更 Exciting 的事?!?原本只是想來 “看一看” 的露陽在當時并沒想到,這次實習會持續四年多。
他正式的職業生涯,也將在這里開始。
“專門為實習生開了一個課題”
現在回想起來,云飛會說自己剛開始實習時,做的都是些 “很愚蠢、無聊的事”?!拔耶敃r對機器人的認知并不夠,沒想好具體要做什么,” 她說,“只是模糊的想到把強化學習和機械臂控制做結合,讓機械臂把積木塊從 A 點抓到 B 點?!?/p>
三個月多后,Leader 看她已經 “慢慢進入了狀態”,就建議她 “做點更有趣、更性感的事?!?在 Leader 和同事們的幫助下,云飛開始思考,“既然機械臂可以挪動積木塊了,那能不能把它們組合成更有趣的形狀?”
于是,她開啟了自己的實習 2.0 階段 ——“搭橋”。聽起來簡單,但對當時的單臂機器人來說,卻是從 “簡單任務” 到 “復雜任務” 質的飛躍。
“涉及到的材料很多,且形狀、長短不一,這種長流程任務對強化學習本身就是一個挑戰。” 云飛解釋說,“強化學習是一個不停摸索的過程,發現一些有用的信號后,才會朝著這個方向迭代。一開始我們引入了一些外部激勵函數,去強行拖著算法走,但都沒有取得很好的效果?!?/p>
那段時間,讓云飛感到 “非常難受”。在與 Leader 和同事們討論后,她決定另辟蹊徑。
“算法之所以探索不到有用的信號,是因為每次都從零開始,碰了釘子就又回到了零的狀態,哪怕做出了一些好的結果也作廢了。” 云飛說,“后來我們想到,可以讓算法記錄下自己的歷史狀態,遇到好的結果就繼續沿用?!?本質上,這是一個算法自我學習、自我探索、自我獎勵的過程。
“當然這個方法并不是我們的首創,但當時在國內受到的關注還比較小,主要是在學術界大家在鼓搗著玩。” 云飛說,“我在的組之前并沒有人做,相當于是單獨為我這個實習生新開了個課題?!?/p>
國際智能機器人與系統大會 IROS 2021 上,云飛參與設計的機械臂展示如何 “搭橋”
不只是云飛,類似的故事,幾乎每天都在字節跳動發生。
研究量子蒙特卡羅領域的北大博士瑞晨回憶說,自己剛入職時做的事情也很基礎,“就是用各種標準網絡結構解方程、計算分子性質?!?/p>
但不久后,他就發現已有的網絡結構開銷非常大,計算速度面臨著瓶頸。“要得到一個雙苯環 84 電子的計算結果,可能需要用一萬多的 GPU 卡時?!?瑞晨回憶說,“在這樣大的一個消耗下,我們的迭代速度會非常緩慢?!?/p>
“我們當時是沿著業界的標準做法,直接計算神經網絡的二階導數,這極大限制了計算速度?!?瑞晨回憶說,“但當時二階導數在神經網絡領域的研究非常少,我就在想,能不能有一種新的方法,去加速二階導數的計算?”
雖然有嚴格的理論支撐,但并沒人嘗試過。當瑞晨拿著初期的驗證結果找到 Leader,對方直接鼓勵他,“去干吧”。于是,瑞晨就成了這個課題項目的實際負責人,那時距離他入職實習,也只過去了三個多月。
最終結果得到驗證的時刻是個冬天,“我當時正在電話亭里和同事開會,順便把代碼跑一跑,結果發現真的成了?!?他回憶說,“那一刻真的是頭皮發麻,激動得渾身冒汗?!?/p>
在瑞晨和同事們的努力下,最初的那個小想法沉淀成了一套二階導數計算的自動微分程序,“在這套程序的幫助下,在保證標準網絡結構計算精度的同時,計算速度也提升了 10 倍以上?!?/p>
這項成果也成為了該領域內里程碑式的研究工作,并發表在了自然子刊《Nature Machine Intelligence》上。去年八月,DeepMind 發表于《Science》上的成果也受益于這項成果。
“這也許會讓你大吃一驚,” DeepMind 研究員 David Pfau 在社交媒體上評論道,“但我們依靠微軟基于北京字節跳動團隊研究的開源包來快速完成這些計算?!?/p>
DeepMind 科學家 David Pfau 的個人社交媒體
從 0 經驗到推動技術實現行業領先
事實上,這個想法的雛形在瑞晨來字節跳動之前就形成了,但當時的他只能擱置下來。背后的原因,主要是計算資源的欠缺。
到了字節跳動之后,曾經的難題迎刃而解?!罢且驗橛兄渥愕挠嬎阗Y源,我才想到原來的那個 idea 能不能再試一試?!?瑞晨說,自己的課題也是組內消耗資源最多的項目,“即便是有前期試驗結果,在大規模驗證之前,沒人能預料到最終的結果,我的部門其實是在陪我一起冒險。”
筋斗云 (字節跳動面向優秀校園技術人才推出的人才專項)Open Day 上,瑞晨在參與破冰游戲
“不怕你試錯,就怕你不試嘛?!?天亮到字節跳動實習后,慢慢變得更敢放手干了,他感覺自己 “從沒打過這么富裕的仗”。
“在字節跳動,我可能一兩天就拿到計算結果了,這給了我更多試錯空間。搞研究嘛,沒有試錯怎么進步?” 他說,“但是在學校實驗室,用到的時間就比較長,拿到結果時甚至可能都忘記為什么要做這個實驗了?!?/p>
云飛對此也深有體會?!霸跈C器人這個語境下,如果脫離了基礎設施,再好的想法也是空中樓閣?!?她說,在實驗室里要做一項分布式訓練是不可想象的,但到了字節跳動,“有專門的團隊在做基礎設施,你的訓練任務可以得到非常穩定的保障,想實現一些想法也會更加容易?!?/p>
露陽正是字節跳動技術基礎設施建設者中的一員。
入職第一年,露陽就獨立構建了基于 Python 的硬件仿真框架 (Cocotb),并面向 ByteFPGA 平臺開發了 driver、monitor、function coverage 等多類基礎組件和基于 HBM 的行為模型,為字節跳動多項業務的順利開展打下了基礎。
后來,他開始走出軟件仿真的 “舒適區”,逐漸邁向硬件設計這個的陌生領域。
彈性加速部門的工作涉及到眾多真實業務,可謂牽一發而動全身。“我在硬件領域的經驗不足,沒能力去獨立負責一個很大的功能模塊?!?他回憶稱,自己正是從一個個子功能模塊開始做起,“每當我提出一種設計方案,Mentor 和其他同事都會幫逐個分析細節,并一起修正錯誤。”
隨著一個個子功能模塊的完善,露陽也越走越遠。實習第三年,在字節跳動自研網卡項目中,他已經可以獨立負責 “超大規模組網擁塞控制測試和優化” 這個關鍵任務了。自研網卡分為單卡設計、測試和大規模組網測試、優化,在某種程度上,露陽成為了整個項目的 “守門員”。
露陽和陪伴他 4 年多的工位
正當他準備大干一場時,卻發現自己掉進了一個又一個 “坑”?!拔医邮忠欢螘r間后,發現到某一個版本后突然間性能就上不去了,網絡抖動特別厲害,延遲也很高。” 露陽最開始采用排除法,“哪個組件出現了問題,我就讓它回退一個版本,迭代更新之后再重新測試”。
但經過數次迭代,“距離理想的性能還是有很大的差距”。在 “每兩周就要更新一個版本” 的上線壓力下,他每天一睜眼就開始思考?!罢麄€人進入了一種瘋狂的狀態”,露陽回憶說,“當時 Mentor 讓我每天都把問題匯總起來,并拉上各組件的負責同事一起排除卡點、解決問題?!?/p>
就這樣,曾經看上去不可逾越一道道關卡,就在一次次群策群力中消失不見。最終,露陽參與自研的高性能可擴展的 ByteRDMA(字節自研高性能傳輸層協議),成功解決了大規模組網下網卡吞吐波動、吞吐下降和不公平等多類難題,令組網鏈路帶寬利用率從 65% 提升到了 98%,實現了業界領先。
“不知不覺就愛上了這里”
一件又一件 “有挑戰的事”、一個又一個落地成果,串聯起了露陽在字節跳動實習的 1600 多天。在此期間,他參與為字節跳動眾多技術和業務,以及數以萬計的技術、科研同事,筑起了牢固的技術基礎設施,并取得了 3 項專利和 5 篇頂會。
曾經對職場充滿 “西裝革履、等級森嚴” 這類想象的他,也逐漸改變了自己的想法。
作為新人小白時有人手把手帶教,“哪怕是不同的部門,但同事們會把之前的經驗毫無保留地分享出來。他們真的想幫我,我們有時候會就我遇到的一問題討論到晚上 9、10 點?!?露陽說,“你的創新想法不會受到層層審批,不用靠關系,你純粹可以靠能力去實現價值?!?/p>
時隔多年以后,瑞晨已經很難再回憶起自己當初究竟是在哪一刻說服同事跟自己一起 “冒險” 了,“可能是在一次閑聊中?或者是一起去食堂吃飯的路上?!?他說,“我們從來沒有什么邊界,隨時隨地都在交流想法?!?/p>
盡管中間曾短暫離開過字節跳動一段時間,但云飛始終對那種自由、創新的氛圍念念不忘,“這里既有成熟組織完善的基礎設施,又有創業公司的靈活性。” 去年,露陽、瑞晨、云飛,也都通過了 “筋斗云人才計劃”,并拿到了字節跳動的正式 Offer。
“這是一片創新的土壤。” 天亮說,這種認知在他入職的第一天就形成了。那時,他剛到工位就看到一個同事在那里 “叭叭”——“一會兒聊聊技術、一會兒嘮嘮家常。” 天亮回憶說,“看到我來,她非常開心,說‘小鮮肉來了’,并告訴我無論有什么問題都可以找她?!?/p>
天亮依舊是那個陽光開朗大男孩
“這里跟學校的實驗室沒什么區別,無論部門 Leader 還是行業大佬都沒有架子,” 天亮說,“和他們討論某個問題,就像是跟師兄師姐交流一樣,你的每一個想法都會得到充分尊重?!?/p>
實習 1600 多天后,天亮從一個 “束手束腳” 的實習生,成長為一名獨當一面的技術大牛。實習期間拿下的 5 個提案、5 篇頂會和 1 篇重要期刊,也構成了天亮博士論文的基本內容。
2023 年,天亮在字節跳動成功轉正,并從視頻編碼標準部門換到了離線編碼技術部門。但他最開始感受到的那種活躍的氛圍卻從沒有消失。入職第一天開心叫他 “小鮮肉” 的那位同事,也依然坐在他的旁邊。
如今,天亮已經升級做了 “奶爸”,他沒想到在職場 “混跡” 六年多之后,他還依然是那個 “陽光開朗大男孩”。有時候帶著帶著娃,或玩著玩著游戲,天亮也會抽空跑一跑自己的代碼。妻子經常開玩笑說,“你是真的愛自己的工作啊?!?/p>
“就像談戀愛一樣,你很難回憶是在具體哪一刻愛上了對方?!?露陽說,“但通過很多日常中的小事,你會不知不覺愛上這里。你心里明白,你愿意和它一起走下去,因為它,你也會成為一個更好的人。”
據編者了解,3 月 6 日,字節跳動啟動了筋斗云人才計劃實習生專項招聘,在大模型應用、搜索、推薦、廣告、計算機體系結構與系統優化、安全、AI Safety、硬件、AI Coding、視頻架構、AIGC、AI for Science、機器人等 10 大技術領域開設了 44 個課題,旨在全球范圍內吸引和招募一批有志于用技術創造突破性價值的頂尖博士(2025 年 9 月及以后畢業)。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.