2024年12月4日,號稱AI屆諾獎的人工智能頂會 NeurIPS 公布了今年的best paper。
一共有兩篇論文獲得最佳論文獎:
一是由北京大學、字節跳動研究者共同完成的《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》(視覺自回歸建模:通過 Next-Scale 預測生成可擴展圖像)。
二是由新加坡國立大學、 Sea AI Lab 研究者共同完成的《Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators》,論文一作為 Zekun Shi。
但讓人意想不到的是,第一篇論文一作田柯宇竟是四個月前惡意攻擊字節大模型被起訴800萬的北大實習生。
01 反轉再反轉之
年度最佳魔幻短劇
事情其實很簡單:就是一個高智商人才因不滿資源分配惡意攻擊大模型被字節解除協議的事,字節僅打算通知學校批評教育就好了。
但魔幻的地方就在于兩點:一是明知故犯的田同學到處伸冤,說字節誹謗他,攻擊大模型的另有其人,他只是背鍋俠。二是法院受理“字節索賠800萬”一案不到一周,田同學竟然獲得了NeurIPS機器學習頂會的最佳paper!被網友戲稱為“今年最佳魔幻短劇。”
今年6月,字節跳動商業產品技術部門一名前實習生田某某在實習期間因對團隊資源分配不滿,惡意篡改代碼攻擊了公司的內部模型訓練系統。
田某某利用Huggingface平臺的漏洞,通過編寫和篡改代碼的方式,向字節跳動的商業化模型注入破壞性代碼,使得“8000多張H100的GPU集群”一個多月的訓練結果全部出錯。字節跳動發現后,立即與其解除實習協議,并將其行為同步至陽光誠信聯盟、企業反舞弊聯盟以及其就讀學校進行處理。
然而,田柯宇多次對外否認自己的不當行為,甚至報警稱遭到造謠。
字節跳動內部人士表示,考慮到田柯宇完全沒有意識到錯誤,且涉事行為已觸犯公司安全紅線,公司最終決定向法院起訴,要求田某某賠償800萬元人民幣及合理支出2萬元,并公開道歉。
但戲劇性的是,田某在字節跳動實習期間,與團隊合作發表了一篇關于視覺自回歸模型的論文,在人工智能頂級會議NeurIPS 2024上被評為最佳論文獎。
該論文提出了一種新的圖像生成框架VAR,首次使基于GPT風格的自回歸模型在圖像生成任務中超越了擴散模型,并驗證了VAR模型的可擴展性和零樣本泛化能力。
據悉,這也是第一篇華人團隊在NeurIPS 2024上獲得最佳論文的學術作品。
02 事件主體
北大研究生VS國內top大廠
1、田柯宇
田柯宇本科畢業于北京航空航天大學軟件學院,自2019 年起開始在商湯科技有限公司及字節跳動等公司開展研究性實習,曾在NeurIPS 等會議發表多篇一作論文,并多次擔任NeurIPS,ICML,ICLR,CVPR等會議審稿人。
田同學到底做了什么?
在實習期間為了搶奪集群資源背刺同事和公司,在至少2個月(目前可追溯)的時間內對集群代碼持續發起惡意攻擊,包括但不限于:
(1)修改集群pytorch源碼,包括隨機種子,優化12隨機ki11 多機實驗進程
(2)導致大卡實驗卡死8通過checkpoint打開登陸后門,自動發起攻擊
(3)參加集群故障排查日會,根據同事排查思路持線4修改同事模型權重,造成實驗結果無法復現
“無法想象在看見同事們的大卡實驗莫名其妙中斷、失敗時,在聽到同事們的debug思路后針對性修改攻擊代碼時,在看見同事們連續通宵達旦但毫無進展時,是懷著多么大的惡意持續發起攻擊以達目的。”
2、字節跳動
字節的處理態度是什么?
2024年8月字節已辭退該實習生,并將其行為同步給所在學校和行業聯盟,用以懲戒教育。
11月5日,字節跳動曾發布面向內部全員的《企業紀律與職業道德委員會通報》,進一步披露該事件。通報稱,2024年6月至7月,集團商業產品與技術部門前實習員工田某某,因對團隊資源分配不滿,通過編寫、篡改代碼等形式惡意攻擊團隊研究項目的模型訓練任務,造成資源損耗。公司已與其解除實習協議,同步陽光誠信聯盟及企業反舞弊聯盟,并同步至其就讀學校處理。
11月28日,因田同學毫無悔過之意并在互聯網發布虛假言論詆毀公司,字節跳動起訴前實習生田某某篡改代碼攻擊公司內部模型訓練一案,已獲北京市海淀區人民法院正式受理。
03 田柯宇論文是什么水平?
NIPS best paper:AI界諾獎
NeurIPS(神經信息處理系統會議)是機器學習領域的頂級會議,與ICML和ICLR齊名,其最佳論文獎評選標準非常嚴格。據悉,NeurIPS 2024共收到15671篇有效論文投稿,但最終接收率卻低于去年,僅有25.8%。
“nips是人工智能top1的會議,best paper又是這些論文中top1的存在,可以簡單理解為AI屆諾獎。”
而田柯宇,作為這篇論文的第一作者,貢獻率最大。
對于該論文的質量,一位大廠從業多年的算法工程師王峰表示:
“實至名歸,這篇文章一出來我就說是best paper水平。”
AR形式的生成本身就不弱于difusion,但最大的問題就是AR是一維的,而圖像是二維的,以什么順序進行AR的生成是一個開放性問題。之前tamingtransformer實驗出來是一行一行最好,但在換行時會出現間斷問題;maskgit以及mar等工作是隨機產生一個順序,感覺也很不優雅。
這篇文章創新性地找到了屬于圖像的一維順序:尺度。difusion是從沒什么信息量的噪聲出發,一步一步消除歧義產生樣本,VAR也類似,從低尺度到高尺度,圖像從模糊到清晰來消除歧義,是很符合直覺的做法,讀完讓人有種“就該這么做”的感覺。
在正常的時間線上,目前應該已經推出了在大規模數據上訓練的T21模型甚至T2V模型了。結果因為實習生的個人問題,這些模型并沒有面世,不得不說歷史也是充滿了偶然性,
現在好了,時間線被修復了,best paper的榮譽足以抹平實習生對AR發展帶來的破壞,相信未來的AIGC領域一定有尺度AR的一席之地。
04 各方吃瓜群眾怎么看
觀點一-資深碼農:千萬不要成為我的同事!
不上升問題高度,我就想說一下行內人為啥不給他說話,因為他的所作所為真的戳到了我們痛處
本來,訓十次模型就會有八次結果不符合預期,天天都在想昨天引入了什么變量導致這次的結果這么差?以自己為例,我的心路歷程是:反省數據質量,反省超參,反省 do_sample 時候運氣太差了,反省啟動訓練的時候是不是起錯命令了,反省推理的時候是不是選錯模型了…… 甚至有時候會覺著訓練機器是不是有問題。
每天都已經都快被模型效果不符合預期給逼瘋了,這時候有人告訴你說:以后還應該反省一下同事有沒有在搞破壞,字節就發生過這樣的事情。
fine,thank you。老板惹了你,你不去報復老板,你把同事全給捅了。真是服了,是覺著犧牲這點算力能影響字節上市是怎么了?同事這幾個月養家糊口的工資績效,倒是實打實的被嚯嚯了,還有這幾個月的技術認知也完全得不到成長。如果從學生的視角來看問題,田的行為就像是:自己和導師吵架了,硬要拉著全實驗室一起延畢。
拋開德行不談,這種能寫出 best paper 的人的確是 AI 需要的人才,前提是別成為我的同事
觀點二:不走尋常路,天才無需被定義!
我如果是硅谷大廠高層(幻想時刻),這時正是挖人的大好時機!反正字節這么一告,全中國的大廠高校都肯定拉黑他了。此刻出手802w幫他還債,再讓他欠下7年賣身契當牛馬為我好好干活,田柯宇必然是感激涕零,必是自感飄零半生未遇明主愿拜我為義父。有此呂布加盟,妥善使用,怎么會拿不下新sota!
觀點三:人品比人才重要
這人從進北大開始沒多久就去字節實習,別的不說吧,至少論文是擱字節用人家的資源做出來的吧?做了幾篇論文就覺得自己特牛,就可以攻擊同事的勞動成果了。然后回學校繼續散播謠言拒不認錯嘛。要我說就是該,貪得無厭的結果就是如此。字節可別干什么大發慈悲的事情,這不典型白眼狼嘛。
想起一句話,不失敗一直一帆風順不是啥好事。這人就是過得太順利了,一點挫折都受不了就要爆炸。
安個罪名趕緊丟進去得了,北大還包庇這人,簡直是不嫌丟臉。
關于待遇,字節給研發的實習生一天400,這待遇比一般普通人正式工打工都多了,哪有什么對薪資待遇的不滿呢?
觀點四:這已經屬于刑事犯罪了
沒讓他進去吃國家飯呢,道歉索賠已經很體面了。 而且這事本質上已經屬于刑事犯罪范疇了。
我覺得字節已經很珍惜人才了,這次要是字節把這人送到公安局去調查,嚴格來講,他這是破壞計算機信息系統罪,這可是公訴的刑事案件。就算判得最輕,緩刑肯定也跑不了,還得留個案底。
一旦有了案底,大學畢業不好弄,找工作更是別想了。在中國,這人基本就廢了一大半,出國辦簽證也難上加難。
這哥還抽象得很:
字節都打算放他一馬只通知北大,誰知道他自己去報警了……北大這臉丟的是真大了hhhhhh
本文來自碼客人生,未經授權禁止轉載
【有獎調研】2024年了,開發者們過得還好嗎?碼客人生開啟了新一輪的程序員幸福指數問卷調查,參與問卷調研:https://dworks.zhiding.cn/f/DecZmP,幸運用戶還可獲得50元京東卡。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.