白交 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

有在離譜。

高分論文因?yàn)闆]有引用先前的研究而被ICLR拒稿了？！

于是作者提起上訴，審稿主席們推翻之前的決定，最終論文被接收并選為Spotlight。

本以為這場鬧劇就這么結(jié)束了。

沒想到，誒，還牽出更離譜的事兒。

該論文的作者舉報(bào)，所謂「先前的研究」本身有實(shí)驗(yàn)結(jié)果矛盾，甚至還涉嫌抄襲他們的成果，拿他們的論文當(dāng)大模型語料用Claude生成論文等不當(dāng)行為。但卻被COLM 2024接收。

基于以上原因，他們拒絕引用該論文。

其實(shí)啊，這事兒他們之前爭論過，如今又被熱心網(wǎng)友扒了出來，雙方作者又透露了更多細(xì)節(jié)。

來來來，速來吃個(gè)瓜。

因?yàn)闆]有引用研究而被拒稿

首先來看看這篇ICLR 2025 Spotlight論文說了啥。

他們確定了在Scaling Law范式中強(qiáng)模型崩潰現(xiàn)象的存在，即由于訓(xùn)練語料庫中的合成數(shù)據(jù)而導(dǎo)致的嚴(yán)重性能下降，并且研究了模型大小的影響。

即便只有1%的合成數(shù)據(jù)，也會(huì)導(dǎo)致模型崩潰，換句話就是，訓(xùn)練集越來越大，也不能提高性能。

由于這篇論文「質(zhì)量上乘，文筆流暢，并具有實(shí)用價(jià)值，以及理論結(jié)果的合理性」，審稿組一致給出積極的評價(jià)。

然而就在討論期間，有人發(fā)布了條公開評論，他們故意沒有引用一篇與他們這個(gè)成果密切相關(guān)的文章：

• Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data

該論文最初發(fā)表于2024年10月的COLM 2024。

評論的這個(gè)人Rylan Schaeffer正好是這個(gè)篇論文的共同一作。

在這篇長文中，他主要強(qiáng)調(diào)了三點(diǎn)：

1、與他們及先前的研究結(jié)論完全矛盾，此前他們表明，即使真實(shí)數(shù)據(jù)的比例消失，模型崩潰也可以被避免。

2、里面的實(shí)驗(yàn)設(shè)置和結(jié)果引用的是他們的論文，但都沒有引用。

3、作者是故意沒有引用的。

而按照ICLR的要求，根據(jù)既定的良好科學(xué)行為規(guī)范，應(yīng)引用并適當(dāng)討論密切相關(guān)的先前研究（發(fā)表于2024年7月1日之前）。

但要是不知道相關(guān)成果的話可以另說，但關(guān)鍵是作者知道這一研究，但是故意不引用。

對此，作者進(jìn)行了一一回應(yīng)。當(dāng)中表示，他們中間有過交流，但是對方的技術(shù)貢獻(xiàn)比較薄弱，結(jié)論還存在誤導(dǎo)/不準(zhǔn)確。

還有個(gè)關(guān)鍵點(diǎn)是，這篇 COLM 2024 論文發(fā)表于去年10月，而 ICLR 審稿要求相關(guān)論文要是在 2024 年 7 月 1 日之后其實(shí)可以無需引用。

對于這種「不當(dāng)行為」，評審AC就覺得，任何作者都不應(yīng)拒絕引用在同行評審會(huì)議上發(fā)表的密切相關(guān)的先前研究，即使他們可能不同意先前研究的論點(diǎn)、質(zhì)量或方法論。而且，還應(yīng)該就先前研究進(jìn)行批評。

基于這樣的邏輯，AC建議拒稿。

不過在專家組討論之后，還是一致投票決定作者無需引用該 COLM 論文。

• 由于被拒的主要原因是缺少引用，且該論文在其他方面獲得了積極評價(jià)，因此該論文被接受。

并且被選為Spotlight。

模型崩潰到底誰成果？

本來這是去年的瓜，這周末突然被一熱心網(wǎng)友翻了出來。

然后又炸出ICLR的原作者，拋出了更多細(xì)節(jié)：我們拒絕引用該論文，因?yàn)樵撜撐淖髡叽嬖趪?yán)重的不當(dāng)行為。

比如抄襲他們之前的工作，并且將他們的論文塞進(jìn)大模型，讓AI生成另一篇論文，違反IRB等。

因?yàn)樵诠_論壇OpenReview上講不太合適，但他們上訴時(shí)已經(jīng)提供了詳細(xì)的證據(jù)。

并且，這也不是第一次說明他們的不當(dāng)行為了。

早在去年7月，他們就有過一次爭論。

起因是合成數(shù)據(jù)導(dǎo)致模型崩潰這一發(fā)現(xiàn)登上了Nature，結(jié)果引發(fā)了不小的熱議。

被指抄襲的那個(gè)人Rylan Schaeffer就說了一嘴，你們要是想了解模型崩潰，可以看看我們COLM 2024的論文。

然后這個(gè)高分論文的紐約大學(xué)教授Julia Kempe就站出來說明了他們的各種行為。

包括不限于，他們給「我們」看到的初始版本，沒有對一些此前關(guān)鍵研究進(jìn)行充分討論。

他們的結(jié)論存在誤導(dǎo)，其理論基于「我們」工作的一個(gè)微不足道的推論。

符號公式啥的也十分相似。。。

甚至于說，「我們」的實(shí)驗(yàn)還被喂給大模型投喂以生成他們的論文。

而他們只是提前預(yù)料到了「我們」后續(xù)的論文。該論文表明，人類反饋可以挽救模型崩塌的問題。

而在Rylan Schaeffer這邊，他們的核心觀點(diǎn)在于，他們抱怨的不是「沒有被引用」這件事情，而是說選擇性地省略了之前的研究，從而制造了一種誤導(dǎo)性的說法，即任何數(shù)量的合成數(shù)據(jù)都可能有害。

并且在今年3月，他還為此發(fā)表了篇立場文章：模型崩潰并不意味著你的想法。

谷歌的科學(xué)家也表達(dá)了類似的想法：

• 如果論文的結(jié)論涉及合成數(shù)據(jù)的問題，也許首先要看他們是如何生成這些數(shù)據(jù)的

而“強(qiáng)模型崩潰”的作者就把相當(dāng)于將之前合成再合成的數(shù)據(jù)集拿過來再訓(xùn)練出一個(gè)模型，并添加了十幾頁的數(shù)學(xué)來證明其背后的理論依據(jù)。

至于孰對孰錯(cuò)，還是再讓子彈飛一會(huì)兒。

對于這件事兒，你怎么看呢？

參考鏈接：
[1]https://openreview.net/forum?id=et5l9qPUhm
[2]https://x.com/RylanSchaeffer/status/1816535790534701304
[3]https://x.com/suchenzang/status/1910783588943176128
[4]https://arxiv.org/abs/2503.03150
[5]https://arxiv.org/pdf/2410.04840

[6]https://arxiv.org/abs/2404.01413