那么多顯卡的訂單，那么高AI企業的估值，似乎都成了覆巢之下的鳥卵。

風大浪高，點擊卡片，關注防迷路

誰能想到，讓美國AI神話，數十萬億的估值，碰到存亡危機的，竟然不是大選選上來的特朗普和他不靠譜的政策。

昨天，著名科技媒體The Information發表了一篇可能動搖了整個AI圈估值邏輯的文章。

這篇名為《 OpenAI Shifts Strategy as Rate of ‘GPT’ AI Improvements Slows》的文章指出了一個重大的問題，Scaling Law可能失效了。

所謂 Scaling Law，簡單講就是“縮放定律”，是指系統或過程在不同尺度下表現出相似或相同行為的規律。OpenAI四年前曾經發布過一篇論文，模型的性能會隨模型參數量、數據量、計算資源增加而指數提升。

這個定律對現在的生成式大模型AI來說，至關重要。只要Scaling Law 還成立，那么大模型的能力就可以伴隨著堆更多的算力、搞更多的參數，喂更多的數據來實現最終的通用人工智能AGI。

這個對AI圈的估值，極端重要。因為畢竟AI圈現在幾十萬億的估值，英偉達3.6萬億人類歷史上最昂貴公司的加碼，可不是現在幾個AI聊天機器人或者視頻圖畫生成工具能支撐的，這里邊可都包含了對通用人工智能AGI的預期。

如果Scaling Law不再成立，通過單純放大模型，增加算力不能到達AGI，那么那么多的cuda顯卡的訂單，那么高AI企業的估值，可就要付之東流了。美國21世紀最大的生產力革新點，美國唯二超過中國的科技制高點，可就成了明日黃花。

決不能出問題的Scaling Law，似乎出了問題。

碰上了天花板

在AI狂飆開始的2021年，就有人提出，Scaling Law可能有上限。但是隨著chatGPT 2.0 3.0 3.5的不斷迭代和技術飛躍， Scaling Law的正確性深入人心。

直到ChatGPT 4.0 把人類現存的數據全部吃完。我們似乎碰上了天花板。

最直接的結果就是人工智能旗艦OpenAI的進步速度，停止了。

根據The Information 給出的信息，OpenAI下一代ChatGPT 5的訓練出現了重大瓶頸。他們公布的大模型GPT Orion，能力上升的很快，大約只用了20%的訓練量，就達到了ChatGPT 4的水平，但OpenAI的研究者發現，后邊增加訓練量，GPT Orion的水平提升卻很慢很微小。

在文本處理上新模型 表現的確更好一點，但在編碼等任務上可能還沒法無法超越之前的模型。

結果就是，在吃掉人類互聯網上所有數據之后，GPT Orion的水平，并沒有比ChatGPT 4o高太多，遠不及ChatGPT 2到ChatGPT3，或者ChatGPT 3.5到ChatGPT 4的那種飛躍。這導致OpenAI的下一代AI，GPT Orion沒法被命名為ChatGPT 5。

為了突破數據用光的問題，OpenAI只能使用通過AI自己生產的“合成數據”來訓練新的模型。

結果就是新模型用上老模型生產的合成數據，行為模式和性能表現變得跟老模型極其相似，甚至老模型出現的那些AI幻覺，也都全繼承了下來。

Garbage in Garbage out。使用成本暴漲，性能提升微小，甚至最有價值的編程能力還劣化了，今年5月，Altman曾告訴員工，他預計下一代Orion很可能會比一年前發布的最后一個旗艦產品模型顯著提升，可這個Orion表現，卻遠未達到目標。

這導致OpenAI開始脫離真正AI智能的提升，反而追求一些“奇技淫巧”的應用，比如讓現有的AI模型來控制操作系統，模擬人的操作。

這就好比菊花廠不去搞科技基座和芯片突破，學起電商公司搞社區團購了。

這個Scaling law的天花板，不光OpenAI撞上了，其他各家也都是類似的情況。

OpenAI之外，谷歌的大模型 Gemini 2.0，暴力推模型規模的臉書LLama 3.x，Anthropic的Opus 3.5模型似乎都碰上了大規模提升token數量，但性能沒有提升的問題。

OpenAI前CTO，ChatGPT的締造者，Ilya Sutskever作為大模型scaling law的提出者和最早暴力scaling大力出奇跡的開拓者，最近在路透社的采訪中表示，擴大 訓練的性能提升，已經趨于平穩。 也就是說，用大量未標記數據來理解語言模式和結構的訓練階段到頭了。暴力擴大規模的老方法失效了，他離開OpenAI之后，準備尋找一種新的替代方法

谷歌研究院和約翰霍普金斯大學在最新的論文中指出：對于潛在擴散模型，模型不一定是越大越好。

“2010年代是scaling的時代，現在，我們再次回到了奇跡和發現的時代。每個人都在尋找下一個奇跡。”

俄裔科學家Ilya才是創造ChatGPT的那個人，Altman不過是不那么懂技術的前臺商人。現在前臺商人把后臺科學家趕走了，創始團隊所有技術大佬全逼跑了，只剩兩個負責商務的，OpenAI真的能再創奇跡？

幕后的投資人們似乎也焦慮起來。

OpenAI股東，硅谷AI投資大佬 Ben Horowitz在最近一次YouTube直播中提到，GPU的性能在不斷提升，幾萬幾十萬張gpu的集群規模也在指數提升。這背后是投資人投資規模的暴力提升和資金的巨量燃燒。但模型的性能卻沒有響應的提升。GPT Orion的成本可能是上一代ChatGPT 4o的6倍倒30倍，但性能提升卻遠遠沒有反映出成本的上升。

超大規模語言模型的ROI實在已經低到讓人發指的程度，同時幾十萬張顯卡同時工作幾個月，投入數千萬甚至上億美元訓練一次（1.8萬億參數的ChatGPT 4 訓練一次約6300萬美元），結果卻不見得能比之前的模型強多少，這投資故事難以繼續下去了。

OpenAI之所以不open，不是為了保護人類不被AI毀滅，而是因為他們構建的大模型是可復制的，互聯網大廠及AI頭部初創企業，都會有能力構建出超越GPT-4的大模型。

投資人焦慮了，問題大條了。畢竟幾千億幾萬億的估值，還得他們真金白銀的支撐。

OpenAI倒也沒有坐以待斃。他們一方面組織了一個叫做foundation的小組，專門負責解決訓練數據用完的問題。另一方面，他們采用了所謂數據鏈推理模型。

用老模型生成合成數據訓練新模型，新模型越來越像老模型

在新的Orion模型上，除了堆砌訓練量，OpenAI找到了一個所謂新的scaling law齒輪。除了在訓練模型上大力磚飛，也在模型推理上投入更多資源。

“僅需20秒的推理時間便能提升模型性能，效果相當于對模型進行10萬倍的擴展和更長時間的訓練”

這就是新的思維鏈模型。

但這里就出現了一個問題，所謂一下子可以考慮兩萬步的思維鏈模型，本質依靠的是模型本身產生出多個結果，然后從中選出最佳的那個，從而提升模型的能力。

那以后大模型可能就不是最佳的方案，一個尺寸合適的模型配上更多的推理時間可能效果更好。結果就是對于大規模預訓練集群的需求下降，而分布式的、基于云的推理服務器的需求上升。

結果就是在訓練集群有cuda護城河的英偉達可以一家獨大，真的變成訓練和推理二分天下的時候，在推理市場并沒有那么強的英偉達可就要吃癟了。比如TPU、LPU，可能就比GPU更高效。

事實上，根據 臺積電最新的財報，其10月銷售額同比增29.2％，較9月近40%的增幅大幅放緩，為2月以來最低增速。彭博文章指出，臺積電10月的銷售數據對人工智能芯片需求的持久力敲響了警鐘。

英偉達成敗與否，還能說肉爛在鍋里（Groq也是美國企業）。但另一個成本問題可能更加棘手。

大模型的智能發展停滯了，但大模型的推理成本上升可是非常迅速，O1的推理成本達到了ChatGPT 4的25倍以上，100次推理成本高達42美元。幾乎是已經用不起的模型了。

和人類思維水平相當的計算量大概是 10^35 FLOP ，也就是要在當前最大模型的基礎上額外增加 9 個數量級的計算能力。就算未來我們能通過硬件和算法進一步優化，9 個數量級的提升真的可能嗎？成本和電力真的夠支撐這么巨大的模型嗎？

不管從哪個角度看，AI發展的基石，Scaling Law似乎都出了大問題。

覆巢之下，安有完卵？scaling law倒下來，一切都要重估。

風大浪高，有些不方便說的，可以點擊下邊卡片移步可以留言的小號聊一聊，也可關注筆者微博賬號 @躺平學副教授