99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

50美元訓練出DeepSeek R1?

0
分享至


文:王智遠 | ID:Z201440

昨天下午,一個消息在科技圈傳起來了。

說李飛飛團隊花了50美元就訓練出了一個和DeepSeek R1差不多厲害的AI推理模型。這聽起來簡直像科幻小說的情節,但事實真的如此嗎?

我趕緊看了下研究論文,發現并不是這樣。

先說說這個模型是怎么來的。其實,李飛飛團隊并沒有完全從頭開始訓練一個新的模型。這個名為S1的模型,實際上是基于阿里云的通義千問(Qwen)模型進行監督微調的結果。

就像在已經蓋好的大樓上加點裝飾一樣。所以,所謂的“50美元奇跡”,是站在了別人已經搭好的高臺上才做到的。

既然是微調,具體是怎么微調的呢?主要有兩點:

  • 精心挑選數據
  • 使用高效訓練

他們找了一個很小的數據集,只有1000個問題,但這些問題都是精心挑出來的,難度高、種類多,質量還特別好。這些數據是從谷歌Gemini 2.0 Flash Thinking Experimental模型中蒸餾出來的,就像把精華部分提取出來一樣。

訓練過程是,他們用了16臺很厲害的電腦(Nvidia H100 GPU),訓練時間不到30分鐘,總共花了不到50美元。就這樣,S1模型在有限的資源下實現了性能的提升。

我一聽,這不就像去網吧借了幾臺電腦,花了點零花錢,就開發出了一款王者榮耀一樣。中文自媒體最喜歡這種噱頭,各種蹭熱點,大家都知道,現在DeepSeek R1特別火,誰都想在熱點上分一杯羹。但這種操作,確實有點噱頭了。

不過,我覺得,雖然這個方法聽起來很厲害,但能不能真的推廣開來,還得好好思考一下。

為什么呢?

首先,這個方法太依賴通義千問模型了。如果沒有強大的基礎,這個模型就沒辦法表現得那么好。這就像是搭積木,底下的積木要是不穩,上面再怎么裝飾也沒用。

然后,1000個數據在處理很復雜的問題時可能不夠用。畢竟,有時候,我們要更多的數據來讓模型更聰明。而且,這種依賴外部模型進行微調的方式還可能引發知識產權的問題。

比如,大家都用別人的模型來訓練自己的模型,那原來的模型開發者是不是應該得到一些回報呢?

不過,盡管有這些問題存在,我認為,李飛飛團隊的研究還是給了我們很多啟發。即:可以花很少的錢,也能訓練出很厲害的AI模型。因為,這對于小公司、個人開發者,還有那些教育資源不夠的地方來說,是個很大的鼓舞。

但是,這個模型到底能不能商用呢?

這又是一個問題。雖然訓練成本降低了,但商用還要考慮很多因素。比如:模型的穩定性和可靠性。比如,DeepSeek R1雖然訓練成本低,但它的推理成本其實也不低。而且,訓練模型只是第一步,模型的維護和更新也需要持續投入。

我覺得,這種小模型的確是一種探索。像我前一段時間本地部署了兩個模型,電腦熱得可以蒸雞蛋。那時,我在想,要是能再小點、再聰明點,就好了。

總之,雖然「50美元訓練出AI模型」聽起來很誘人。

但我們還是要理性看待這件事,它并不是說AI技術一下子就變得特別簡單了,而是在特定的條件下,找到了一種新的方法;我們不能因為這個,就忽略基礎研究和大規模投入的重要性。

不過,這也確實是好消息,說明AI技術正在朝著更平民化的方向發展。希望未來,每個電腦上都能有一個小模型。到時候,只要對著電腦說說話,就能搞定很多任務,那該多好。

報告參考:

[1].論文:https://arxiv.org/html/2501.19393v1

[2].GitHub:https://github.com/simplescaling/s1



特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
4月25日俄烏:特朗普繼續為俄開脫,俄軍少將莫斯科被炸身亡

4月25日俄烏:特朗普繼續為俄開脫,俄軍少將莫斯科被炸身亡

山河路口
2025-04-25 19:35:58
殺害最小人質恐怖頭目全家被以色列送上路

殺害最小人質恐怖頭目全家被以色列送上路

移光幻影
2025-04-25 11:31:56
深夜23點!山東泰山正式官宣,崔康熙鄭重表態,4人缺席魯滬大戰

深夜23點!山東泰山正式官宣,崔康熙鄭重表態,4人缺席魯滬大戰

璞玉話體壇
2025-04-26 08:41:36
2024年浙江公安查辦侵犯知識產權案件1923起 同比增長63.0%

2024年浙江公安查辦侵犯知識產權案件1923起 同比增長63.0%

環球網資訊
2025-04-25 23:28:19
昆明“大器史局長”婚內出軌!小三:床上,他帶我去天堂!

昆明“大器史局長”婚內出軌!小三:床上,他帶我去天堂!

文刀萬
2024-04-09 10:58:09
出差15天,公婆和小姑住進陪嫁房,施工員老公的解釋讓我果斷離

出差15天,公婆和小姑住進陪嫁房,施工員老公的解釋讓我果斷離

施工員小天哥
2025-04-25 13:24:01
北京地鐵臟衣服乘客家屬發聲感謝,外地人也看出北京人的講究

北京地鐵臟衣服乘客家屬發聲感謝,外地人也看出北京人的講究

九方魚論
2025-04-26 07:42:03
不是青島,王睿澤官宣,加盟新球隊,已抵達廣東,杜鋒期待

不是青島,王睿澤官宣,加盟新球隊,已抵達廣東,杜鋒期待

東球弟
2025-04-26 10:47:02
美國政府瘋狂刪除科研數據,科學家連夜保存研究心血:我們必須爭分奪秒

美國政府瘋狂刪除科研數據,科學家連夜保存研究心血:我們必須爭分奪秒

紅星新聞
2025-04-25 15:47:11
特朗普麻煩大了?我方甩出最大“王牌”,不是美債,美國絕沒料到

特朗普麻煩大了?我方甩出最大“王牌”,不是美債,美國絕沒料到

傲氣經說
2025-04-26 11:18:02
再不談就晚了,印度開始拉閘斷水,中美俄反應一致,巴軍出現異動

再不談就晚了,印度開始拉閘斷水,中美俄反應一致,巴軍出現異動

老謝談史
2025-04-26 11:57:54
麗澤路,今晨開通!

麗澤路,今晨開通!

BRTV新聞
2025-04-26 10:33:26
傻子入洞房不懂,還要新娘教

傻子入洞房不懂,還要新娘教

文雅筆墨
2025-04-25 12:03:14
突發!遼寧某職校宿舍發生命案,疑似有人傷亡,官方卻保持沉默

突發!遼寧某職校宿舍發生命案,疑似有人傷亡,官方卻保持沉默

平老師666
2025-04-26 11:47:47
女生之間的聊天尺度有多大?哈哈,全都是虎狼之詞啊!

女生之間的聊天尺度有多大?哈哈,全都是虎狼之詞啊!

書畫藝術收藏
2025-04-22 19:40:04
美國再次天塌,沙特搶先與中國簽署重磅協議,特朗普無計可施?

美國再次天塌,沙特搶先與中國簽署重磅協議,特朗普無計可施?

文雅筆墨
2025-04-25 19:57:28
研究發現:若晚餐經常吃太早,不超半年,胰腺或迎來6種不良變化

研究發現:若晚餐經常吃太早,不超半年,胰腺或迎來6種不良變化

朗威游戲說
2025-04-24 08:20:00
美艦橫穿臺海!不到12小時我方傳來消息,4艘055同時開建!

美艦橫穿臺海!不到12小時我方傳來消息,4艘055同時開建!

阿纂看事
2025-04-24 11:45:14
憤怒至極!中國學生遭外籍生群毆滿臉是血,網友:學學哈工大!

憤怒至極!中國學生遭外籍生群毆滿臉是血,網友:學學哈工大!

侃故事的阿慶
2025-04-26 07:50:36
真是天佑中華!中美博弈的關鍵時刻,中國又傳來重大喜訊!

真是天佑中華!中美博弈的關鍵時刻,中國又傳來重大喜訊!

洞悉評說
2025-04-25 15:29:07
2025-04-26 15:39:00
智遠同學 incentive-icons
智遠同學
暢銷書《復利思維》作者;精神生活與商業探索,關注科技人文、消費電商、品牌營銷、商業認知思維等方面。
408文章數 88關注度
往期回顧 全部

科技要聞

李斌:對蔚來公司四季度盈利非常有信心

頭條要聞

男子炒股11年賺6000萬:初始本金150萬 曾1天虧1100萬

頭條要聞

男子炒股11年賺6000萬:初始本金150萬 曾1天虧1100萬

體育要聞

去更大的舞臺追夢 專訪中國男籃國手楊瀚森

娛樂要聞

金掃帚獎出爐,包貝爾意外獲“影帝”

財經要聞

韓國的"宇樹科技" 是怎樣被財閥毀掉的?

汽車要聞

充電5分鐘續航100公里 探訪華為兆瓦超充站

態度原創

房產
教育
親子
公開課
軍事航空

房產要聞

逆勢大幅漲價!最高2.8萬/平!長天雲汀開盤又賣爆了!

教育要聞

網民反映孩子“在華海中學遭霸凌”,海口市教育局回應正核查

親子要聞

孩子的教育要正確,家長和老師共同配合

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

印巴交火 從“斷水”到“反制”

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 台江县| 张家港市| 姚安县| 察雅县| 若尔盖县| 元朗区| 增城市| 信丰县| 渭南市| 文安县| 祁阳县| 雷山县| 临沧市| 三门县| 潮州市| 台东市| 新巴尔虎左旗| 怀来县| 扬州市| 凭祥市| 渭南市| 香格里拉县| 永德县| 安乡县| 屏山县| 久治县| 达尔| 眉山市| 遵义市| 上栗县| 吉安县| 收藏| 邢台市| 阿拉善右旗| 虹口区| 镇江市| 三原县| 博湖县| 宜良县| 弥渡县| 诸暨市|