如果您希望可以時常見面，歡迎標(biāo)星收藏哦~

來源：內(nèi)容來自半導(dǎo)體行業(yè)觀察綜合，謝謝。

據(jù)theinformation報道，Nvidia 完成了對 GPU 云初創(chuàng)公司 Lepton 的收購。

資料顯示，Lepton AI成立于2023年，由 Meta Platforms Inc. 人工智能實(shí)驗室前研究員賈揚(yáng)清和Junjie Bai 聯(lián)手創(chuàng)立。

兩人幫助開發(fā)了多種行業(yè)標(biāo)準(zhǔn)的 AI 工具，包括 Facebook 母公司流行的模型開發(fā)框架 PyTorch。據(jù)報道，Lepton AI 擁有約 20 名員工，其客戶包括多家風(fēng)險投資支持的初創(chuàng)公司。

該公司的同名云平臺針對 AI 工作負(fù)載進(jìn)行了優(yōu)化。客戶可以使用它來訓(xùn)練 AI 模型和執(zhí)行推理，即在訓(xùn)練完成后在生產(chǎn)中運(yùn)行神經(jīng)網(wǎng)絡(luò)的任務(wù)。

Lepton AI 提供了一個可視化界面，用于在其云中設(shè)置訓(xùn)練集群。該公司提供多種 Nvidia 顯卡供您選擇。對于同時訓(xùn)練多個模型的團(tuán)隊，該平臺提供了一種工具，可用于集中管理分配給每個項目的硬件數(shù)量。

在訓(xùn)練過程中，AI 模型有時會遇到錯誤，從而降低其輸出質(zhì)量。Lepton AI 平臺提供了檢測此類錯誤的功能。它還能發(fā)現(xiàn)更細(xì)微的技術(shù)問題，例如神經(jīng)網(wǎng)絡(luò)在訓(xùn)練期間可能使用的內(nèi)存超過應(yīng)有的內(nèi)存的情況。

模型開發(fā)完成后，Laptop AI 客戶可以將其部署在公司云中經(jīng)過推理優(yōu)化的實(shí)例上。該平臺承諾提供每秒超過 600 個令牌的處理速度，同時將延遲保持在 10 毫秒以下。當(dāng)需求增加時，自動擴(kuò)展功能會自動向客戶的推理環(huán)境添加更多硬件資源。

Lepton AI 使用 vLLM 等開源工具來加速推理。該技術(shù)將類似的 LLM 提示合并為單個請求，從而減少了模型必須執(zhí)行的處理量。開發(fā)人員還使用 vLLM 來減少其模型的內(nèi)存占用。

目前尚不清楚 Nvidia 是尋求收購 Lepton AI 以獲得其機(jī)器學(xué)習(xí)人才，還是計劃繼續(xù)提供這家初創(chuàng)公司的云平臺。該平臺與幾家 Nvidia 主要客戶的產(chǎn)品競爭。其中一家客戶是人工智能云運(yùn)營商 CoreWeave Inc.，該公司計劃于今天晚些時候進(jìn)行首次公開募股。

就在英偉達(dá)可能收購 Lepton AI 的報道發(fā)布幾天前，有消息稱該公司收購了另一家風(fēng)險投資支持的人工智能初創(chuàng)公司 Gretel Labs Inc.。據(jù)報道，這筆交易的價值超過 3.2 億美元。Gretel 提供用于創(chuàng)建合成數(shù)據(jù)的工具，這些數(shù)據(jù)是自動生成的，可用于訓(xùn)練人工智能模型。

對于英偉達(dá)來說，他們也提供云中云服務(wù)，這單收購會讓他們大有裨益。Nvidia 的 DGX Cloud 于 2023 年推出，是在其他公司的云平臺上提供的服務(wù)。云提供商租用 Nvidia 的服務(wù)器并將其部署為云，Nvidia 可以向?qū)で蟠笮?GPU 超級計算機(jī)的企業(yè)營銷和銷售這些云。

谷歌、微軟、甲骨文和 AWS 均采用該產(chǎn)品，其中 AWS 將于2024 年 12 月采用該解決方案。

雖然這看起來很復(fù)雜，但真正開發(fā)和提供自己的云計算平臺將使 Nvidia 成為其一些最大客戶的直接競爭對手——在 2024 年 11 月的 2025 年第三季度財報電話會議上，該公司表示，“云服務(wù)提供商約占我們數(shù)據(jù)中心銷售額的一半，收入同比增長超過 2 倍。”

該公司還擁有新興的云和軟件業(yè)務(wù)，該業(yè)務(wù)直接向企業(yè)出租服務(wù)器并提供用于開發(fā) AI 模型和應(yīng)用程序的軟件。在同一財報電話會議上，Nvidia 表示其軟件、服務(wù)和支持收入創(chuàng)造了 15 億美元的年收入。

該公司去年增加了對云服務(wù)的投資。Nvidia 在其 2024 年 5 月的收益報告中表示，它已承諾在未來幾年內(nèi)至少在云計算服務(wù)上投入 90 億美元，高于 1 月份承諾的 45 億美元。這個數(shù)字包括 DGX Cloud。

半導(dǎo)體精品公眾號推薦

專注半導(dǎo)體領(lǐng)域更多原創(chuàng)內(nèi)容

關(guān)注全球半導(dǎo)體產(chǎn)業(yè)動向與趨勢

*免責(zé)聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個人觀點(diǎn)，半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達(dá)一種不同的觀點(diǎn)，不代表半導(dǎo)體行業(yè)觀察對該觀點(diǎn)贊同或支持，如果有任何異議，歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。

今天是《半導(dǎo)體行業(yè)觀察》為您分享的第4088期內(nèi)容，歡迎關(guān)注。

『半導(dǎo)體第一垂直媒體』

實(shí)時 專業(yè) 原創(chuàng) 深度

公眾號ID：icbank

喜歡我們的內(nèi)容就點(diǎn)“在看”分享給小伙伴哦