在光電混合算力領(lǐng)域,可能很多人都熟悉由美國麻省理工學(xué)院博士畢業(yè)生沈亦晨回國創(chuàng)辦的曦智科技,該公司的創(chuàng)始技術(shù)起源于一篇論文。沈亦晨和他在麻省理工學(xué)院的同學(xué)尼古拉斯·哈里斯(Nicholas Harris)是這篇論文的共同作者,同時他們還曾共同入選 2021 年度《麻省理工科技評論》全球“35 歲以下科技創(chuàng)新 35 人”榜單。
頗為相似的是,同樣依托于這篇論文,哈里斯在美國加州創(chuàng)辦了一家名為 Lightmatter 的公司。就在最近,哈里斯的 Lightmatter 發(fā)布了一系列新產(chǎn)品。
(來源:https://www.linkedin.com/in/nicholas-harris)
此次發(fā)布的第一款新品是一個名為 Passage M1000 的光子超級芯片(下稱“M1000”),該公司表示其能實現(xiàn)全球最快的 AI 互連,并表示其采用突破性的 3D 光子互連層技術(shù),為下一代 AI 基礎(chǔ)設(shè)施的硅設(shè)計提供了最高的帶寬和最大的芯片復(fù)合體。
此次發(fā)布的第二款新品是一個名為 Passage L200 的共封裝光學(xué)器件(下稱“L200”),L200 通過全球首個無邊緣 I/O 實現(xiàn)了整個芯片區(qū)域帶寬的擴(kuò)展。該公司表示這是 AI 領(lǐng)域最快的共封裝光學(xué)器件,并表示其采用革命性的 3D 光子互連解決方案消除了帶寬瓶頸,能使 AI 模型的訓(xùn)練速度提升 8 倍。
Lightmatter 的創(chuàng)始人兼 CEO 尼克·哈里斯(Nick Harris)表示:“帶寬擴(kuò)展已成為 AI 發(fā)展的關(guān)鍵障礙。L200 系列 3D 共封裝光學(xué)解決方案所代表的工程突破,為下一代 AI 處理器和交換機(jī)提供了基礎(chǔ)構(gòu)建模塊。”
毫無疑問,Lightmatter 希望利用光子計算技術(shù)來重塑芯片的通信和計算方式。麻省理工學(xué)院官網(wǎng)在新聞稿中評價稱,本次產(chǎn)品加速了向光速計算邁進(jìn)的步伐。
M1000:能在單一域為數(shù)千個 GPU 提供互聯(lián)支持
M1000 是一款專為下一代 XPU(X Processing Unit)和交換機(jī)設(shè)計的 3D 光子超級芯片,能為要求相對苛刻的 AI 基礎(chǔ)設(shè)施應(yīng)用提供 114 Tbps 的總光帶寬。
M1000 基準(zhǔn)平臺的面積超過 4000 平方毫米,這種基準(zhǔn)平臺是一個多光罩的主動式光子中介層。基于該平臺能夠構(gòu)建全球最大的 3D 封裝裸片復(fù)合體,在單一域中為數(shù)千個 GPU 提供互聯(lián)支持。
(來源:Lightmatter)
在現(xiàn)有的芯片設(shè)計中,處理器、內(nèi)存和 I/O 小芯片的互連帶寬比較有限,因為電 I/O 連接僅限于這些芯片的邊緣。而 M1000 可以在其表面的幾乎任何位置為堆疊的芯片復(fù)合體釋放電光 I/O,成功地克服了上述限制。
M1000 通過大規(guī)模可重構(gòu)波導(dǎo)網(wǎng)絡(luò)來實現(xiàn)全域中介層互聯(lián),這種網(wǎng)絡(luò)能在整個平臺之內(nèi)傳輸高帶寬波分復(fù)用(WDM,Wavelength Division Multiplexing)光信號。其擁有完全集成的光纖接口,支持多達(dá) 256 根光纖的突破性配置。相比傳統(tǒng)共封裝光學(xué)器件(CPO,Co-Packaged Optics)以及同類方案,這讓 M1000 能在更小的封裝尺寸之下實現(xiàn)帶寬性能的數(shù)量級提升。
目前,Lightmatter 正與包括格芯和 Amkor 在內(nèi)的企業(yè)緊密合作,力爭實現(xiàn) M1000 的量產(chǎn)。據(jù)了解,M1000 采用格芯 Fotonix 硅光平臺技術(shù),這一技術(shù)通過將光子元件與高性能 CMOS 邏輯無縫集成至單一晶粒,能構(gòu)建出一種可以隨 AI 需求進(jìn)行擴(kuò)展的量產(chǎn)設(shè)計方案。預(yù)計 M1000 將于 2025 年夏季推出,屆時還將推出由該公司推出的光引擎 Guide。
L200:全球首款 3D 共封裝光學(xué)產(chǎn)品
此次推出的第二款產(chǎn)品 L200,被 Lightmatter 稱為是全球首款 3D 共封裝光學(xué)產(chǎn)品。
L200 旨在與最新的 XPU 和交換機(jī)芯片設(shè)計集成,通過消除互連帶寬瓶頸,實現(xiàn) AI 性能的擴(kuò)展。L200 3D 共封裝光學(xué)系列包括 32Tbps 和 64 Tbps 兩個版本,相比現(xiàn)有解決方案其性能提升了 5 至 10 倍,這讓每個芯片封裝的總 I/O 帶寬超過 200 Tbps。
(來源:Lightmatter)
據(jù)了解,當(dāng)前的帶寬擴(kuò)展遠(yuǎn)遠(yuǎn)不及計算性能的提升。AI 計算的持續(xù)進(jìn)步要求互連技術(shù)發(fā)生根本性變革。當(dāng)前的連接解決方案,包括電、光學(xué)和傳統(tǒng)共封裝光學(xué)都會受到帶寬的限制,因為它們的 I/O 接口僅僅限于芯片的邊緣。
L200 通過全球首個無邊緣 I/O 克服了這些限制,實現(xiàn)了整個芯片區(qū)域帶寬的擴(kuò)展。這種模塊化的 3D 共封裝光學(xué)解決方案利用了通用小芯片互連技術(shù)裸片到裸片(D2D,die-to-die)接口,并促進(jìn)了基于可擴(kuò)展小芯片的架構(gòu)與下一代 XPU 和交換機(jī)的無縫集成。
L200 3D 共封裝光學(xué)集成了 Alphawave Semi 公司的最新小芯片技術(shù),并將通用小芯片互連接口與光通信就緒的串行器/解串器,與 Lightmatter 的光子集成電路技術(shù)加以結(jié)合。
據(jù)介紹,Alphawave Semi 公司的先進(jìn)節(jié)點電子集成電路采用標(biāo)準(zhǔn)晶圓上芯片技術(shù),并在光子集成電路上進(jìn)行 3D 集成。3D 集成技術(shù)使得串行器/解串器 I/O 可以放置在芯片上的任何位置,而不僅僅局限于其邊緣位置,從而能為每個 L200 提供相當(dāng)于 40 個可插拔光收發(fā)器的帶寬。此外,一個封裝中可以集成多個 L200,從而能夠廣泛用于 XPU 和交換機(jī)應(yīng)用。
L200 采用先進(jìn)的冗余設(shè)計和彈性設(shè)計,搭載 Lightmatter 的 Guide 光引擎,每個模塊提供卓越的激光集成度和總光功率,能夠支持 L200 的全帶寬。
目前,Lightmatter 提供兩種產(chǎn)品型號:L200(32Tbps)和 L200X(64Tbps)3D 共封裝光學(xué)引擎。這些解決方案基于 Lightmatter 已經(jīng)過驗證的 Passage 技術(shù)平臺,每個波導(dǎo)/光纖提供 16 個波分復(fù)用波長,并具備最先進(jìn)且完全集成的光子控制能力。
據(jù)了解,L200 專門為大規(guī)模生產(chǎn)而設(shè)計,硅光子工廠和外包封裝測試合作伙伴包括格芯 、日月光半導(dǎo)體和 Amkor。
Lightmatter 的 L200 和 L200X 3D 共封裝光學(xué)芯片將于 2026 年上市,旨在加速下一代基礎(chǔ) AI 模型所需的下一代 XPU 和交換機(jī)的上市時間和性能提升。
(來源:Lightmatter)
Cignal AI 的創(chuàng)始人兼首席分析師安德魯·施米特(Andrew Schmitt)評價稱:“AI 數(shù)據(jù)中心互連面臨著日益增長的帶寬和功耗挑戰(zhàn)。”“共封裝光學(xué)——將光學(xué)器件直接集成到 XPU 和交換機(jī)上——是必然的解決方案。Lightmatter 的大膽方法提供了共封裝光學(xué)的基本要素,并為超大規(guī)模數(shù)據(jù)中心運(yùn)營商和芯片制造商提供了一條實現(xiàn)高性能系統(tǒng)的途徑。”
“生逢其時”的光芯片
當(dāng)前,人類將越來越小的晶體管集成到芯片上的能力,促成了當(dāng)今無處不在的計算時代。但這種方法終于逼近了極限,一些專家宣稱摩爾定律以及與之相關(guān)的登納德縮放定律(Dennard’s Scaling)即將終結(jié)。這些技術(shù)進(jìn)展遭遇瓶頸的時機(jī)可謂糟糕至極。近年來,計算需求尤其是 AI 的爆發(fā)已呈指數(shù)級增長,且毫無放緩跡象。
與此同時,幾十年以來人們一直希望能夠研制出使用光子而不是電子的光學(xué)芯片來進(jìn)行計算任務(wù)。光學(xué)芯片兼具速度快和能耗低的優(yōu)點。然而,讓它們真正運(yùn)行起來并非易事。
2017 年,哈里斯和沈亦晨等同事,共同發(fā)表了上述Nature論文。論文中,他們運(yùn)用光學(xué)芯片的方案,計算出了經(jīng)過傳統(tǒng)方式訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果。
在論文中,他們介紹了一種由 56 個可編程干涉儀設(shè)備構(gòu)成的“光路”,其中干涉儀設(shè)備可以分解并重組光波。這種方法解決了一個正確識別元音的問題,在 180 個案例中它分辨出了四分之三的元音。
雖然這一結(jié)果暫時比不上識別率準(zhǔn)確率超過 90% 的普通計算機(jī),但是該電路的表現(xiàn)尚算亮眼。之后不久,哈里斯和沈奕晨分別在美國和中國創(chuàng)立了各自的初創(chuàng)公司。
一旦這樣的神經(jīng)網(wǎng)絡(luò)能在光學(xué)芯片上實現(xiàn)功能以及訓(xùn)練,一些推理過程例如找出元音對應(yīng)的聲音,就會像光子通過芯片一樣順滑,同時還兼具高速和節(jié)能的優(yōu)點。
在進(jìn)入麻省理工學(xué)院讀博之前,哈里斯曾在半導(dǎo)體公司美光科技工作,研究集成芯片背后的基本器件。這段經(jīng)歷讓他意識到,在每個芯片上塞入更多晶體管的提高計算機(jī)性能的傳統(tǒng)方法已經(jīng)達(dá)到極限。
當(dāng)時,他看到計算領(lǐng)域的路線圖正在放緩,于是想弄清楚如何才能繼續(xù)推進(jìn)它。那么,哪些方法可以增強(qiáng)計算機(jī)的性能?量子計算和光子學(xué)就是其中兩條途徑。
哈里斯來到麻省理工學(xué)院,在電氣工程與計算機(jī)科學(xué)系副教授德克·恩格倫(Dirk Englund)的指導(dǎo)下攻讀博士學(xué)位,研究光子量子計算。作為博士工作的一部分,他構(gòu)建了基于硅的集成光子芯片,該芯片能夠利用光而非電來發(fā)送和處理信息。
這項工作促成了數(shù)十項專利的申請,并在Nature等著名期刊上發(fā)表了 80 多篇研究論文。但在麻省理工學(xué)院,另一項技術(shù)也引起了哈里斯的注意。
“我記得自己走過大廳,看到學(xué)生們從這些禮堂大小的教室里蜂擁而出,觀看實時轉(zhuǎn)播的講座視頻,聆聽教授們講授深度學(xué)習(xí)。”哈里斯告訴媒體,“校園里的每個人都知道深度學(xué)習(xí)將會是一件大事,于是我開始更多地了解它,我們意識到,我正在為光子量子計算構(gòu)建的系統(tǒng)實際上可以用來進(jìn)行深度學(xué)習(xí)。”
哈里斯原本計劃在獲得博士學(xué)位后成為一名教授,但他意識到通過創(chuàng)業(yè)可以吸引更多資金并更快地實現(xiàn)創(chuàng)新,于是他與同樣在恩格倫實驗室學(xué)習(xí)的達(dá)里烏斯·布南達(dá)爾(Darius Bunandar,2019 屆麻省理工學(xué)院博士畢業(yè)生)以及托馬斯·格雷厄姆(Thomas Graham,2018 屆麻省理工學(xué)院 MBA 畢業(yè)生)聯(lián)手。這三位聯(lián)合創(chuàng)始人憑借在 2017 年麻省理工學(xué)院 10 萬美元創(chuàng)業(yè)大賽中的勝利,成功進(jìn)軍創(chuàng)業(yè)領(lǐng)域。
重新思考芯片的生命線
在 Lightmatter,哈里斯希望通過重新思考芯片的生命線來延續(xù)計算的顯著進(jìn)步。該公司不僅依賴電力,還利用光來進(jìn)行數(shù)據(jù)處理和傳輸。該公司的前兩款產(chǎn)品分別是一種專門用于 AI 運(yùn)算的芯片和一種促進(jìn)芯片間數(shù)據(jù)傳輸?shù)幕ミB器,同時它們利用光子和電子來驅(qū)動更高效的運(yùn)算。
哈里斯目前正在解決的兩個問題是:芯片如何交流?如何進(jìn)行 AI 計算?Lightmatter 在此之前的兩款產(chǎn)品 Envise 和 Passage,能夠同時解決這兩個問題。
鑒于問題的嚴(yán)重性和對 AI 的需求,Lightmatter 在 2023 年籌集了近 3 億美元的資金,估值達(dá)到 12 億美元。哈里斯告訴媒體:“我們將在由數(shù)十萬個下一代計算單元組成的互連技術(shù)之上構(gòu)建平臺。如果沒有我們正在開發(fā)的技術(shù),這根本不可能實現(xiàn)。”
據(jù)了解,Lightmatter 的上一代產(chǎn)品 Envise 芯片實現(xiàn)了電子擅長的計算部分比如存儲功能,同時還能將其與光擅長的方面相結(jié)合,例如執(zhí)行深度學(xué)習(xí)模型中大規(guī)模的矩陣乘法運(yùn)算。
利用光子學(xué)可以同時執(zhí)行多項計算,因為數(shù)據(jù)是以不同顏色的光的形式輸入的。一種顏色的光可能代表一張狗的照片,另一種顏色的光可能代表一張貓的照片,還有一種顏色的光可能代表一棵樹。通過在同一時間通過同一個光學(xué)計算單元,即讓這個矩陣加速器執(zhí)行所有這三種操作,就能提高單位面積的計算能力,并能重復(fù)利用已有的硬件,從而能夠提高能源效率。
光通道利用光的延遲和帶寬優(yōu)勢,以類似于光纖電纜利用光長距離傳輸數(shù)據(jù)的方式,將處理器連接起來。它還使整個晶圓大小的芯片能夠作為單個處理器運(yùn)行。在芯片之間傳輸信息對于運(yùn)行大規(guī)模服務(wù)器群至關(guān)重要,這些服務(wù)器群為云計算和像 ChatGPT 這樣的 AI 模型提供支持。
據(jù)預(yù)測,到 2040 年,全球約 80% 的能源使用將用于數(shù)據(jù)中心和計算,而 AI 將占據(jù)其中的很大一部分,當(dāng)我們審視這些 AI 大模型的訓(xùn)練計算部署時,就會發(fā)現(xiàn)它們將使用數(shù)百兆瓦的電力。它們的用電量達(dá)到了城市的規(guī)模。
Lightmatter 目前正與芯片制造商和云服務(wù)提供商合作,以實現(xiàn)大規(guī)模部署。哈里斯指出,由于該公司的設(shè)備是在硅片上運(yùn)行的,因此可以通過現(xiàn)有的半導(dǎo)體制造設(shè)施進(jìn)行生產(chǎn),而無需對工藝進(jìn)行大規(guī)模更改。
未來,該公司將繼續(xù)研究計算機(jī)的所有部件,以找出光可以在哪些方面加速它們,使它們更節(jié)能、更快。未來,Lightmatter 希望能夠助力于構(gòu)建下一代計算機(jī),而這一切都將以光為中心。
參考資料:
https://www.linkedin.com/in/nicholas-harris-7114b233/
https://mp.weixin.qq.com/s/pcytbDIzrEJ3T9s69afMZg
https://lightmatter.co/
運(yùn)營/排版:何晨龍
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.