杭州“六小龍”之一的群核科技近日在GTC2025全球大會(huì)上低調(diào)開(kāi)源了一款空間理解模型SpatialLM。

SpatialLM是一個(gè)基于大語(yǔ)言模型的3D場(chǎng)景語(yǔ)義生成框架。通過(guò)一段視頻輸入，就能準(zhǔn)確認(rèn)知和理解此視頻對(duì)應(yīng)的空間點(diǎn)云數(shù)據(jù)，并對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行推理和場(chǎng)景描述，最終將提取的信息以自然語(yǔ)言的形式呈現(xiàn)。

SpatialLM運(yùn)行原理

這款中國(guó)公司低調(diào)開(kāi)源的模型一經(jīng)推出，在國(guó)外LinkedIn、Twitter和技術(shù)圈受到熱捧。在最新HuggingFace趨勢(shì)榜上，群核科技SpatialLM登上趨勢(shì)榜第二位，有意思的是趨勢(shì)榜前三家均是杭州公司，分別為Deepseek、群核科技SpatialLM、通義千問(wèn)Qwen2.5-Omni，領(lǐng)先于英偉達(dá)、谷歌等公司模型。

HuggingFace趨勢(shì)榜

群核科技創(chuàng)始人黃曉煌接受國(guó)際媒體彭博社采訪時(shí)直言：“開(kāi)源是為了推動(dòng)具身智能技術(shù)奇點(diǎn)到來(lái)。”

海外平臺(tái)用戶對(duì)SpatialLM的自發(fā)分享

不同于傳統(tǒng)大語(yǔ)言模型，SpatialLM突破了對(duì)物理世界幾何與空間關(guān)系的理解局限，賦予機(jī)器類人的空間認(rèn)知和解析能力。

目前，SpatialLM已在HuggingFace、GitHub、魔搭社區(qū)等平臺(tái)面向全球開(kāi)發(fā)者開(kāi)源。

雖然行業(yè)已有對(duì)圖像、視頻進(jìn)行參數(shù)化描述模型，比如Meta此前發(fā)布的SceneScript模型。但SpatialLM的獨(dú)特之處在于：

1、相比Meta需要依賴其眼鏡的定制化模式，SpatialLM設(shè)定于面向普通相機(jī)、手機(jī)的視頻作為輸入，因此更具通用性。 2、不同于傳感器對(duì)物理世界的感知，SpatialLM使用大語(yǔ)言模型，最終輸出是對(duì)3D場(chǎng)景的自然語(yǔ)言描述，未來(lái)還將支持原生自然語(yǔ)言與場(chǎng)景數(shù)據(jù)交互。 3、更重要的是，SpatialLM支持對(duì)物理世界中空間信息的認(rèn)知理解，和結(jié)構(gòu)化描述。群核科技本身便專注于物理空間模擬的技術(shù)場(chǎng)景，過(guò)去十余年中積累了海量的三維數(shù)據(jù)和空間認(rèn)知數(shù)據(jù)；基于此數(shù)據(jù)訓(xùn)練的模型，亦具備創(chuàng)建物理正確的空間場(chǎng)景的能力。

SpatialLM模型開(kāi)源后，將為像具身智能領(lǐng)域的企業(yè)或機(jī)構(gòu)科研團(tuán)隊(duì)提供一個(gè)空間認(rèn)知理解的基礎(chǔ)訓(xùn)練框架。尤其是對(duì)那些不具備模型開(kāi)發(fā)能力的具身智能企業(yè)，可以基于SpatialLM模型進(jìn)行微調(diào)，降低具身智能訓(xùn)練門檻。

同時(shí)，SpatialLM模型與去年群核科技發(fā)布的空間智能解決方案SpatialVerse之間，形成從空間認(rèn)知理解到空間行動(dòng)交互的具身智能訓(xùn)練閉環(huán)。SpatialLM模型負(fù)責(zé)空間認(rèn)知理解上的基礎(chǔ)訓(xùn)練，SpatialVerse負(fù)責(zé)機(jī)器人在仿真環(huán)境中的行動(dòng)交互訓(xùn)練。

另一方面，SpatialLM模型使SpatialVerse的數(shù)據(jù)來(lái)源更開(kāi)放。通過(guò)從視頻到結(jié)構(gòu)化場(chǎng)景的轉(zhuǎn)化，將現(xiàn)實(shí)世界的數(shù)據(jù)轉(zhuǎn)化為虛擬環(huán)境中的豐富場(chǎng)景。而基于SpatialVerse的合成數(shù)據(jù)引擎，這些基于SpatialLM模型生成的一個(gè)個(gè)結(jié)構(gòu)化場(chǎng)景又可泛化生成億萬(wàn)級(jí)新場(chǎng)景。相當(dāng)于形成一條 "現(xiàn)實(shí) - 虛擬 - 現(xiàn)實(shí)" 的閉環(huán)路徑，讓現(xiàn)實(shí)世界成為“數(shù)字道場(chǎng)”的原料來(lái)源，這不僅讓SpatialVerse的數(shù)據(jù)更多樣，同時(shí)還能縮小仿真與現(xiàn)實(shí)之間的“差距”。

鈦媒體App此前報(bào)道過(guò)，這家目前備受關(guān)注的空間智能公司，今年2月向港交所提交了上市申請(qǐng)，聯(lián)席保薦人為摩根大通、建銀國(guó)際。招股書顯示，群核科技營(yíng)業(yè)收入由2022年的6億元增加10.5%至2023年的6.64億元；2024年前9個(gè)月經(jīng)調(diào)整凈虧損為9361萬(wàn)元。

更早4個(gè)月前，群核科技對(duì)外公開(kāi)兩大技術(shù)引擎：群核科技啟真（渲染）引擎和群核矩陣（CAD）引擎，并首次介紹其技術(shù)底層核心：基于GPU高性能計(jì)算的物理世界模擬器。現(xiàn)場(chǎng)，群核科技還推出了群核空間智能平臺(tái)SpatialVerse，面向AIGC、具身智能、AR/VR 等企業(yè)開(kāi)放物理正確的3D空間數(shù)據(jù)資產(chǎn)、空間認(rèn)知解決方案以及空間智能訓(xùn)練相關(guān)服務(wù)。

據(jù)悉，目前該平臺(tái)擁有全球最大的室內(nèi)場(chǎng)景認(rèn)知深度學(xué)習(xí)數(shù)據(jù)集，此前還與英特爾、慕尼黑工業(yè)大學(xué)推出全球首個(gè)高視覺(jué)與物理逼真度環(huán)境數(shù)據(jù)合成與訓(xùn)練仿真平臺(tái)SPEAR SIM。

群核科技聯(lián)合創(chuàng)始人兼CEO陳航表示，群核科技是一家以GPU集群和AI技術(shù)為底座的科技公司，在過(guò)去數(shù)年的技術(shù)沉淀中構(gòu)建了一套物理正確的世界模擬器，并將之運(yùn)用在基于空間的實(shí)時(shí)設(shè)計(jì)渲染、工業(yè)生產(chǎn)制造，以及虛擬物理世界訓(xùn)練等場(chǎng)景中。據(jù)悉，2024年群核科技全平臺(tái)平均月活躍訪客數(shù)為8630萬(wàn)名，旗下酷家樂(lè)是全球最大的空間設(shè)計(jì)平臺(tái)，在十年發(fā)展中沉淀了超過(guò)3.6億的3D模型。（本文首發(fā)于鈦媒體APP，作者 | 秦聰慧）