在機(jī)器人領(lǐng)域，如何讓機(jī)器人在非結(jié)構(gòu)化環(huán)境中實(shí)現(xiàn)對環(huán)境的有效感知和深入理解，是一個普遍面臨的重大挑戰(zhàn)。

這不僅涉及機(jī)器人基于感知信息進(jìn)行自主導(dǎo)航能力，還要求其在執(zhí)行任務(wù)時能夠通過準(zhǔn)確的認(rèn)知理解人的任務(wù)命令，確保機(jī)器人在認(rèn)知、感知和規(guī)控這三個關(guān)鍵方面的穩(wěn)定性和準(zhǔn)確性，更是難中之難。

為應(yīng)對這些挑戰(zhàn)，深圳技術(shù)大學(xué)機(jī)器人自主移動與操作實(shí)驗(yàn)室馬淦副教授團(tuán)隊成功自主研發(fā)了一種具身智能機(jī)器人系統(tǒng)。該系統(tǒng)能夠出色地適應(yīng)動態(tài)、多變的環(huán)境，靈活應(yīng)對復(fù)雜場景，進(jìn)而執(zhí)行實(shí)時巡檢任務(wù)。

研究人員將大語言模型和視覺語言模型深度融合，成功突破了語言、視覺、導(dǎo)航等多模態(tài)信息之間的壁壘，實(shí)現(xiàn)了機(jī)器人從位置導(dǎo)航模式到認(rèn)知導(dǎo)航模式的跨越。

通過集成諸如激光雷達(dá)、慣性測量單元等不同類型的傳感器，機(jī)器人能夠?qū)?shí)時捕捉到的視覺信息轉(zhuǎn)化為自然語言，并及時反饋給用戶。

值得一提的是，借助大模型處理復(fù)雜指令，機(jī)器人的理解能力得到顯著增強(qiáng)，其對復(fù)雜自然語言指令的理解和執(zhí)行成功率超過 96%，相較于傳統(tǒng)依賴預(yù)設(shè)指令的機(jī)器人系統(tǒng)，優(yōu)勢十分明顯。

正如馬淦所說：“這一能力不僅提升了用戶對機(jī)器人的信息理解程度，還填補(bǔ)了機(jī)器人與用戶之間的認(rèn)知空白，使得任務(wù)完成效率大幅提高。”

圖丨馬淦課題組（來源：馬淦團(tuán)隊）

傳統(tǒng)機(jī)器人在自然語言理解方面能力有限，往往需要結(jié)構(gòu)化輸入或固定模板，而且在處理視覺信息，如場景變化、潛在異常等情況時，通常需要人工進(jìn)行分析。

而這款具身智能機(jī)器人利用大模型，實(shí)現(xiàn)了對多樣化自然語言指令的準(zhǔn)確解析和實(shí)時轉(zhuǎn)化，讓操作過程變得更加直觀、靈活。

此外，機(jī)器人在視覺場景描述中的正確率高達(dá) 93%，反饋延遲低于 200 毫秒，達(dá)成了高效的人機(jī)信息交互。

該系統(tǒng)通過對算法和感知技術(shù)的優(yōu)化，實(shí)現(xiàn)了快速、精確的環(huán)境建模，并將其與任務(wù)規(guī)劃完美融合，成功解決了巡檢任務(wù)中的多目標(biāo)調(diào)度和路徑規(guī)劃問題。

（來源：馬淦團(tuán)隊）

在動態(tài)場景下，它能夠達(dá)到 25 幀/秒的重建速度，建模誤差低于 1.8%，可以滿足巡檢任務(wù)對高精度和高效率的要求。

馬淦指出，這些優(yōu)化得益于課題組在巡檢機(jī)器人開發(fā)，以及動態(tài)環(huán)境導(dǎo)航算法方面多年積累的經(jīng)驗(yàn)和持續(xù)取得的突破，有望為行業(yè)創(chuàng)造顯著價值。

首先，機(jī)器人的操作門檻顯著降低，用戶無需掌握復(fù)雜的操作技能，通過自然語言就能與機(jī)器人輕松交互。

其次，任務(wù)效率得以提升，機(jī)器人能夠?qū)?shí)時三維建圖與巡檢任務(wù)規(guī)劃相結(jié)合，執(zhí)行過程中無需停頓，同時視覺語言反饋技術(shù)賦予了機(jī)器人“解釋能力”，進(jìn)一步提高了交互效率。

此外，該系統(tǒng)主要依靠本地傳感器進(jìn)行高精度定位，即便外部定位信號微弱，也能憑借自身計算能力完成任務(wù)，增強(qiáng)了在各種場景下的適應(yīng)性和可靠性。

圖丨語義導(dǎo)航技術(shù)路線（來源：馬淦團(tuán)隊）

在通用性方面，馬淦認(rèn)為，通用機(jī)器人并非僅局限于人形機(jī)器人，其核心在于硬件的模塊化和軟件的分層架構(gòu)。“該機(jī)器人系統(tǒng)具備通用的具身智能自主移動和操作功能，能夠與任意形態(tài)的腿足式機(jī)器人和機(jī)械臂兼容。”

從硬件層面來看，該系統(tǒng)可應(yīng)用于不同形態(tài)的機(jī)器人本體，既適用于輪式底盤，也可用于履帶式底盤。在此基礎(chǔ)上，還能進(jìn)一步添加兩個機(jī)械臂或工具箱等模塊。

從軟件層面來講，系統(tǒng)具有高度通用性，最初可將其視為一個核心共享平臺，然后根據(jù)需求擴(kuò)展出各種功能模塊，如腿部或手臂等。例如，擴(kuò)展腿部后能實(shí)現(xiàn)不同的行走方式，添加一個或兩個機(jī)械臂則可完成特定任務(wù)。

圖丨決策規(guī)劃技術(shù)保障機(jī)器人復(fù)雜環(huán)境中的移動（來源：馬淦團(tuán)隊）

該系統(tǒng)擁有廣泛的應(yīng)用場景，有望在工業(yè)巡檢、災(zāi)后救援、農(nóng)業(yè)自動化、倉儲物流和制造業(yè)等多個領(lǐng)域發(fā)揮重要作用。

在日常巡檢方面，機(jī)器人可在學(xué)校、醫(yī)院、寫字樓、社區(qū)等場所進(jìn)行常規(guī)巡檢。

在特殊場景巡檢方面，它能夠在地震災(zāi)后救援、礦井內(nèi)部巡檢等環(huán)境復(fù)雜、危險性高的場景中發(fā)揮作用。

在工業(yè)和農(nóng)業(yè)領(lǐng)域，機(jī)器人可用于大型工廠的設(shè)備巡檢和大型農(nóng)場的作業(yè)監(jiān)督，這些場景通常面積廣闊、設(shè)備眾多、巡檢任務(wù)艱巨。

使用智能機(jī)器人系統(tǒng)代替人工巡檢，能夠有效降低人力成本，提高巡檢效率和質(zhì)量，還能在高危和極端環(huán)境中執(zhí)行任務(wù)，為人員安全提供更有力的保障。

圖丨自主移動技術(shù)在教學(xué)樓中的應(yīng)用（來源：馬淦團(tuán)隊）

現(xiàn)階段，研究人員希望結(jié)合更多實(shí)際應(yīng)用需求，深入解決工程化過程中可能出現(xiàn)的問題。據(jù)悉，相關(guān)技術(shù)已申請專利，他們期待在合適的時機(jī)將技術(shù)推向產(chǎn)業(yè)化。

此外，該團(tuán)隊還計劃在智能協(xié)作系統(tǒng)、感知與交互以及機(jī)器人在智能家居、教育輔助等跨領(lǐng)域拓展方向繼續(xù)探索。

圖丨多形態(tài)移動平臺展示（來源：馬淦團(tuán)隊）

研究人員打算解決的問題包括：優(yōu)化多傳感器數(shù)據(jù)融合、開發(fā)自適應(yīng)學(xué)習(xí)算法以及研究新的管理策略等。

例如，進(jìn)一步提高多傳感器融合算法的精度與效率，以實(shí)現(xiàn)更精準(zhǔn)的環(huán)境感知和更靈敏的動態(tài)響應(yīng)能力；開發(fā)更先進(jìn)的自適應(yīng)學(xué)習(xí)算法，讓機(jī)器人能夠在不同任務(wù)和環(huán)境中迅速調(diào)整和優(yōu)化自身行為；通過研究新的管理策略，提升機(jī)器人在長時間、高負(fù)載任務(wù)中的能量端點(diǎn)能力，確保其穩(wěn)定運(yùn)行。

排版：劉雅坤