縱觀全球機(jī)器人產(chǎn)業(yè)發(fā)展歷程，每一次關(guān)鍵技術(shù)的突破都會帶來新的市場機(jī)遇。孵化自中國科學(xué)院自動化研究所的中科硅紀(jì)Casia Hand具身智能機(jī)器人創(chuàng)始團(tuán)隊，近期在機(jī)器人學(xué)領(lǐng)域頂級國際期刊《IEEE Transactions on Robotics》（T-RO）連續(xù)發(fā)表兩項突破性成果。團(tuán)隊在國際上首次實現(xiàn)人和機(jī)器人之間的類人雙向反應(yīng)式物體交接，以及多種構(gòu)型靈巧手對多樣化工具的功能性抓取操作，在工業(yè)制造、家庭服務(wù)、特種應(yīng)用等領(lǐng)域建立起顯著技術(shù)優(yōu)勢。這些突破性進(jìn)展標(biāo)志著中科硅紀(jì)成為國際上兼具靈巧手硬件和類人靈巧操作具身智能算法的頂級團(tuán)隊。

在機(jī)器人與人類協(xié)作日益緊密的今天，賦予機(jī)器人類人般的靈活操作能力已成為產(chǎn)業(yè)界和學(xué)術(shù)界的共同焦點。中科硅紀(jì)通過持續(xù)的具身智能算法創(chuàng)新，突破了機(jī)器人“能用”和“會用”工具的關(guān)鍵技術(shù)壁壘，有效解決了傳統(tǒng)靈巧手機(jī)器人在數(shù)據(jù)集稀缺、手-物接觸關(guān)系模糊、對人工數(shù)據(jù)標(biāo)注高度依賴以及系統(tǒng)效率低下等方面的固有局限。這一創(chuàng)新方案在泛化能力、安全性、實用性和可靠性等方面均實現(xiàn)突破，為降低部署成本、提升適應(yīng)性開創(chuàng)了新的技術(shù)路徑。

圖1 人與機(jī)器人間的物體交接

圖2 人類使用工具VS靈巧手使用工具

機(jī)器人大講堂了解到，中科硅紀(jì)Casia Hand創(chuàng)始團(tuán)隊十多年來專注于機(jī)器人“上肢”能力的軟硬件技術(shù)突破，在國內(nèi)最早系統(tǒng)性開展腱繩驅(qū)動靈巧手和“靈巧手+具身智能”研究。作為領(lǐng)域稀缺的長期將“硬”(靈巧手)和“軟”(AI算法)深度結(jié)合的團(tuán)隊，公司成立不到一年便憑借深厚技術(shù)積累迅速嶄露頭角，已構(gòu)建起“算法-部件-整機(jī)-應(yīng)用”的完整技術(shù)體系。自主研發(fā)的“Casia Hand系列仿人靈巧手及具身智能機(jī)器人系統(tǒng)”先后獲“第49屆日內(nèi)瓦國際發(fā)明展金獎”和“ISTA全球創(chuàng)新與發(fā)明獎”，連續(xù)被央視新聞聯(lián)播、央視財經(jīng)頻道等重要媒體報道，同時標(biāo)志著團(tuán)隊成功實現(xiàn)從實驗室到產(chǎn)業(yè)化的關(guān)鍵跨越，為解決機(jī)器人領(lǐng)域的“最后一公里”難題開辟新途徑，展現(xiàn)出卓越的技術(shù)實力和廣闊的市場前景。

▍讓機(jī)器人更懂人類：突破人-機(jī)物體交接的智能邊界

中科硅紀(jì)創(chuàng)始團(tuán)隊近期在類人靈巧操作具身智能領(lǐng)域取得重要突破，成功開發(fā)出可實現(xiàn)人與機(jī)器人之間雙向動態(tài)響應(yīng)式物體交接框架，為實現(xiàn)高效、流暢、自然的人機(jī)協(xié)同操作與交互提供了關(guān)鍵技術(shù)支持，將促進(jìn)人機(jī)交互協(xié)作向更高水平發(fā)展，對促進(jìn)機(jī)器人在實際應(yīng)用中的推廣具有重要意義。

相關(guān)研究成果《Reactive Human-to-Robot Dexterous Handovers for Anthropomorphic Hand》已發(fā)表于機(jī)器人學(xué)頂級期刊IEEE Transactions on Robotics (T-RO)。這是該團(tuán)隊半年內(nèi)繼機(jī)器人功能抓取學(xué)習(xí)研究后在T-RO發(fā)表的又一重要突破，凸顯了我國在通用類人靈巧操作具身智能領(lǐng)域的研發(fā)實力。

圖3 靈巧手機(jī)器人的響應(yīng)式物體交接方法框架

研究團(tuán)隊針對現(xiàn)有靈巧手機(jī)器人在物體交接過程中對人類動態(tài)行為適應(yīng)性不足的問題，創(chuàng)新性地提出了一個包含跟隨、抓取和響應(yīng)三個核心模塊的方法框架。該框架通過高幀率RGB-D相機(jī)實現(xiàn)實時視覺感知，該方法在保留對多樣物體抓取泛化能力的基礎(chǔ)上，實現(xiàn)了系統(tǒng)的閉環(huán)運(yùn)行，顯著提升了機(jī)器人的適應(yīng)性。

工作系統(tǒng)地使用深度學(xué)習(xí)技術(shù)進(jìn)行人體分割和關(guān)鍵點檢測，結(jié)合空間剪裁策略精確定位目標(biāo)手掌位置。基于Transformer架構(gòu)的抓取網(wǎng)絡(luò)能夠通過低分辨率點云輸入預(yù)測高精度的抓取配置，顯著提升了系統(tǒng)的實時性和準(zhǔn)確性。

圖4 基于Transformer的抓取網(wǎng)絡(luò)架構(gòu)

為了實現(xiàn)更智能的抓取決策，研究團(tuán)隊創(chuàng)新設(shè)計了一種綜合考慮抓取置信度、接近可達(dá)性和抓取分類可靠性權(quán)重的抓取選擇策略。其中，抓取置信度反映了預(yù)測抓取的穩(wěn)定性，接近可達(dá)性通過計算機(jī)械臂末端執(zhí)行器與目標(biāo)姿態(tài)之間的四元數(shù)距離來評估，而抓取分類可靠性權(quán)重則基于網(wǎng)絡(luò)對不同抓取類型的預(yù)測分布確定。這種多維度的評估方法顯著提升了系統(tǒng)的適應(yīng)性和可靠性。

在安全性設(shè)計方面，研究人員開發(fā)了一種基于軌跡插值的碰撞檢測方法。該方法在物理仿真器中建模了實驗平臺及其周圍環(huán)境,通過對機(jī)械臂關(guān)節(jié)角度進(jìn)行線性插值,快速檢測運(yùn)動過程中是否存在碰撞風(fēng)險。這種方法能夠在2毫秒內(nèi)完成檢測,滿足實時控制的需求。

在實驗驗證階段，該方法框架展現(xiàn)出卓越性能。系統(tǒng)在1000個未知物體的交接任務(wù)中實現(xiàn)了80.67%的成功率，將執(zhí)行時間從傳統(tǒng)方法的16.28秒顯著縮短至6.85秒。特別值得注意的是，抓取網(wǎng)絡(luò)僅在仿真環(huán)境合成的數(shù)據(jù)集上進(jìn)行訓(xùn)練，便能泛化至現(xiàn)實場景中的新物體。在面對復(fù)雜或不常見的傳遞姿勢時，機(jī)器人能夠靈活選擇適宜的抓取模態(tài)，充分體現(xiàn)了方法框架的泛化能力。

圖5 各種交接物體

通過深入的用戶研究進(jìn)一步驗證了系統(tǒng)的實用性。研究團(tuán)隊邀請了不同年齡段和不同機(jī)器人操作經(jīng)驗的8名參與者進(jìn)行測試，結(jié)果顯示系統(tǒng)能夠很好地適應(yīng)不同用戶的傳遞習(xí)慣。在安全性、抓取合適性、意圖理解和協(xié)作性等關(guān)鍵評估指標(biāo)上，大多數(shù)用戶給出了高度認(rèn)可的評價，證實了該系統(tǒng)在實際應(yīng)用場景中的可靠性和友好性。

圖6 人-機(jī)物體交接

圖7 物體交接中的多樣傳遞姿勢

▍賦予機(jī)器人靈活使用工具的能力：邁向真正的類人智能操作

“使用工具”是人類智慧最重要的表現(xiàn)形式之一，從家庭日常用品的使用、到工廠各種生產(chǎn)工具的操作、到空間站在軌維護(hù)工具的應(yīng)用，人類已離不開各式各樣的工具。像人一樣使用工具是人類期望機(jī)器人能具有的通用靈巧操作能力之一，將深刻影響人類的生產(chǎn)和生活方式。

中科硅紀(jì)創(chuàng)始團(tuán)隊通過借鑒人類使用工具的功能性抓取方式，提出了基于精細(xì)化手-物接觸表示的仿人靈巧手功能性抓取方法，通過少量的人類工具使用的示教數(shù)據(jù)學(xué)習(xí)，實現(xiàn)多種構(gòu)型靈巧手對多樣化工具的功能性抓取操作。相關(guān)研究Learning Human-like Functional Grasping for Multi-finger Hands from Few Demonstrations，發(fā)表于機(jī)器人領(lǐng)域頂級期刊IEEE Transactions on Robotics （T-RO），成為該領(lǐng)域的引領(lǐng)性工作。

對工具的功能性抓取是靈巧手使用工具的前提，旨在模仿人手的靈活性，在抓取規(guī)劃時需要考慮該工具的使用目的。團(tuán)隊針對功能性抓取生成面臨的數(shù)據(jù)集稀缺、手-物接觸關(guān)系模糊、對人工數(shù)據(jù)標(biāo)注的高度依賴以及低效率等問題，借鑒人類根據(jù)工具形狀、類別及使用目的來選擇抓取方式的特點，提出了基于精細(xì)化手-物接觸表示的仿人靈巧手功能性抓取生成框架DexFG（Dexterous Functional Grasping）。

圖8 靈巧手工具使用的功能性抓取生成框架

該框架通過精細(xì)化手-物接觸表示，清晰地定義手部各關(guān)節(jié)與物體表面接觸區(qū)域的關(guān)系，并利用物體類別間的稠密形狀對應(yīng)關(guān)系，以及人手與仿人靈巧手之間的形態(tài)學(xué)相似性，實現(xiàn)從單一物體到同一類別物體、從人手到多種仿人靈巧手的抓取泛化。框架包含兩個部分：一是仿人靈巧手功能性抓取數(shù)據(jù)集的構(gòu)建；二是基于精細(xì)化手-物接觸表示的功能性抓取生成網(wǎng)絡(luò)，其包括類別級物體重建、基于操作意圖的功能性抓取生成、以及迭代式手-物接觸微調(diào)三個網(wǎng)絡(luò)模塊。

圖9 基于精細(xì)化手-物接觸表示的功能性抓取生成

團(tuán)隊還建立了靈巧手功能性抓取的大規(guī)模數(shù)據(jù)集，包含 40 類共 2500 個常見工具（物體）的超過 37500個靈巧手功能性抓取標(biāo)注，支持多種構(gòu)型靈巧手的包括Tool-use Grasp、Human-to-robot Handover Grasp、Pickup Grasp等工具使用操作任務(wù)的功能性抓取。

圖10 靈巧手功能性抓取數(shù)據(jù)集

為全面驗證所提出的靈巧手功能性抓取生成框架的有效性和魯棒性，針對多種不同構(gòu)型的靈巧手進(jìn)行了系統(tǒng)性的功能性抓取的虛擬和實際場景驗證，實驗結(jié)果表明，融合了類別級物體先驗知識的單視角物體重建網(wǎng)絡(luò)模塊，能夠?qū)崿F(xiàn)更為穩(wěn)健與精細(xì)的物體重建，方法能夠針對工具使用、交遞工具和拾取工具等操作，生成高度類人的多樣化工具（物體）的功能性抓取。

圖11 多種構(gòu)型靈巧手的功能性抓取生成

聚焦包括工具使用在內(nèi)的類人靈巧操作能力，該研究成果為機(jī)器人像人一樣自主使用工具能力的突破提供了強(qiáng)有力的具身智能算法支撐。

▍核心技術(shù)優(yōu)勢：十年磨一劍，從實驗室創(chuàng)新到產(chǎn)業(yè)化突破

中科硅紀(jì)孵化自中國科學(xué)院自動化研究所多模態(tài)人工智能系統(tǒng)全國重點實驗室王鵬教授Casia Hand具身智能機(jī)器人團(tuán)隊。王鵬教授團(tuán)隊十多年來專注于機(jī)器人“上肢”靈巧操作能力的技術(shù)突破，是國際上具身智能機(jī)器人領(lǐng)域的頂尖團(tuán)隊。基于物體交接和工具使用兩項突破性研究成果，中科硅紀(jì)創(chuàng)始團(tuán)隊在具身智能領(lǐng)域開創(chuàng)了新的技術(shù)路徑。目前市面上的機(jī)器人要么使用結(jié)構(gòu)簡單但功能有限的雙指夾持器，要么采用靈活度高但控制復(fù)雜、成本高昂的多指機(jī)械手，難以滿足產(chǎn)業(yè)需求。中科硅紀(jì)在類人靈巧操作具身智能領(lǐng)域的創(chuàng)新性解決方案，通過深度學(xué)習(xí)算法讓機(jī)器人能夠“看懂”物體功能特征并生成抓取策略，不依賴昂貴傳感器和復(fù)雜力反饋控制，有望顯著降低系統(tǒng)復(fù)雜度和成本。

深耕類人靈巧操作具身智能領(lǐng)域多年，中科硅紀(jì)的技術(shù)優(yōu)勢體現(xiàn)在多個方面。首先是強(qiáng)大的學(xué)習(xí)能力，通過少量示教數(shù)據(jù)即可掌握各類工具使用方法，從日常生活用品到工業(yè)工具，再到空間站維護(hù)設(shè)備都能適應(yīng)。其次是出色的泛化能力，基于類別的形狀對應(yīng)技術(shù)讓系統(tǒng)能夠處理未見過的物體和場景，將對單個物體的操作經(jīng)驗快速遷移到同類其他物體上。此外，相關(guān)技術(shù)已在包括Casia Hand、Shadow Hand、SchunK Hand、DLR Hand等不同靈巧手平臺上進(jìn)行了驗證測試，展現(xiàn)出技術(shù)方案在不同硬件系統(tǒng)上的適用潛力。

經(jīng)過系統(tǒng)性研發(fā)，中科硅紀(jì)已打造出一套涵蓋“整機(jī)-算法-部件”的Casia Hand完備產(chǎn)品體系。研發(fā)了面向工業(yè)和服務(wù)場景的“無憂”機(jī)器人，以及面向特種場景的“無畏”機(jī)器人；建立了通用類人靈巧操作“大腦-小腦”協(xié)同具身智能算法體系；在領(lǐng)域內(nèi)最早實現(xiàn)了靈巧手的系列化，結(jié)合不同應(yīng)用場景形成了“高-中-低”自由度多個型號靈巧手，并推出了數(shù)據(jù)手套等數(shù)據(jù)采集和動作捕捉產(chǎn)品。

目前，這套完整的"整機(jī)-算法-部件"技術(shù)方案已在特種應(yīng)用、工業(yè)和服務(wù)場景進(jìn)行了應(yīng)用驗證，并與多家上市公司建立了合作關(guān)系，通過典型客戶和場景牽引產(chǎn)品的快速迭代。

圖12 央視新聞聯(lián)播等媒體對Casia Hand的報道

▍具身智能引領(lǐng)機(jī)器人變革：“上肢”能力驅(qū)動萬億級市場增長

隨著具身智能技術(shù)的快速發(fā)展，據(jù)研究報告顯示，具身智能產(chǎn)業(yè)規(guī)模已從2018年的2,923億元增長至2023年的7,487億元，預(yù)計2030年全球人形機(jī)器人關(guān)鍵部件靈巧手的市場規(guī)模有望突破879.7億元。

具身智能正在重構(gòu)機(jī)器人產(chǎn)業(yè)的技術(shù)路徑和應(yīng)用邊界。市場預(yù)測顯示，到2025年，協(xié)作機(jī)器人市場規(guī)模將達(dá)150億美元，其中靈巧抓取與操作占比超40%；服務(wù)機(jī)器人市場規(guī)模預(yù)計突破500億美元，具備靈活操作能力的產(chǎn)品將成為主要增長引擎

基于物體交接和工具使用的突破性成果，中科硅紀(jì)的類人靈巧操作具身智能技術(shù)與這些快速增長的市場需求高度契合，將在多個領(lǐng)域展現(xiàn)應(yīng)用價值。在工業(yè)制造中，智能化生產(chǎn)需求日漸高漲，全球工業(yè)機(jī)器人市場規(guī)模預(yù)計2027年突破500億美元，柔性化需求驅(qū)動的靈巧手市場占比將超20%。通用類人靈巧操作機(jī)器人有望適應(yīng)多品種生產(chǎn)，提升生產(chǎn)線的柔性化水平和生產(chǎn)效率。在3C電子制造領(lǐng)域，中國3C電子自動化裝配市場年增速達(dá)25%，由自動化向智能化轉(zhuǎn)型的趨勢逐漸凸顯，精細(xì)化的手物接觸建模和實時軌跡優(yōu)化技術(shù)有望實現(xiàn)精密零部件的柔性裝配。物流倉儲方面，全球倉儲自動化市場2025年將達(dá)300億美元，具備通用抓取能力的機(jī)器人有望突破傳統(tǒng)自動化系統(tǒng)的局限，實現(xiàn)各類商品的靈活揀選，為物流倉儲行業(yè)提供智能化靈巧操作賦能。

服務(wù)機(jī)器人和特種應(yīng)用領(lǐng)域，具身智能的應(yīng)用潛力更為廣闊。服務(wù)機(jī)器人市場年復(fù)合增長率達(dá)35%，所覆蓋的行業(yè)及場景趨向多樣化，對機(jī)器人靈巧操作的能力需求與日俱增；中科硅紀(jì)的先進(jìn)AI算法使得即使相對低成本的硬件平臺也有可能操作任務(wù)，這將加速高性能機(jī)器人的普及應(yīng)用。在特種應(yīng)用領(lǐng)域，針對高危、特殊、多樣場景下的危險操作需求，可以充分發(fā)揮算法優(yōu)勢，遠(yuǎn)程操作處置任務(wù)目標(biāo)，如爆炸物或放射性物質(zhì)等危險品類，保障人員安全。

從技術(shù)創(chuàng)新到市場應(yīng)用的發(fā)展軌跡表明，以中科硅紀(jì)為代表的具身智能企業(yè)正以扎實的技術(shù)積累推動行業(yè)深刻變革。在全球機(jī)器人技術(shù)競爭日益激烈的背景下，掌握核心算法、構(gòu)建技術(shù)壁壘的創(chuàng)新企業(yè)，必將在這場產(chǎn)業(yè)變革中占據(jù)先機(jī)，推動具身智能產(chǎn)業(yè)持續(xù)蓬勃發(fā)展。

中科硅紀(jì)告訴機(jī)器人大講堂記者，公司未來將繼續(xù)聚焦機(jī)器人類人靈巧操作能力的持續(xù)深化與創(chuàng)新，深化在“整機(jī)-算法-部件”方面的全鏈條技術(shù)優(yōu)勢和應(yīng)用落地能力。將技術(shù)優(yōu)化轉(zhuǎn)化為產(chǎn)品優(yōu)勢，繼而通過與細(xì)分場景的深度融合，通過典型用戶牽引，在實戰(zhàn)中迭代產(chǎn)品性能。同時，中科硅紀(jì)將繼續(xù)加大研發(fā)投入，夯實在類人靈巧操作具身智能機(jī)器人方向的軟-硬結(jié)合技術(shù)壁壘，實現(xiàn)硬件（靈巧手）和軟件（具身智能算法）的協(xié)同進(jìn)化，并積極探索國際市場，提升品牌影響力，引領(lǐng)通用類人靈巧操作機(jī)器人技術(shù)和產(chǎn)品創(chuàng)新，并實現(xiàn)在工業(yè)、服務(wù)和特種場景的廣泛應(yīng)用。

圖13 Casia Hand獲日內(nèi)瓦國際發(fā)明展金獎、ISTA全球創(chuàng)新與發(fā)明獎

圖14.Casia Hand連續(xù)亮相2023和2024世界機(jī)器人大會