這回，上海交通大學的研究人員在機器人手領域整了個大活！

他們開發出一種叫TacPalm-SoRoHand的機器人手，不僅把視覺和觸覺感知塞進了手掌，還配上了超靈活的軟體手指，以及手掌-手指協作策略

機器人手掌和手指配合有多默契？抓東西穩得很，還能"摸"出物體3D外形，甚至區分不同物體。更厲害的是，它能完成一些相當精細的動作：從桌面上撿起卡片、檢測布料瑕疵、實時調整姿勢防止茶水灑出來等等。研究團隊還給它加了AI，讓它能跟人類更好地互動。這波操作，為人機協作開了個新思路！

圖1 TacPalm-SoRoHand的總體概念

這項研究日前發表在Nature Communications上。

結構設計：讓機器人手掌既能看又能摸

說到機器人手，大家可能會想到工業機器人那種"鐵爪子"。但隨著應用場景越來越復雜，研究者們開始追求更高端的功能：既要動作靈巧，還得有豐富的觸覺感知。

不過目前的研究主要把注意力放在手指和指尖上。手掌這個重要的"觸覺區域"反而被忽視了 ——感知密度不夠高，跟手指配合也不夠默契。

圖2 TacPalm-SoRoHand的結構

這只機器人手最大的特點就在于它那個能看能摸的手掌。研究團隊把它設計成了一個緊湊的視觸覺系統，主要由這幾部分組成：

微型攝像頭

多層感知彈性體

發光二極管環

其他輔助組件

其中，感知彈性體分為三層：

覆蓋灰色膜的彈性體層

透明亞克力層

用于擴散光線的漫射層

當物體接觸手掌時，彈性體會變形，攝像頭就能捕捉到這些變形信息。為了獲取深度信息，發光二極管環被編程為紅、綠、藍三組，能產生不同深度的彩色光梯度。

手指部分也很有講究。由兩段纖維增強彈性體腔室、附著在彈性體腔室底部的高模量聚乙烯片，以及由低模量彈性體外皮組成。

在氣動驅動過程中，彈性體腔室的頂部伸長，而聚乙烯片限制了底部的伸長。頂部和底部伸長差導致手指段的彎曲運動。近端段和遠端段可以獨立或統一驅動，使手指能夠實現強力包絡和精確捏取，適用于大多數抓取任務。

性能表征：遠超人手的觸覺密度

圖3 掌部觸覺感知性能

這只機器人手的性能有多強？來看看具體數據。

先看手掌的觸覺密度：1280×800個感知單元，分布在30.08×18.80mm的矩形區域內。算下來感知密度高達181000單元/cm2！要知道，人手的觸覺密度只有240單元/cm2，這個差距簡直不是一個量級的。

靈敏度也相當可觀。最小能感知1 kPa的壓力，壓痕尺寸隨法向壓力增加而增大，能夠通過幾何模型和壓痕變化來估計法向壓力。法向壓力響應較穩定，超5000次加載-卸載循環未出現明顯衰減。

通過分析觸覺圖像和RGB強度分布，研究團隊發現手掌內部的光照很均勻。借助快速泊松算法，還能重建表面形貌。測試結果顯示：

平面方向重建精度：92.3%

垂直方向重建精度：81%

圖4 軟體手指的性能及抓取能力

再來看看手指的表現。它的工作空間呈新月形，是三種驅動模式組合的結果：

近端驅動

遠端驅動

兩段共享壓力的均勻驅動

手指最大彎曲角度能達到204.3±7.6度，和人手差不多。整只手的最大抓取力是14.6±0.6N，足夠應付大多數日常物品。

最厲害的是手掌增強了抓取可靠性：通過與細長/扁平物體的尖端/邊緣接觸來保持物體穩定；其表面柔順性能與易碎變形物體安全交互；阻擋了松散物體，并能夠被動適應大型非凸面物體。

實驗證明，這種配合確實很給力。比如在高速遞送任務中，有觸覺反饋的機器人手能穩穩抓住物體，沒有觸覺反饋的就容易"掉鏈子"。

拿杯蓋拾取實驗來說：

有觸覺反饋：20次實驗全部成功

無觸覺反饋：成功率只有65%

為什么會有這么大差距？因為有觸覺反饋時，手掌能感知到杯蓋，提示手指去包絡杯蓋邊緣。而沒有反饋的話，手指就只能盲目捏取，容易讓杯蓋滑掉。

應用驗證：從精細觸覺到實時交互

研究團隊設計了一系列實驗，展示這只機器人手的實戰能力。

一、抓取過程中的精準感知與識別

圖5 對不同抓取物品的精細感知和分類

團隊測試了TacPalm-SoRoHand對三類物體的感知能力：

1.尺寸較大且具有不規則脆弱表面紋理的自然物體：對于苦瓜、餅干、松果等不規則表面紋理的脆弱物體，采用"先近端-再遠端"驅動順序，可使物體幾乎垂直地按壓在手掌上而不受損，精確重建三維表面形狀。

2.具有明顯幾何特征的小型工業部件：對電路板、止回閥、螺絲等薄型部件，采用"先遠端-再近端"順序驅動，可實現精準抓取和將其垂直按壓，并重建其細微幾何特征。

3. 易起皺的薄織物：對厚度僅0.5mm的織物，采用“先遠端-后近端”的順序驅動，經算法去除手指壓痕干擾后，可成功重建織物紋理并通過快速傅里葉變換以頻譜圖方式分析紋理的周期性和方向特征。

在此基礎上，研究人員對10種不同織物進行分類。實驗前，通過AI算法構建了不同織物類型觸覺圖像的數據集和學習模型，實時計算效率高，處理時間<0.01s

實驗結果表明，該系統對織物的平均分類準確率達97%，誤分類發生在織物類型5上，原因是按壓過程中獲取的觸覺圖像未能完全反映其大孔狀圖案。同時，可構建分類準確率矩陣，獲得最佳的（準確率>90%）的手指力和驅動氣壓設置區間。

二、基于手掌觸覺反饋的精細操作

利用手掌觸覺反饋與手指步態抓取卡片

軟體手采用兩段式循環手指步態策略（起始-接觸-拉動-抬起-恢復）從桌面拾取卡片。當卡片移至手掌時，觸覺手掌通過邊緣檢測算法識別卡片側邊產生的線狀壓痕，觸發手指驅動系統進行自適應抓取。此方法不僅適用于實心卡片，還能處理傳統真空吸附難以應對的多孔扁平物體。

連續瑕疵檢測

掌指協作實現了對雜色布料的連續瑕疵檢測。軟體手通過手指步態控制布料定向移動，使觸覺手掌能持續檢測表面瑕疵，而不局限于固定位置。結合顏色差異圖像算法，系統能區分有瑕疵和無瑕疵區域。這種方法突破了手掌物理尺寸限制，無需額外裝置即可實現大面積自動感知。

基于掌部觸覺反饋的動態姿態調整

在茶壺倒水實驗中，軟體手通過手掌觸覺反饋動態調整抓取姿態。系統監測壓痕輪廓區域值(ICA)，當水流導致茶壺重心偏移使ICA低于閾值時，氣動系統自動增加手指彎曲度以調整姿態。在隨后倒水過程中，ICA升至閾值以上，確保任務完成。與傳統方法（手指同時處理反饋和執行）不同，本方法中的手掌提供穩定支撐和觸覺反饋，而手指則作為專用末端執行器。這種功能分離在涉及人類參與的場景中尤其有益，因為傳統方法不僅需要復雜的手指接觸控制，還可能引入安全風險。

人機交互中的物品自動識別和遞送

臂手系統結合AI技術實現了"盲袋"物品識別。實驗中，五種物體（螺母、豌豆、螺栓、瓜子、西米）分別裝入黑袋。志愿者指定目標物品后，系統能在多個盲袋中識別目標并安全遞送。平均識別準確率達88%，其中瓜子識別率100%。形狀相似的物體（螺母與西米，螺栓與豌豆）存在約15%混淆率，這主要由它們相似的尺寸、幾何形狀和袋子模糊效應所致。

總結與展望：一場機器人手的創新探索

上交大這項研究最大的亮點，就是無縫集成了高密度視觸覺手掌、兩段式氣動軟手指及其協調策略。這種設計讓手掌和手指互相成就

手掌通過各種反饋策略，幫助手指更好地抓取和操作

手指通過靈活運動，讓物體能更好地與手掌接觸，提升觸覺感知效果

比起傳統機器人手，這種手掌-手指協作展現了巨大的應用潛力，例如高分辨率三維表面重建、物體分類、以及動態精細操作，這些突破性進展為智能靈巧手技術推向新高度提供了可能，同時為人機協作領域開創了全新應用前景。

上海交通大學博士后張寧斌任杰驥為論文共同第一作者，谷國迎教授朱向陽教授為論文共同通訊作者。該研究得到了國家自然科學基金、上海市科委基金、國家博士后創新人才計劃、國家博士后面上項目、上海市超級博士后激勵計劃、騰訊科學探索獎的資助。