機(jī)器人靈巧手的觸覺感知系統(tǒng)通常采用多傳感器融合方案來獲取觸覺信息，這些數(shù)據(jù)對(duì)實(shí)現(xiàn)精準(zhǔn)抓取和人機(jī)交互具有重要作用。目前視觸覺感知方案使用彈性材料作為交互界面，這種材料因其可變形特性，能夠同時(shí)獲取壓力、形變等多模態(tài)物理信息，在智能交互系統(tǒng)和機(jī)器人觸覺感知領(lǐng)域展現(xiàn)出應(yīng)用潛力。

但在實(shí)際應(yīng)用中，彈性體表面在受力時(shí)產(chǎn)生的微小形變難以持續(xù)穩(wěn)定捕捉，且形變信號(hào)會(huì)隨時(shí)間快速消逝。這一現(xiàn)象導(dǎo)致現(xiàn)有視觸覺傳感器在實(shí)時(shí)區(qū)分細(xì)微運(yùn)動(dòng)狀態(tài)時(shí)存在局限性。因此，如何實(shí)現(xiàn)對(duì)動(dòng)態(tài)軟接觸過程中彈性界面形貌變化的實(shí)時(shí)精確監(jiān)測(cè)，成為當(dāng)前觸覺傳感技術(shù)需要解決的關(guān)鍵問題。

▍提出新策略，理解視觸覺傳感器軟界面和接觸行為的內(nèi)在關(guān)聯(lián)

針對(duì)機(jī)器人觸覺感知領(lǐng)域存在的技術(shù)難題，來自華南師范大學(xué)的李昕明研究員團(tuán)隊(duì)基于理想漫反射模型構(gòu)建了光學(xué)系統(tǒng)，將彈性體表面形變程度與反射光輻照度進(jìn)行關(guān)聯(lián)，實(shí)現(xiàn)了使用光學(xué)觸覺傳感系統(tǒng)來可視化軟介質(zhì)表面輪廓的實(shí)時(shí)演變過程，并將觸覺信息轉(zhuǎn)換為視覺信號(hào)。

同時(shí)研究團(tuán)隊(duì)也開發(fā)了一個(gè)能夠識(shí)別具有細(xì)致差異的接觸行為的深度神經(jīng)網(wǎng)絡(luò)模型，用于分析微小的靜態(tài)和動(dòng)態(tài)接觸誘導(dǎo)的差異化軟界面變形的圖像特征，實(shí)現(xiàn)精細(xì)的接觸行為識(shí)別。得益于視觸覺圖像的高密度特性，該方法允許在表面上獲取空間連續(xù)變形，實(shí)現(xiàn)軟接觸過程的高精度感知，能夠以84.24%的準(zhǔn)確率識(shí)別具有1°傾角偏差的接觸狀態(tài)。利用視觸覺圖像的高密度特性，該技術(shù)實(shí)現(xiàn)了接觸表面連續(xù)變形的空間解析，為精確感知軟接觸過程提供了新思路。

目前，研究成果的相關(guān)論文已分別以“Monitoring Soft Shape Surface Deformation via Optical Images for the Distinction of Contact State”和” A Real-Time Imaging Sensing System to Visualize Elastomer Surface Profile Evolution for Dynamic Tactile Recognition”為題發(fā)表在國(guó)際知名期刊Advanced Intelligent Systems和Advanced Functional Materials上。

▍基于接觸界面分析的視觸覺交互信息感知策略

視觸覺傳感器通過捕捉接觸引起的反射光學(xué)變化，實(shí)現(xiàn)了對(duì)物體接觸狀態(tài)的精準(zhǔn)感知。當(dāng)物體與傳感器接觸時(shí)，傳感器表面會(huì)產(chǎn)生變形，這種變形導(dǎo)致傳感器表面的接觸輪廓發(fā)生變化，進(jìn)而導(dǎo)致反射光函數(shù)發(fā)生變化。這種變化在觸覺圖像中表現(xiàn)為像素亮度的變化，這些變化成為研究人員表征軟界面變形，進(jìn)而分析接觸行為的關(guān)鍵線索。具體而言，通過分析光學(xué)圖像中像素值與表面變形之間的相關(guān)性，研究人員可以解讀出關(guān)于不同接觸物體接觸力大小、運(yùn)動(dòng)參數(shù)以及物體姿勢(shì)的豐富信息。

為了更高效地從觸覺圖像中提取接觸界面變形信息，研究團(tuán)隊(duì)提出了一種基于平行入射光的反射光學(xué)傳感方法來構(gòu)造接觸界面變形角與檢測(cè)光信號(hào)之間的相關(guān)性。在平行光反射到CMOS的過程中，彈性體表面變形轉(zhuǎn)化為光學(xué)信息。該工作將局部輻照度轉(zhuǎn)換為各像素0~255范圍內(nèi)的通道值，這種操作使得彈性體的變形信息轉(zhuǎn)換為光學(xué)圖像的亮度，這有利于分析和解耦物體的接觸狀態(tài)。

▍視觸覺傳感方案在靜態(tài)與動(dòng)態(tài)接觸感知分析與探索

為了全面評(píng)估所提出的基于接觸界面分析的面向機(jī)器人視觸覺傳感系統(tǒng)在識(shí)別多模態(tài)接觸信息方面的性能，研究團(tuán)隊(duì)不僅驗(yàn)證了系統(tǒng)的靜態(tài)接觸狀態(tài)分析能力，還通過實(shí)際案例展示了其在實(shí)時(shí)動(dòng)態(tài)運(yùn)動(dòng)行為檢測(cè)任務(wù)中的潛力。

• 靜態(tài)接觸感知分析

在實(shí)驗(yàn)中，視觸覺傳感器與神經(jīng)網(wǎng)絡(luò)的緊密結(jié)合展現(xiàn)出了卓越的觸覺感知能力。在XOZ平面5-13 °范圍內(nèi)，系統(tǒng)對(duì)接觸傾角識(shí)別準(zhǔn)確率達(dá)到84.24%，步長(zhǎng)為1°。而在XOY平面0-360 °范圍內(nèi)的偏轉(zhuǎn)角度識(shí)別任務(wù)中，識(shí)別準(zhǔn)確率達(dá)到97%，步長(zhǎng)為22.5°，展現(xiàn)了極高的姿態(tài)識(shí)別精度。

• 實(shí)時(shí)動(dòng)態(tài)觸覺感知分析

為了進(jìn)一步驗(yàn)證該視觸覺系統(tǒng)對(duì)微小差異接觸狀態(tài)的感知能力，團(tuán)隊(duì)對(duì)球體動(dòng)態(tài)運(yùn)動(dòng)識(shí)別展開了探究。實(shí)驗(yàn)中，視觸覺系統(tǒng)成功區(qū)分了具有不同尺寸、硬度的球體在不同運(yùn)動(dòng)速度下的運(yùn)動(dòng)圖像，展現(xiàn)了良好的實(shí)時(shí)動(dòng)態(tài)識(shí)別能力。通過神經(jīng)網(wǎng)絡(luò)算法，該系統(tǒng)從單張圖像中分辨出球體不同滑動(dòng)速度的準(zhǔn)確率達(dá) 82.7%。這種用于接觸界面分析的動(dòng)態(tài)實(shí)時(shí)識(shí)別框架為視觸覺感知應(yīng)用中基于運(yùn)動(dòng)行為的指令識(shí)別提供了新的思路。

• “接觸-滑移”實(shí)驗(yàn)

在觸覺感知場(chǎng)景中，該系統(tǒng)能夠?qū)崟r(shí)捕捉并“預(yù)測(cè)”接觸物體的運(yùn)動(dòng)行為。這些信息對(duì)于視觸覺感知中準(zhǔn)確的運(yùn)動(dòng)識(shí)別至關(guān)重要。研究人員將該光學(xué)觸覺感知系統(tǒng)引入到“滑動(dòng)預(yù)測(cè)”任務(wù)中。光學(xué)圖像先于視覺觀測(cè)捕捉到“腿”與彈性界面發(fā)生相對(duì)運(yùn)動(dòng)。說明該基于細(xì)微接觸界面變形檢測(cè)的方法在觸覺感知任務(wù)的滑動(dòng)預(yù)測(cè)方面具有一定的潛力。

以上實(shí)驗(yàn)結(jié)果綜合表明，基于圖像識(shí)別的動(dòng)態(tài)微變形識(shí)別框架在精確觸覺感測(cè)領(lǐng)域展現(xiàn)出了巨大的應(yīng)用潛力。其高精度、高靈敏度的特性，不僅適用于精細(xì)且復(fù)雜的觸覺識(shí)別任務(wù)，還能夠在仿真中指導(dǎo)真實(shí)物理交互模式的構(gòu)建，還可廣泛應(yīng)用于人機(jī)交互、機(jī)器人觸覺感知等多個(gè)領(lǐng)域。

參考文章

https://advanced.onlinelibrary.wiley.com/doi/full/10.1002/aisy.202300535https://advanced.onlinelibrary.wiley.com/doi/abs/10.1002/adfm.202416731