引用論文

Ye, Y., Mao, Y., Qiu, S. et al. Learning Manipulation from Expert Demonstrations Based on Multiple Data Associations and Physical Constraints. Chin. J. Mech. Eng. 38, 51 (2025). https://doi.org/10.1186/s10033-025-01204-y

(戳鏈接，下載全文)

關于文章

01

研究背景及目的

機器人在家庭服務領域具有廣闊的應用前景，如洗衣、穿衣輔助和桌面清潔等。然而，機器人需要能夠輕松地從人類學習新技能，模仿學習是實現這一目標的有前景的范式。模仿學習主要分為基于軌跡的學習和基于任務的學習?；谌蝿盏哪７聦W習通過直接從專家演示中提取語義信息并將其轉化為機器人可執行的操作命令，更符合人類通過觀察學習新技能的方式。然而，視頻到命令（Video to Command, V2C）任務面臨兩個主要挑戰：一是細粒度動作序列的高冗余和低幀率使得物體操縱難以穩健和準確地執行；二是當前的V2C模型更注重輸出命令的準確性和豐富性，而忽視了物理世界的約束，導致生成的機器人操縱命令可能不切實際或不安全。因此，本研究提出了一種新的V2C框架，通過多重數據關聯和物理約束來解決這些問題，使機器人能夠從專家演示中學習多樣化的操縱技能，并在不同場景中實現穩健的泛化。

02

試驗方法

多數據關聯策略對比和消融實驗：驗證提出的基于目標外觀對比的多重數據關聯策略（C-AF + CF-IoU + AC-SF）在處理被操縱物體時的靈活性和魯棒性，特別是在目標遮擋和復雜場景下的表現。對比方法：與現有的SORT、DeepSORT、OC-SORT、ByteTrack等多目標跟蹤方法進行對比。消融實驗：逐步驗證C-AF（外觀對比關聯）、C-AF + CF-IoU（結合IoU的區域對比關聯）和完整方法C-AF + CF-IoU + AC-SF（結合自相關和互相關校正）的效果。

多任務V2C模型對比和消融實驗：驗證提出的多任務V2C模型（MV-V2C-H）在生成機器人操縱命令時的準確性和邏輯性，特別是在物理約束下的表現。對比方法：與V2CNet、V2CNet+、CGM-V、Two Stream Net等現有V2C方法進行對比。消融實驗：驗證不同組件（如目標級視頻內容變化、多任務混合損失函數）對模型性能的影響。

機器人平臺驗證：在基于JAKA機械臂的雙臂機器人上驗證了從專家演示學習多種技能并執行任務的全過程。

Figure 1 V2C framework based on object-level appearance-contrasting multiple data association strategy

Figure 2 Method of object-level appearance-contrasting multiple data association strategy

Figure 3 Deep learning combined with physical constraints

03

結果

多數據關聯策略對比和消融實驗結果：與ByteTrack相比，IDF1提升了4.1%；與DeepSORT相比，IDP和MOTA分別提升了2.7%和6.7%，同時FP減少了80%。C-AF方法在目標遮擋時表現不佳，而加入CF-IoU后，ID數量顯著減少（減少34.66%）。進一步引入AC-SF校正后，ID數量進一步減少（減少88.70%）。

多任務V2C模型對比和消融實驗結果：BLEU_N、METEOR、ROUGE_L和CIDEr等指標上均優于現有方法，平均提升了超過10%。在CIDEr指標上，相比Two Stream Net方法提升了63.6%，在Bleu_3指標上達到了0.544，相比V2CNet、V2CNet+、CGM-V和Two Stream Net分別提升了99.3%、77.8%、69.5%和42.0%。與僅使用交叉熵損失的模型（如V2C-C、M-V2C-C）相比，引入多任務混合損失函數的模型（如MV-V2C-H）在命令邏輯性和物理約束符合度上有顯著提升。

機器人平臺驗證：提出的V2C框架能夠將專家演示轉化為符合物理邏輯的機器人命令，并在真實機器人平臺上成功執行。

04

結論

1. 提出的基于目標外觀對比的多數據關聯策略能夠靈活穩健地處理被操縱物體，無需超參數調整，并且能夠有效關聯被遮擋的物體。

2. 提出的多任務V2C模型通過多任務混合損失函數，有效避免了違反物理世界邏輯的操縱命令，提高了每個操縱單元的準確性。

3. 將V2C任務與操縱策略和運動規劃相結合，實現了直觀高效的機器人技能學習，使機器人能夠從專家演示中學習并執行任務。

05

前景與應用

本研究提出的V2C框架在機器人學習領域具有廣闊的應用前景，尤其是在家庭服務機器人、工業自動化和人機協作等領域。通過從專家演示中學習多樣化的技能，機器人能夠更高效地適應不同的任務需求，減少對人工編程的依賴。此外，該方法還可以擴展到多模態學習（如結合語音信息），進一步提高機器人對人類演示的理解能力。

06

相關文章/圖書推薦

[1] Yang S, Zhang W, Song R, et al. Watch and act: Learning robotic manipulation from visual demonstration[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2023: 4404-4416.

[2] 莫秀云, 陳俊洪, 楊振國, 等. 基于人類演示視頻的機器人指令生成框架[J]. 機器人, 2022,44(2): 186-194.

[3] Vijayaraghavan P, Quei?er J F, Flores S V, et al. Development of compositionality through interactive learning of language and action of robots[J]. Science Robotics, 2025, 10(98): eadp0751.

[4] Yin C, Zhang Q. A multi-modal framework for robots to learn manipulation tasks from human demonstrations[J]. Journal of Intelligent & Robotic Systems, 2023, 107(4): 56.

關于作者

01

作者介紹

鮑官軍（通訊作者），浙江工業大學 機械工程學院 教授，博士，博士生導師，浙江工業大學機器人工程專業首席教授，機械電子工程研究所所長，浙江工業大學廣東研究院院長。主要從事機器人與智能裝備、軟體機器人基礎研究和應用開發工作。主持國家科技支撐計劃課題、國家自然科學基金-深圳機器人中心重點支持項目、國家基金面上項目、國家基金青年基金項目、國家重點研發計劃課題、浙江省重點研發計劃項目等20余項，發表SCI/EI收錄論文80余篇，出版學術專著1部，獲授權國家發明專利40余項。IEEE會員，國際仿生工程學會會員，中國機械工程學會高級會員，浙江省151人才工程(數字經濟專項)第二層次。

02

近年團隊代表性文章

[1] Liangjie Tu, Bingfei Fan, Mingyu Du, Guanjun Bao, Bowen Lv, Wenjie Mao, Tao Liu, Shibo Cai*. Prediction of Continuous Joint Angles of the Lower Limb Based on sEMG by Using the ISSA-HKELM Algorithm[J]. IEEE Sensors Journal, 2024, Early Access.

[2] Mingyu Du, Bowen Lv, Bingfei Fan, Xiaoling Li, Junze Yu, Fugang Yi, Tao Liu, Shibo Cai*. Ankle Moment Estimation Based on A Novel Distributed Plantar Pressure Sensing System[J]. IEEE Journal of Biomedical and Health Informatics, 2024, Early Access.

[3] Xin Chen, Shibo Cai*, Longjie Yu, Xiaoling Li, Bingfei Fan, Mingyu Du, Tao Liu, Gunjun Bao. A Novel CNN-BiLSTM ensemble model with attention mechanism for sit-to-stand phase identification using wearable inertial sensors[J]. IEEE Transactions on Neural Systems & Rehabilitation Engineering, 2024, 32:1068-1077.

[4] Yangqing Ye, Xiaolon Ma, Xuanyi Zhou, Guanjun Bao, Weiwei Wan, Shibo Cai*. Dynamic and Real-Time Object Detection Based on Deep Learning for Home Service Robots[J]. Sensors, 2023, 23: 9482.

[5] Wei Wei, Bangda Zhou, Binfei Fan, Mingyu Du, Guanjun Bao, Shibo Cai*. An Adaptive Hand exoskeleton for Teleoperation System[J]. Chinese Journal of Mechanical Engineering, 2023, 36(1):60.

[6] Jianhua Zhang, Xuanyi Zhou, Jinyu Zhou, Shiming Qiu, Guoyuan Liang, Shibo Cai, Guanjun Bao *. A high-efficient reinforcement learning approach for dexterous manipulation [J]. Biomimetics, 2023, 8, 264.

[7] Wenbiao Wang, Yunfei Zhu, Shibo Cai and Guanjun Bao*. Ultralong Stretchable Soft Actuator (US2A)- Design, Modeling and Application [J]. Chinese Journal of Mechanical Engineering, 2023 36:13, https://doi.org/10.1186/s10033-023-00835-3

[8] Shibo Cai, Dipei Chen, Bingfei Fan, Mingyu Du, Guanjun Bao, Gang Li. Gait phases recognition based on lower limb sEMG signals using LDA-PSO-LSTM algorithm[J]. Biomedical Signal Processing and Control, 2023, 80: 104272.

作 者：葉揚青

責任編輯：謝雅潔

責任校對： 向映姣

審 核：張 強

JME學院簡介

JME學院是由《機械工程學報》編輯部2018年創建，以關注、陪伴青年學者成長為宗旨，努力探索學術傳播服務新模式。

歡迎各位老師掃碼添加小助理-暖暖為好友，由小助理拉入JME學院官方群！

歡迎關注JME學院視頻號~

尋覓合作伙伴

有一種合作叫做真誠，有一種發展可以無限，有一種伙伴可以互利共贏，愿我們合作起來流連忘返，發展起來前景可觀。關于論文推薦、團隊介紹、圖書出版、學術直播、招聘信息、會議推廣等，請與我們聯系。

感謝關注我們！《機械工程學報》編輯部將努力為您打造一個有態度、有深度、有溫度的學術媒體！

版權聲明：

本文為《機械工程學報》編輯部原創內容，歡迎轉載！

在公眾號后臺留言需要轉載的文章題目及要轉載的公眾號ID以獲取授權!

聯系人：暖暖

電話：010-88379909

E-mail：jme@cmes.org

網 址：http://www.cjmenet.com.cn

官方微信號：jmewechat