本期閱讀

文章信息

人工智能在機器人輔助手術中的應用

馬偉佳，朱小龍，劉青瑤，段星光，李長勝

DOI：10.3901/JME.2024.17.022

引用本文：

馬偉佳, 朱小龍, 劉青瑤, 段星光, 李長勝. 人工智能在機器人輔助手術中的應用[J]. 機械工程學報, 2024, 60(17): 22-39.

MA Weijia, ZHU Xiaolong, LIU Qingyao, DUAN Xingguang, LI Changsheng. Artificial Intelligence in Robot-assisted Surgery[J]. Journal of Mechanical Engineering, 2024, 60(17): 22-39.

原文閱讀（摘要）

摘要：機器人輔助手術旨在通過機器人系統協助醫生實施外科手術，近年來受到越來越多的關注。人工智能的快速發展加快了機器人輔助手術向微創、智能和自主化的方向發展。綜述了人工智能在機器人輔助手術中的應用，從醫學圖像處理、手術規劃與導航、手術機器人運動控制與決策三方面進行總結。借助人工智能技術，醫學圖像處理的應用使醫生更準確地獲取具有更高清晰度和更直觀立體的影像數據，對病灶和組織進行準確的分割和對齊，以及自動識別和分析醫學圖像中的病變或異常區域。人工智能在手術規劃與導航方面的應用使外科醫生可以更準確地規劃手術方案，并提供精確的導航引導。通過結合患者的個性化數據和醫生豐富的手術經驗，人工智能可以幫助醫生預測手術風險，并為手術過程中的精確定位和靈巧操作提供實時指導。手術機器人運動控制與決策方面的應用使機器人在手術中能夠更有效地執行任務，并做出智能化決策。人工智能算法可以實時分析手術場景的復雜信息，輔助機器人進行精細的運動控制。分析了人工智能在機器人輔助手術的發展機遇和挑戰，以對未來人工智能對機器人輔助手術研究的指導和啟發。

關鍵詞：人工智能；機器人輔助手術；醫學圖像；規劃與導航；控制與決策

中圖分類號：TG156

0

前言

人工智能(Artificial Intelligence, AI)是一種模擬人類智能的技術，通過構建能夠執行類似人類認知和決策過程的計算機系統，并利用這些系統完成各種任務。人工智能技術利用大數據、機器學習、深度學習和自然語言處理等方法，賦予計算機系統感知、理解、判斷和決策的能力，能夠自動執行重復性、繁瑣的任務，從而提高工作效率，通過快速處理和分析大量數據，為決策提供有力支持，并減少人為錯誤的風險。

近年來，人工智能在技術層面上取得了巨大突破，而人工智能與載體結合并使載體更加智能化、自主化和個性化是新的發展趨勢，如增強現實(Augmented reality, AR)和虛擬現實(Virtual reality, VR)技術結合人工智能，能夠創造更加沉浸式的體驗和交互方式。機器人技術的快速發展是人工智能的重要載體，結合感知、決策和控制能力，人工智能使機器人能夠自主地感知環境、做出決策并執行任務。此外，近年來 “具身智能”技術得到快速發展，機器人輔助手術是其理想的應用場景之一。智能體的設計不僅包括處理復雜信息和自主決策的“大腦”，更關注“身體”如何設計并實現功能；智能不是孤立地存在于虛擬空間，而是放到具體的應用環境中，通過實際任務的訓練不斷進化發展。

機器人輔助手術(Robot-assisted surgery, RAS)是將機器人技術應用在外科手術領域，根據手術環境與臨床需求制定方案、編制特定流程，并使機器人執行特定動作，輔助醫生或自主完成復雜的外科手術。機器人輔助手術常用于狹窄手術部位，實現人類能力范圍以外的手術器械操控。相較于傳統外科手術，機器人輔助手術的操作更精準、靈活和可控，具有患者的切口小、恢復時間短、并發癥風險低、失血和疼痛減少等優勢，更重要的是醫生使用機器人手術可以實施更加精細和復雜的手 術。近年來，機器人輔助手術向智能化與自主化方向發展。上海交通大學楊廣中教授等將手術機器人的智能分為6個等級，等級越高智能化程度越高，其中：第0級的機器人不存在智能，第1級機器人可以做一些簡單的輔助；第2級機器人可以自動完成醫生指定的任務；而到了第5級，機器人可以完全自動進行手術，無需人為干預。雖然目前大部分的機器人輔助手術系統仍處于第0級或第1級，但未來的機器人輔助手術系統將更加智能與安全，可以根據醫生的操作風格和患者的具體情況進行調整，提供個性化的手術輔助，減少手術并發癥的風險。

人工智能與機器人輔助手術結合能夠實現優勢互補。人工智能作為智能載體，可以為機器人提供智能決策和學習能力，而機器人作為執行者，能夠將人工智能的決策轉化為具體的操作。人工智能算法能夠對手術過程實時分析和反饋，輔助醫生做出準確決策，減少手術中的誤差。人工智能在機器人輔助手術的典型應用可以總結為三個方向：醫學圖像處理、手術規劃與導航以及機器人運動控制與決策，如圖1所示。

1

醫學圖像處理

在眾多醫療信息中，醫學影像是機器人輔助手術進行疾病篩查、診斷和治療決策的主要的信息來源。人工智能技術可以改善醫學影像的成像質量、對病灶和組織進行準確分割和對齊，并實現繁瑣的病灶篩查，而理解醫學圖像并提取具有診斷和治療決策價值的關鍵信息是診療過程中非常重要的環 節。本節主要從圖像重建與增強、圖像分割、圖像配準、病變檢測與診斷4方面進行介紹。

1.1 圖像重建與增強

圖像重建為機器人輔助手術提供關鍵視覺信息。在圖像重建領域，主要采用基于深度學習中的卷積神經網絡(Convolutional neural networks, CNN)、生成對抗網絡(Generative adversarial networks, GAN)和Transformer，如圖2a、2b和圖2e所示。多種類型的醫學影像模態在臨床中得到廣泛應用，包括電子計算機斷層掃描(Computed tomography, CT)、磁共振成像(Magnetic resonance imaging, MRI)、正電子發射斷層顯像(Positronemission tomography, PET)、超聲等。

圖2 人工智能類型的示意圖

利用X射線投射人體生成CT圖像，可采用多種方法重建，如基于深層神經網絡的投影域圖像重建、基于卷積神經網絡的圖像域圖像重建、雙域網絡圖像重建和直接映射圖像重建。這些方法各有優勢，其中稀疏正弦圖合成填充缺失數據，卷積神經網絡產生高質量圖像，雙域網絡獲得更全面的信息。直接映射圖像重建受限于數據依賴、計算成本和GPU內存需求，較為少見。

MRI圖像具有高分辨率和高對比度的優勢，可在神經外科和腹腔外科等手術中輔助規劃路徑，并提供導航和實時監測。MRI重建方法主要分為基于數據驅動的端到端重建和基于模型的重建兩類。常用的端到端MRI重建網絡結構包括U-Net、GAN、Cascade-Net、Deepcomplex-MRI、ResNet和AUTOMAP等深度學習方法。基于先驗模型的重建算法包括交替方向乘子法、基于模型的深度學習、變分網絡和卷積去混疊網絡等。

PET成像利用放射性示蹤劑記錄人體代謝和功能活動，生成高靈敏度、特異性的圖像。這些圖像可以為手術機器人提供準確導航、實時監測和靶向治療。常用的PET重建方法包括分析濾波背投和迭代最大似然法。迭代最大似然法生成的圖像是示蹤劑分布的估計值。HASHIMOTO等提出的無監督方法結合了深度圖像先驗框架和前向投影模型，實現無監督PET圖像重建。PET圖像重建面臨數據一致性、匹配和過度擬合等挑戰，可能導致圖像中的噪聲和偽影。

超聲圖像能夠提供人體內部結構的詳細信息，可準確定位和識別病變、器官和重要血管等關鍵結構。超聲成像系統由于射頻采樣存在旁瓣偽影，標準波束成形器產生的模糊圖像不適合臨床使用，而基于深度學習的方法可以實現高質量重建。LANNI等開發了一種基于卷積神經網絡的超聲圖像重建方法，保持成像性能的同時顯著減少了必要的數據量。KOULOUNTZIOS等將圖像數據與時間序列數據進行融合實現4D成像，并通過使用時間相關全變分算法生成動態體積圖像。PRASAD等提出的CNN超聲圖像重建方法，可以在不到一秒的時間內從記錄的超聲數據中重建聲學屬性分布。

分辨率是醫學圖像中的關鍵指標，高分辨率圖像能夠為手術機器人提供更多的結構細節。圖像超分辨率方法是一種圖像后處理技術。PHAM等使用基于CNN的簡單的3層網絡結構由低分辨率圖像重建高分辨率圖像。除CNN外，MAHAPATRA等提出了一種使用漸進式生成對抗網絡的圖像超分辨率方法，將低分辨率圖像作為輸入并生成所需比例因子的高分辨率圖像，而SONG等 提出可變形Transformer網絡解決內窺鏡視頻數據的超分辨率問題。然而，由于缺乏真實采集的成對低分辨率和高分辨率的圖像，現有研究中的低分辨率圖像主要由真實的高辨率圖像通過圖像模糊和下采樣等操作生成。

1.2 醫學圖像分割

圖像分割是醫學圖像分析和解譯的重要前提。由于存在人體器官多樣性、病灶形狀復雜性、圖像噪聲干擾等問題，自動精準的醫學圖像分割仍然是一個尚未解決的難題。根據標注數據量和標注方式可以將醫學圖像分割分為全監督分割模型，半監督分割模型和無監督分割模型，如圖2c所示。

在給定訓練樣本及其對應的像素/體素級標注下構建的分割模型稱為全監督模型。在全監督的醫學圖像分割方法中，U-Net及其改進的網絡結構得到廣泛的應用，如圖2d所示。為了提高神經網絡所提取特征的表達能力以及網絡分割精度，SCHLEMPER 等在U-Net的跳躍連接中引入注意力機制。分割多個目標或含有多個子結構的目標是醫學圖像分割中一類重要而有挑戰的問題。DOLZ等針對多模態MRI圖像分割問題，在編碼與解碼結構中引入多個編碼器，并在多個編碼器間引入超密集連接。TANG等針對CT/MRI多模態圖像分割問題，設計了一個雙結構深度特征融合網絡，提升術后膠質瘤CT圖像的分割效果。SU等基于Mask R-CNN得到多類型手術刀的分類分割模型，為手術刀識別、定位和跟蹤提供了潛在的解決方案。

弱標注是指訓練數據僅含有圖像級標注、稀疏標注或邊框標注等，其標注的工作量較低但分割難度比全監督高。OUYANG等在胸部X射線圖像分割中考慮了部分數據只含有圖像級標注的情形，并利用多任務網絡和注意力機制實現了較高精度的分割。WANG等設計了一個融合體素分類和邊界回歸的混合損失網絡，利用不完整的標簽數據對CT盆腔器官進行語義分割。針對只有部分數據含有像素/體素級標注的問題，研究者們提出了一系列基于增量學習或自訓練、聯合訓練、生成對抗學習和知識蒸餾等思想的醫學圖像分割模型。

醫學圖像中目標器官解剖結構是重要的先驗信息，結合先驗信息可以有效提高無監督分割模型的分割性能，而當前深度分割模型利用的先驗知識主要包括基于數據學習的先驗解剖知識以及抽象先驗知識。AMBELLAN等針對MR圖像中膝關節分割問題，提出結合3D統計形狀模型和2D/3D全卷積神經網絡模型。FANG等則使用圖譜作為神經網絡模型的先驗知識。為利用目標物體積、不變矩等多種抽象先驗信息，KERVADEC等提出一類帶有線性約束的卷積神經網絡。MAN等基于深度強化學習策略，提出了基于上下文交互機制的各向異性幾何感知的可變形深度學習定位與分割框架。

隨著計算機視覺領域模型泛化能力的提升，無監督分割模型也向大模型方向發展。SAM是Meta FAIR實驗室發布的一種最先進的圖像分割大模型。智源研究院視覺團隊提出的通用分割模型SegGPT是首個利用視覺上下文完成各種分割任務的通用視覺模型。SEEM是一種可提示的交互式模型，通過整合可學習的記憶提示以通過掩碼引導的交叉注意力保留對話歷史信息，并可以一次性在圖像中對所有位置的所有內容進行分割。

1.3 醫學圖像配準

醫學圖像配準是指在不同圖像的相同結構、功能區域之間建立空間對應關系，將待配準圖像映射到模板圖像所定義的空間域并對齊術。人工智能成為提升醫學圖像配準性能的突破口，其端到端的應用方式、高精度的配準結果是目前圖像配準領域的研究熱點。根據訓練方法的不同，醫學圖像配準方法分為全監督、弱監督和無監督三種模式。

全監督的醫學圖像配準模型在訓練階段的每次迭代中，輸入兩幅圖像，通過網絡回歸獲得輸出的空間變換參數。全監督配準模型在訓練時需要預先得到配準的空間變換參數作為網絡優化的監督信息。EPPENHOF等通過B樣條的方式采樣得到密集形變場，并將該形變場作用于真實圖像，得到新的變形后的圖像。CAO等通過醫學圖像配準軟件ANTs對圖像進行預配準，并將得到的形變場作為訓練網絡的標簽。

半監督配準方法利用現有標注信息優化網絡參數，在測試階段無需額外標注。HU等在訓練階段引入了前列腺區域的標注，通過計算形變后的標注數據和目標圖像的標注數據優化網絡參數，實現超聲圖像和磁共振圖像的配準。DALCA等提出通過網絡估計速度場和動量場，并通過積分得到形變場實現微分同胚的變換。SHEN等通過網絡優化得到不同區域適應不同測度函數的形變參數，在提高配準精度的同時降低了形變場的折疊情況。FRANCHI等提出通過預測中間圖像的方式實現基于引導方式的圖像配準，提高配準的精度和魯棒性。

無監督的配準方法需要對圖像的相似性加以定義，即網絡的損失函數由圖像相似性測度和空間變換約束項組成。BALAKRISHNAN等通過定義均方誤差相似性測度和形變場平滑約束構成的損失函數，優化一個簡單的U-Net網絡以無監督的方式訓練得到了腦MRI圖像的配準模型。DEVOS等通過無監督的訓練方式疊加訓練幾個網絡完成仿射、可形變的配準。

1.4 病變檢測和診斷

醫學圖像中的病變檢測通常是指在影像中定位和識別病灶區域。病變檢測和診斷中以Faster- RCNN、YOLO、SSD等算法為典型代表，多種改進算法也不斷被提出并應用于不同模態醫學圖像和不同組織器官中的病灶檢測。

基于CT圖像的肺結節檢測是人工智能應用于醫學影像的熱門研究方向，其原因在于Kaggle網站公開了一個大樣本的據集。XIE等將Faster R-CNN改進為使用兩個區域候選網絡，并針對3種不同切片分別訓練3個模型進行集成。KHOSRAVAN等采用3D密集連接模塊進行特征提取，無需額外的分支結構就可以實現快速肺結節檢測。此外，CT也是臨床上診斷新型冠狀病毒肺炎(COVID-19)的有效手段。在乳腺疾病檢測方面，國際上公開了多個鉬靶數據庫供模型訓練。AKSELROD等將Faster-RCNN、YOLO等常用的深度學習檢測模型進行一定改進，應用于基于鉬靶圖像的乳腺腫瘤自動檢測和輔助診斷。XIAO等通過引入最高似然損失來選擇和訓練疑似的病灶目標區域，并提出相似性損失以進一步從目標中識別可疑目標。

相比于靜態醫學影像，時間序列下的動態影像可以更加精確地反映病灶區域。MAICAS等利用深度強化學習提升網絡的注意力機制，將針對病變區域的搜索由整個動態對比增強磁共振圖像序列逐漸集中到乳腺腫瘤病灶所在的區域，縮短了檢測時間。

隨著目標檢測算法泛化性的增強和數據集的不斷完善，病灶區域檢測算法的研究趨勢從只能檢測某一部位病變的模型向可以檢測多個部位的通用模型發展。隨著大樣本多部位病灶區域檢測數據集Deeplesion的出現，通用的病灶區域檢測模型得到進一步研究。ZLOCHA等在Retina-Net的基礎上，使用差分進化搜索算法優化Retina-Net中的錨點配置。SU等提出多種人工智能組合算法的肛門健康狀況分類器，用于判斷肛門處于健康狀態或患病狀態。

1.5 醫學圖像數據集

人工智能的醫學圖像處理嚴重依賴數據集的訓練，本節將介紹一些公開的醫學圖像數據集，如表1所示。

2

手術定位、導航與規劃

手術定位、導航與規劃是機器人輔助手術的基石。人工智能已廣泛應用到手術規劃與導航中，以提供更加直觀與便捷的操作。如圖3所示，工作主要可以分為三個方面：定位和跟蹤，手術導航，手術規劃。

圖3 手術定位、導航與規劃

2.1 手術定位和跟蹤

人工智能可以應用于微創手術(Minimally invasive surgery, MIS)中的軟組織跟蹤。MOUNTNEY介紹了一種在線學習框架，該框架通過使用決策樹分類選擇正確的特征，并隨時間更新特征跟蹤器。WANG等在基于區域的3D跟蹤算法中采用了統計外觀模型來區分器官和背景。他們的驗證結果表明，結合學習策略可以提高組織跟蹤對照明變形和變化的魯棒性。SAEIDI等為跟蹤腹腔鏡手術期間由于呼吸等運動而導致的組織運動，開發了一種基于CNN和相機反饋的機器學習算法。

由于醫學成像、增強現實和機器人技術的發展，基于視覺的跟蹤技術進一步應用于微創手術。早期的研究討論了運動跟蹤，特別是在跳動心臟手術領域考慮了突出特征點的匹配。LU等提出基于深度匹配網絡的軟組織表面特征跟蹤方法。SCHOOB等提出利用立體約束來估計軟組織運動與深度變化的方法。通過立體光學三角測量，允許在任務空間中計算網格結構而實現實時視覺指導，再將跟蹤結果直接疊加到左右相機視圖上，最終立體增強現實。

微創手術工具檢測與跟蹤是避免實際操作中對器官或組織造成損傷的重要技術。CHEN等提出卷積神經網絡結合傳統線段檢測的微創手術工具檢測與跟蹤算法。TWINANDA等則提出了將改進的經典AlexNet算法用于解決微創手術工具檢測與跟蹤問題。SARIKAYA等提出Faster R-CNN實現微創手術工具檢測與跟蹤的算法，該算法利用區域提議網絡和多模式雙流CNN，融合預測圖像和時間運動線索，實現對微創手術工具檢測與跟蹤。KURMANN等受U-Net啟發，提出基于先收縮后路徑的CNN算法，該算法的網絡結構共用5個下采樣和5個上采樣階段，每個階段有卷積層、激活層和采樣層，最后用全連接層擴展最底層，該算法在測試時不需要滑動窗口，從而減少了計算量，且同時檢測與跟蹤多個微創手術工具。NWOYE等提出用于微創手術工具檢測與跟蹤的弱監督CNN結合卷積長短時記憶(ConvLSTM)網絡算法，在微創手術工具二進制存在標簽上進行弱監督，再使用ConvLSTM網絡來模擬微創手術工具運動中的時間依賴性。

2.2 手術導航

手術導航是以影像學數據為基礎建立圖像空間，在手術前通過尋找圖像空間和病人空間的坐標轉化關系，達到在術中實時跟蹤手術器械在病人空間位置的目的。通過將患者術前影像(如CT或MRI)和術中實時采集的圖像或掃描的數據進行精確對齊，可以將虛擬模型與真實解剖結構對應起來，為醫生提供準確的導航信息。空間配準是手術導航的關鍵技術，空間配準的準確性在很大程度上決定了導航系統的定位精度。目前，應用于手術導航系統中的空間配準算法主要有點匹配空間配準和面匹配空間配準。點匹配空間配準是應用最為廣泛的一種空間配準方法，醫生在病人術區附近的皮膚表面粘貼人工標記物，將其作為配準的標記點，術中利用光學定位系統識別標記物，然后通過標記物與目標的相對位姿關系計算出目標位姿。面匹配空間配準通過掃描儀獲取病人病灶區域點云進行空間配準，與傳統的點匹配空間配準相比，其優點是不需要粘貼人工標記物和進行專門的影像掃描。進行多模態醫學影響配準時，根據配準維度不同可分為3D-3D與2D-3D配準兩大類。其中，3D-3D的配準主要為CT、MRI、PET等圖像間的配準，可以通過迭代相似性度量優化剛性(非剛性)變化的模型參數；2D-3D的配準主要是求術中二維圖像在術前三維圖像空間中的位姿，常見的優化策略有單純形法、CMAES、Powell-Brent最優化方法等。

由于組織的動態特性，組織環境的實時3D重建是導航的重要先決條件。其中即時定位與地圖構建(Simultaneous localization and mapping, SLAM)是重建廣泛應用的技術。在SLAM中，機器人可以同時構建周圍環境的3D地圖，并在構建的地圖中定位相機位姿。傳統的SLAM算法基于剛性環境的假設，因此限制了它直接用于軟組織和器官變形的典型手術場景。為解決這個問題，MOUNTNEY等將擴展卡爾曼濾波器SLAM框架應用于立體內窺鏡，其中SLAM估計通過呼吸引起的軟組織周期性運動進行補償。GRASA等評估了單目擴展卡爾曼濾波器SLAM在疝修復手術中測量疝缺損的有效性。TURAN等通過陰影形狀從RGB數據估計深度圖像，然后通過使用成對的RGB和深度圖像采用RGBD SLAM框架。

2.3 手術規劃

微創手術通常無法提供清晰/完整的手術視野，但為了保證手術安全需要準確規劃器械的位置。因此，外科醫生必須準確地研究患者的解剖結構，并在術前確定一個或多個器械運動軌跡，以最大限度地提高干預效果，同時確保患者的安全。

根據手術路徑規劃的時間點，可以分為術前規劃與術中規劃。術前規劃需要獲取術前影像，并在手術過程中將術中影像與術前影像配準，而機器人輔助手術常采用術中規劃的導航方式。NOWINSKI等提出了一個先驅規劃助手，允許多圖集可視化來定義目標點，連續導航和測量。WIMMER等提出了一種軟件，當外科醫生計劃軌跡時，該軟件可以顯示與周圍關鍵結構距離的實時反饋。KLEIN等提出了一種用于教學的椎弓根螺釘插入模擬軟件，用戶可以根據患者的數據規劃軌跡。HERGHELEGIU等開發了一種用于神經外科探索的活檢規劃器，可識別能夠到達預定義目標的區域。手術規劃還要從所有預定義的軌跡中選擇最佳路徑。最佳的手術路徑通常會避開所有危險的結構，并最大限度地與它們保持距離，并考慮工具的尺寸可能帶來的誤差。最佳手術路徑的生成通常使用優化模型來實現，即通過將臨床需求轉換為需要滿足和優化的幾何約束來計算此路徑。NAVKAR等使用基于表面的渲染技術計算出一系列影像圖，并投影在手術區域的外表面，使外科醫生可以使用這些圖來確定最可行的入口點。SOLITRO等提出用于椎弓根釘植入的交互式規劃方法。外科醫生通過手動定位兩個平面來識別椎弓根部分，隨后對感興趣區(Region of interest, ROI)進行離散化和器械軌跡計算，根據計算的幾何和臨床插入參數進行過濾，通過層次分析法獲得最佳軌跡。

3

機器人運動控制與決策

3.1 人機交互控制

手術機器人雖然在執行手術過程中具備卓越的準確性，但仍然需要醫生的監督和指導。醫生根據自己的專業知識和經驗，通過與手術機器人建立實時的溝通和互動，以應對手術中的變化或意外情況。

常見的人機交互控制方法包括阻抗控制和導納控制。FICUCIELLO等概述了阻抗控制方案，該方案允許機器人操縱器之間具有高度的合規性，減少人體協作期間或工具碰撞發生時的相互作用力。為提高阻抗控制的順應性與穩定性，FONG等采用了兩階段的示教學習策略，基于高斯混合模型(Gaussian mixed model, GMM)在機器人輔助康復過程中學習治療師的軌跡和阻抗。SHARKAWY等設計了一個多層神經網絡調整機器人導納控制器的阻尼元件，通過訓練最小化機器人末端執行器的笛卡爾速度與最小顛簸軌跡速度之間的誤差。MODARES等開發了具有自適應增益的神經網絡控制器，實現自定義阻抗，同時通過LQR技術在線修改阻抗模型，最大程度減少人力。

在人機交互環境中，機器人須保證能夠維持或增強患者的安全。虛擬約束用于限制機器人操作的范圍，提供額外的安全屏障和保護措施。PARK等為機器人輔助冠狀動脈搭橋手術開發虛擬夾具，患者的解剖結構將被配準到圖像數據中，然后利用虛擬夾具根據外科醫生的命令將器械的運動限制在靠近動脈的適當路徑上。DUAN等針對基于人機交互的機器人輔助鉆孔開顱術，研究鉆孔和對準兩段協作鉆孔任務的虛擬夾具切換，而保證手術操作的順應性和安全性。

近年來，大語言模型在機器人操作任務方面得到快速發展。機器人通過海量醫學案例與大規模文本語料庫進行訓練，有望在手術規劃和操作過程中對實現醫生對機器人的進行實時語義指導。對于復雜多模態的醫學影像數據，大語言模型可以用文本描述的方式解讀醫學影像報告，避免診斷缺漏。另外，大語言模型可用于生成詳細的病例、處方、術中記錄和手術報告，有望為醫生減輕文書工作的負擔。隨著技術的進一步發展，大語言模型將會在醫療領域具有更深遠的影響。

3.2 主從控制

在機器人輔助微創手術中，由于創口很小，外科醫生只能通過遠程操縱安裝手術工具，主從操作系統一般包括人類操作員、主手操作設備、通信通道、從端手術機器人和感知模塊等。人工智能在手術機器人主從操作中具有潛在的優勢和應用，提高手術機器人的性能和效果。

在大多數情況下，主從手術機器人將外科醫生與患者隔離，會使醫生缺失觸覺反饋。考慮在末端執行器上安裝微型力傳感器很困難，微創手術機器人通常會丟失遠端力信息。LI等提出了兩階段數據驅動方法對柔性內窺鏡機器人進行動態遠端力預測。LEE等指出非結構化環境中接觸豐富的操作任務通常需要觸覺和視覺反饋。通過自我監督學習感官輸入的緊湊和多模態表示，以提高學習效率。GUO等提出基于深度學習的方法測量儀器夾持力，而無需安裝額外的傳感器。基于視覺數據的力估計是人工智能在主從控制系統中的典型應用。AVILES等提出使用深度神經模糊策略進行力估計，實現模糊系統和深度神經網絡之間的融合。MARBAN等提出半監督學習方法，通過與LSTM網絡串行連接的編碼器網絡結合，可使用未標記的視頻序列來訓練編碼器網絡并從圖像中提取視覺特征。

主從操作系統的傳輸速度和穩定性直接決定了遠程機器人手術的安全性和實時性，低頻系統會影響手術的準確性和外科醫生的感知。為了主從控制中的輸入和反饋時間延遲，HUANG等提出了一種循環神經網絡(Recurrent neural network, RNN)預測控制策略，該控制策略由局部線性化子系統和從端預測控制器組成。BAO等針對具有時變延遲和輸入死區的主從遙操作系統的同步控制問題，提出了基于徑向基函數神經網絡的自適應有限時間同步控制方案。GONZALEZ等提出深度學習框架對外科醫生的手術操作進行實時識別，同時從動作中提取高級命令并發送到從端手術機器人。BACHA等引入基于深度確定性策略梯度強化學習(RL)算法的控制框架，克服了時間延遲造成的相位差和數據丟失，并有利于外科醫生意圖識別和交互力感知。SHU等設計并制造了具有綜合力反饋功能的新型FURS機器人。

3.3 自主控制

由于軟組織在外力作用下容易發生變形，因此實現軟組織的自主切割是一項具有挑戰性的技術。THANANJEYAN等采用深度強化學習技術來開發用于手術切割任務的規劃器。SEITA等使用深度神經網絡通過dVRK實現自動化清創任務。ATTANASIO等提出從手術區域自主去除組織以暴露底層解剖結構的方法。OPFERMANN等采用近紅外熒光標記物檢索腫瘤邊界并通過電外科手術指導切除，同時保持最小邊緣4 mm。雖然需要手動標記，但這種方法實現了(3.67±0.89) mm 的余量，展現了基于近紅外熒光的視覺伺服在清創的可行性。NICHOLS等提出了類似的方法，通過在模型上應用彩色標記來檢測目標區域。MCKINLEY等使用安裝在達芬奇操縱器上的觸診探頭來識別和切除隱藏在組織表面下的腫瘤，再使用手術刀進行切口和夾持。

縫合是手術常見的程序之一，OSA等采用模仿學習方法，可實現手術機器人在差異化的初始位姿下繞線打結。MIKADA等提出了一種用于縫合的人類協作控制，其中人類操作員用儀器插入針頭，機器人用另一臺儀器自動將其拔出，并使用CNN方法檢測指針和估計狀態。TANWANI等提出以機器人運動為中心的表示方法，通過從手術視頻的演示數據中識別標志性步驟，僅需小部分帶有操作步驟的標簽數據，通過孿生網絡以半監督方式進行相似性操作步驟學習，實現自主化的創口縫合。PEDRAM等提出基于六自由度控制器的手術機器人自主縫合框架，通過對縫合針位姿估計的和運動軌跡規劃，實現有不同硬度創口的自主化縫合。SHADEMAN等采用全光學相機提取場景的3D輪廓并自主定義縫合入口點，與人類操作員相比在時間和準確性方面表現出更卓越的性能。SAEIDI等使用點云自主規劃針路徑和入口點，由外科醫生手動識別感興趣的區域，系統通過自主提取所有任務規范來接管，結果顯示其一致性接近人類操作員的三倍。

在心血管導管自主導航的背景下，FAGOGENIS等介紹了使用力傳感和觸診驅動自主導管通過血管并到達心臟的工作。PATEL等提出在術中MRI連續引導下進行機器人輔助穿刺的系統。在連續多平面圖像采集過程中，柔性針的插入深度和旋轉角度由MRI掃描儀中的MRI兼容機器人操縱，以到達所需的目標位置。MOREIRA等提出了一個靈活的穿刺針轉向系統，結合了兼容MRI的機器人和基于光纖布拉格光柵(Fiber Bragg grating, FBG)的針尖跟蹤器，MRI用于定位障礙物和目標，而FBG傳感器提供應變測量，用于在線估計針尖位置。

實現自主控制的核心是保證機器人能夠通過與環境的交互取得認知能力，學習并掌握新技能新知識。這與具身智能的概念不謀而合。具身智能的研究主要集中在模仿學習和強化學習兩部分。模仿學習對數據的要求很高，強化學習方法則不需要人為構造復雜數據集來學習策略，但無法直接獲取環境動力學的梯度信息，在樣本效率方面低于比模仿學習。近期的具身智能大模型，如Google Deepmind的RT-X，是在大規模語音數據集上預訓練過的Transformer以及在視覺任務上預訓練過的ViT作為backbone，在多形態的具身任務數據集上微調，從而解鎖了零樣本，系統性泛化到新任務的能力，在一定程度上緩解了具身智能數據采集成本高昂的問題。此外，在微創手術中常用的軟體機器人與連續體機器人建模方面，相關學者開展了具身智能方面的研究，如MENGALDO等通過軟體機器人與周圍環境的外部相互作用給出完整的變形數學描述，使軟體機器人實現具身智能。

4

機遇與挑戰

4.1 未來發展機遇

4.1.1 計算機算力的大幅提升為智能系統提供保障

隨著計算機技術的不斷進步，計算機算力成倍增加，使機器人在手術過程中能夠更快、更準確地處理大量的數據和信息。借助人工智能算法和深度學習技術，機器人可以通過對海量醫學數據的分析和學習，快速識別病灶、定位手術區域，并根據患者的個體化特征做出精確的手術方案。

4.1.2 大模型提高機器人輔助手術的智能化水平

隨著深度學習技術的興起，基于海量數據的大模型成為人工智能研究的熱點。大模型具有更強的學習和表達能力，能夠處理機器人輔助手術中更復雜的任務和問題。通過訓練大模型，機器人系統可以從數據中挖掘出更深層次的特征和規律，實現更高水平的智能化表現。大模型的發展也推動了計算機硬件和算法的改進，使得機器人系統在計算效率和模型規模上得到提升。大模型的發展又能夠更好地挖掘和利用大規模數據中的信息，提升人工智能系統的能力和效果。

4.1.3 臨床需求的提升為機器人輔助手術帶來機遇

老年人身體機能的下降和慢性疾病的增加使傳統手術風險更高。人工智能應用于機器人輔助手術，通過其高精度操作和實時監測的優勢，能夠減少手術過程中的損傷和并發癥的風險，提高手術的安全性。此外，機器人輔助手術還能夠進行精確的病灶定位和手術導航，減少手術創傷和恢復時間，為老年患者提供更好的治療效果。隨著老年人口的增加，傳統手術方式醫療資源不足也將進一步促進人工智能與機器人輔助手術發展。

4.1.4 政策支持與合作共享共同促進相關技術發展

政府通過資金支持、研發項目、技術轉移和人才培養等方式，鼓勵醫療機構、科研機構和企業開展人工智能與機器人輔助手術的研究與應用。學術界、醫療界和產業界通過積極合作，建立交流平臺，推動技術創新和應用示范，促進人工智能與機器人輔助手術的落地和推廣。隨著國家支持力度的增加和技術的不斷發展，人工智能與機器人輔助手術的應用前景將更加廣闊。

4.2 面臨的挑戰

4.2.1 人工智能模型生成的結果難以獲得合理解釋

人工智能模型生成的結果難以被外科醫生讀懂。盡管人工智能比外科醫生做出的結果更好，但很難以直觀的方式解釋人工智能模型的結論、確定模型的弱點或從這些計算“黑盒”中提取相關的生物學解釋。最新解釋圖像分類模型的方法包括可視化卷積濾波器或使用顯著性圖來表示每個圖像區域的相關性。然而，對于在非圖像數據上訓練的深度神經網絡模型，模型解釋仍然更具挑戰性，是當前人工智能研究工作的重點。

4.2.2 人工智能算法的訓練仍需大量臨床數據

智能學習算法在無需跨數據類型整合信息的明確任務的取得快速進展。然而，在臨床診斷和治療選擇方面，如何應用深度神經網絡仍不夠清晰。盡管深度學習在圖像分類、翻譯、語音識別、聲音合成甚至神經網絡設計等方面取得了成功，但臨床診斷和治療任務通常需要更多的背景信息(如患者偏好、病史和藥品使用禁忌等)，而深度學習主要專注于具體任務。此外，如何將大型非醫學數據融入到臨床數據分析算法中的方法尚不明確。隨著非醫學數據的增加也意味著需要進行更大規模的數據收集和數據標注工作，才能開發出完整的人工智能臨床系統。

4.2.3 醫療信息共享的安全性保障是重要考慮因素

建設能夠收集、存儲和共享醫療數據的平臺仍然是挑戰性問題。為確保安全的數據共享，可以使用保護隱私的方法，通過云服務來實現。然而，廣泛推廣這樣的平臺，需要開發符合臨床信息表示標準的應用程序以實現不同平臺之間的數據互操作。隨著數據收集變得普遍，需要制定標準規則指導醫療數據的采集。隨著臨床人工智能系統的成熟，它們在臨床使用方面將不可避免地增加，這將可能引發新的社會、經濟和法律問題。人工智能可以減少人為錯誤和降低醫生疲勞來提高醫療質量。然而它可能不會減少醫生的工作量，因為基于人工智能的手術指南可能會建議對高風險患者進行更加頻繁的檢查。

4.2.4 智能手術機器人產品標準和審批仍需完善

從監管的角度看，臨床人工智能系統在大規模應用之前需要獲得認證。將有越來越多的人工智能或手術機器人系統的上市提交申請。監管機構需要制定具體的標準，如驗證數據的可行性和系統質量等。基于機器學習的模型對監管機構提出了獨特的挑戰，因為隨著收集更多數據和用戶反饋，模型可以迅速演化，但如何評估這些更新是較大的挑戰。人工智能在機器人輔助手術中涉及復雜決策過程也有可能會造成的醫療事故。當出現人工智能導致醫療事故時，法律系統需要明確指出誰應該承擔責任，醫療保險也要明確保險覆蓋范圍。隨著人工智能與機器人在特定臨床任務中的應用，醫療人員的資質需要更新，并且隨著各種人工智能模塊納入到標準醫療流程中，醫療人員的操作流程也將不斷發展變化。

5

結論

人工智能的蓬勃發展推動機器人輔助手術向更高精度和更高自主性艱難邁進。本文綜述了人工智能在機器人輔助手術的應用，并從醫學圖像處理、手術規劃與導航、手術機器人運動控制與決策三個方面進行了重點總結，以其對未來相關研究提供參考。

在醫學圖像處理方面，非侵入性成像技術可以為機器人輔助手術提供引導。基于深度學習的醫學圖像處理技術飛速發展，人體組織的重建、病變與解剖結構分割、圖像配準已在臨床上廣泛應用，可解決器官多樣性、病灶形狀復雜性和抗干擾等問題。圖像配準是手術機器人的重點之一，但由于人體組織變形等問題，高精度彈性配準尚待攻克，是未來研究的重要方向。在手術規劃與導航方面，人工智能技術使術中環境感知更為準確和穩定，可以根據患者個體特征和病情數據提供個性化手術方案，實時跟蹤手術器械以提供精確導航，實時預測術中風險并指引操作。然而對于組織或器官的變形，由于動態和不確定的環境使手術變得復雜，擴展到更復雜的3D應用仍有待于進一步研究。在手術機器人運動控制與決策方面，通過與人工智能的融合，手術機器人將能夠感知和理解復雜環境，實時決策，從而提升手術精度、安全性和自主性。在人機交互控制方面，通過示教學習和強化學習算法可以執行更復雜的任務。

綜上，人工智能正在推動機器人輔助手術技術革新，為患者提供更加安全、有效的治療手段，在未來將會得到更加快速和深入的發展。

作　　者：馬偉佳

責任編輯：趙子祎

責任校對：惲海艷

審　　核：張　強

JME學院簡介

JME學院是由《機械工程學報》編輯部2018年創建，以關注、陪伴青年學者成長為宗旨，努力探索學術傳播服務新模式。

歡迎各位老師掃碼添加小助理-暖暖為好友，由小助理拉入JME學院官方群！

歡迎關注JME學院視頻號~

尋覓合作伙伴

有一種合作叫做真誠，有一種發展可以無限，有一種伙伴可以互利共贏，愿我們合作起來流連忘返，發展起來前景可觀。關于論文推薦、團隊介紹、圖書出版、學術直播、招聘信息、會議推廣等，請與我們聯系。

感謝關注我們！《機械工程學報》編輯部將努力為您打造一個有態度、有深度、有溫度的學術媒體！

版權聲明：

本文為《機械工程學報》編輯部原創內容，歡迎轉載，請聯系授權！

在公眾號后臺留言需要轉載的文章題目及要轉載的公眾號ID以獲取授權!

聯系人：暖暖

電話：010-88379909

E-mail：jme@cmes.org

網 址：http://www.cjmenet.com.cn

官方微信號：jmewechat