本期閱讀

文章信息

智能制造測(cè)量機(jī)器人關(guān)鍵技術(shù)研究綜述

王耀南，謝核，鄧晶丹，毛建旭，李文龍， 張輝

DOI：10.3901/JME.2024.16.001

引用本文：

王耀南, 謝核, 鄧晶丹, 毛建旭, 李文龍, 張輝. 智能制造測(cè)量機(jī)器人關(guān)鍵技術(shù)研究綜述[J]. 機(jī)械工程學(xué)報(bào), 2024, 60(16): 1-18.

WANG Yaonan, XIE He, DENG Jingdan, MAO Jianxu, LI Wenlong, ZHANG Hui. Overview of Key Technologies for Measurement Robots in Intelligent Manufacturing[J]. Journal of Mechanical Engineering, 2024, 60(16): 1-18.

原文閱讀（摘要）

摘要：復(fù)雜曲面構(gòu)件是航空航天、海洋艦船等領(lǐng)域高端裝備的核心組成部分，其測(cè)量精度對(duì)保障高端裝備制造品質(zhì)具有不可替代的基礎(chǔ)支撐作用。為克服傳統(tǒng)手工、專機(jī)等制造方式的局限性，三維視覺引導(dǎo)的機(jī)器人系統(tǒng)為復(fù)雜曲面構(gòu)件的高端化智能化加工提供新思路，并逐漸成為機(jī)器人化智能制造領(lǐng)域的研究熱點(diǎn)。綜述圍繞機(jī)器人三維測(cè)量方法，首先根據(jù)傳感器類型和應(yīng)用場(chǎng)景，對(duì)不同制造場(chǎng)景的測(cè)量方案特點(diǎn)進(jìn)行全面歸納，以幫助研究人員快速全面地認(rèn)識(shí)和理解該領(lǐng)域。然后按照測(cè)量流程，將關(guān)鍵核心技術(shù)歸納為系統(tǒng)標(biāo)定、測(cè)量規(guī)劃、點(diǎn)云融合、特征識(shí)別等，綜述各類別近十年的主要研究成果，分析現(xiàn)有研究存在的不足。最后總結(jié)機(jī)器人測(cè)量面臨的技術(shù)挑戰(zhàn)，并從應(yīng)用場(chǎng)景、測(cè)量需求、測(cè)量手段等方面對(duì)未來的發(fā)展趨勢(shì)進(jìn)行了展望。

關(guān)鍵詞：智能制造；機(jī)器人測(cè)量；系統(tǒng)標(biāo)定；掃描規(guī)劃；特征識(shí)別

中圖分類號(hào)：TP242

0

前言

復(fù)雜曲面構(gòu)件是航空航天、海洋艦船等領(lǐng)域高端裝備的核心組成部分，其測(cè)量精度對(duì)保障高端裝備制造品質(zhì)具有不可替代的基礎(chǔ)支撐作用。傳統(tǒng)測(cè)量主要以量具、模具、儀器等手工或半自動(dòng)方法為主，存在效率低、柔性差等不足。隨著自動(dòng)化與人工智能技術(shù)的進(jìn)步和發(fā)展，機(jī)器人光學(xué)測(cè)量作為一種具有潛力的新興測(cè)量方法引起廣泛關(guān)注。相比傳統(tǒng)測(cè)量方式，機(jī)器人測(cè)量在復(fù)雜曲面制造中具有許多潛在優(yōu)勢(shì)：① 通過視覺引導(dǎo)消除手動(dòng)操作誤差等人為因素影響，可實(shí)現(xiàn)更高精度的測(cè)量；② 能自動(dòng)或自主執(zhí)行測(cè)量任務(wù)，可提高測(cè)量結(jié)果的一致性和可重復(fù)性，適用于大規(guī)模的復(fù)雜曲面構(gòu)件的測(cè)量；③ 不需要直接接觸曲面，可以適應(yīng)復(fù)雜曲面形狀和結(jié)構(gòu)，具有較高的靈活性和效率。然而，機(jī)器人測(cè)量面臨眾多挑戰(zhàn)：如曲面形狀的多樣性導(dǎo)致了方案設(shè)計(jì)和參數(shù)設(shè)置的復(fù)雜性；測(cè)量傳感器的性能、系統(tǒng)標(biāo)定精度、測(cè)量路徑規(guī)劃模式等因素也會(huì)影響測(cè)量準(zhǔn)確性和效率；制造過程中的環(huán)境振動(dòng)、工件變形等干擾也可能對(duì)機(jī)器人測(cè)量的穩(wěn)定性造成不利影響。因此，了解制造過程中機(jī)器人測(cè)量的優(yōu)勢(shì)、挑戰(zhàn)和限制，以及當(dāng)前的研究進(jìn)展和發(fā)展趨勢(shì)，對(duì)于制定合適的測(cè)量策略和技術(shù)改進(jìn)具有重要意義。本綜述旨在對(duì)機(jī)器人三維測(cè)量方法進(jìn)行綜合總結(jié)和分析，以期為相關(guān)領(lǐng)域的研究人員和工程師提供一個(gè)全面的了解。通過對(duì)近十年相關(guān)文獻(xiàn)的梳理，按照測(cè)量流程，將關(guān)鍵核心技術(shù)歸納為系統(tǒng)標(biāo)定、測(cè)量規(guī)劃、點(diǎn)云融合與特征識(shí)別。論文分析了現(xiàn)有研究存在的不足，最后總結(jié)了機(jī)器人測(cè)量面臨的技術(shù)挑戰(zhàn)，并對(duì)未來發(fā)展進(jìn)行了展望。

1

智能制造測(cè)量機(jī)器人應(yīng)用現(xiàn)狀

非接觸式測(cè)量傳感器在智能制造領(lǐng)域扮演了非常重要的空間信息獲取角色，常見的光學(xué)測(cè)量傳感器從原理上可分為立體視覺、結(jié)構(gòu)光、激光跟蹤、飛行時(shí)間、錐光全息等，每種原理都有各自的優(yōu)缺點(diǎn)，以此賦能不同類型的制造場(chǎng)景，主要包括上下料位姿估計(jì)、加工尋位、裝配引導(dǎo)、質(zhì)量檢測(cè)以及運(yùn)動(dòng)導(dǎo)航等，如表1所示。

在機(jī)器人上下料領(lǐng)域，通過結(jié)構(gòu)光或立體視覺測(cè)量可獲得物料6D位姿。圖1a中FANUC公司在機(jī)器人系統(tǒng)中高度集成了iRVision智能視覺系統(tǒng)，無須增加第三方設(shè)備，就可以實(shí)現(xiàn)多種場(chǎng)景位姿估計(jì)與散亂抓取，有效降低了視覺系統(tǒng)開發(fā)成本和周期。ABB公司在RobotStudio機(jī)器人仿真軟件平臺(tái)開發(fā)了PickMaster技術(shù)，利用視覺感知和智能算法，使多臺(tái)工業(yè)機(jī)器人能夠同時(shí)在變化多端的環(huán)境中高效抓取物體。類似產(chǎn)品還有KUKA公司的PickControl、Yaskawa公司的MotoPick。整體上看，大部分制造場(chǎng)景對(duì)抓取精度要求不高，所以三維視覺引導(dǎo)的機(jī)器人上下料定位技術(shù)已經(jīng)廣泛應(yīng)用到諸多行業(yè)，為工業(yè)制造流程自動(dòng)化提供了強(qiáng)有力支撐。目前該方向研究的主要焦點(diǎn)是復(fù)雜背景下任意堆疊的多類型復(fù)雜零件的6D位姿估計(jì)，以及融合視覺、力覺、觸覺等感知信息的安全柔性抓取技術(shù)等。

在加工尋位領(lǐng)域，機(jī)器人測(cè)量常見的應(yīng)用場(chǎng)景有坡口焊接、銑削磨削等(圖1)。如在機(jī)器人坡口切割和焊接過程中，可通過線激光位移傳感器識(shí)別坡口和焊縫位置，為機(jī)器人作業(yè)提供點(diǎn)位信息。以坡口為例，主要包括“先掃后割”與“邊掃邊割”兩種作業(yè)模式，先掃后割是先通過掃描獲取工件完整的輪廓軌跡，然后再進(jìn)行加工。邊掃邊割是指掃描和加工同時(shí)進(jìn)行，傳感器固定在槍頭前方，對(duì)將要加工的輪廓點(diǎn)進(jìn)行實(shí)時(shí)定位，然后動(dòng)態(tài)修正預(yù)期加工軌跡。邊掃邊割模式相比先掃后割效率更高，適合高節(jié)拍生產(chǎn)線，缺點(diǎn)是技術(shù)難度大，加工時(shí)會(huì)產(chǎn)生大量的粉塵和強(qiáng)光，容易影響激光跟蹤質(zhì)量，而且掃描儀和槍頭是共同固定在機(jī)器人末端，所以加工軌跡決定了掃描軌跡，加工復(fù)雜異形輪廓時(shí)容易超出視野，影響加工能力，這也是當(dāng)前的應(yīng)用難點(diǎn)，因此現(xiàn)有坡口方式主要還是以先掃后割模式為主。對(duì)于視覺引導(dǎo)的磨削、銑削，主要通過三維傳感器獲取工件加工區(qū)域點(diǎn)云數(shù)據(jù)，然后通過配準(zhǔn)等方式計(jì)算工件加工位姿，從而實(shí)現(xiàn)工件坐標(biāo)系的位姿校正。代表性產(chǎn)品有Kuka(圖1b)公司的航空葉片銑削機(jī)器人、華中科技大學(xué)的核電葉片型面磨削機(jī)器人等。

在裝配引導(dǎo)領(lǐng)域，目前在汽車電子、重工等行業(yè)應(yīng)用較為成熟，光伏鋰電等行業(yè)正加速應(yīng)用，而在航空裝配領(lǐng)域，由于精度較高、尺寸較大、工序復(fù)雜等因素，應(yīng)用相對(duì)較少。潛在的應(yīng)用場(chǎng)景主要是蒙皮裝配和大部件裝配。在飛機(jī)蒙皮裝配過程中，為實(shí)現(xiàn)裝配間隙最小化，可通過構(gòu)建已裝配和待裝配蒙皮點(diǎn)云邊界三維配準(zhǔn)的目標(biāo)函數(shù)，并引入曲面光順、余量非負(fù)等約束，求解最佳裝配位姿和邊界加工余量，實(shí)現(xiàn)裝配間隙最小化。如空客公司的移動(dòng)測(cè)量機(jī)器人可實(shí)現(xiàn)機(jī)身掃描路徑自動(dòng)規(guī)劃，通過Teg三維分析軟件實(shí)現(xiàn)蒙皮點(diǎn)云虛擬裝配。在飛機(jī)翼身等大部件動(dòng)態(tài)對(duì)接過程中，是通過iGPS、掃描儀、動(dòng)補(bǔ)系統(tǒng)、激光跟蹤儀等多種測(cè)量傳感器實(shí)現(xiàn)部件姿態(tài)的動(dòng)態(tài)跟蹤與裝配引導(dǎo)，該領(lǐng)域的技術(shù)難點(diǎn)主要是力位耦合虛擬裝配、高精度自動(dòng)定位與閉環(huán)調(diào)姿等。

在質(zhì)量檢測(cè)領(lǐng)域，主要通過機(jī)器人攜帶三維掃描儀對(duì)工件實(shí)現(xiàn)自動(dòng)檢測(cè)(圖2、圖3)。如圖2a德國(guó)Gom公司的ScanCobot人機(jī)協(xié)作全自動(dòng)量測(cè)系統(tǒng)，精度高達(dá)微米級(jí)，可通過模擬現(xiàn)實(shí)環(huán)境智能規(guī)劃無干涉掃描路徑，效率相比人工手持測(cè)量提升2倍以上。如圖2b美國(guó)宇航局NASA研制的雙機(jī)器人協(xié)同檢測(cè)系統(tǒng)，實(shí)現(xiàn)了飛機(jī)筒段的自動(dòng)掃描與質(zhì)量檢測(cè)。湖南大學(xué)研制了基于數(shù)字孿生的機(jī)器人三維測(cè)量系統(tǒng)，如圖3所示，通過建立的雙目可視錐模型實(shí)現(xiàn)了掃描區(qū)域的準(zhǔn)確預(yù)測(cè)，通過考慮測(cè)量精度和曲面完整性等多目標(biāo)因素，實(shí)現(xiàn)了隨意放置曲面零件的掃描路徑自主規(guī)劃，且無須設(shè)計(jì)模型，解決了傳統(tǒng)固定式路徑規(guī)劃方法受限于零件類型與擺放姿態(tài)的局限性。類似產(chǎn)品還有海克斯康的白光自動(dòng)拍照測(cè)量軟件系統(tǒng)Coreview、惟景三維的自動(dòng)化三維測(cè)量設(shè)備AutoScan。總體來看，近年來國(guó)產(chǎn)工業(yè)三維掃描儀與檢測(cè)技術(shù)發(fā)展迅速，與德國(guó)Gom等公司的差距正逐漸縮小。

2

智能制造測(cè)量機(jī)器人關(guān)鍵技術(shù)

為實(shí)現(xiàn)工件定位和特征檢測(cè)等作業(yè)任務(wù)，機(jī)器人測(cè)量系統(tǒng)需要完成系統(tǒng)標(biāo)定、路徑規(guī)劃、數(shù)據(jù)融合、特征檢測(cè)等關(guān)鍵技術(shù)流程，如圖4所示。首先標(biāo)定機(jī)器人測(cè)量系統(tǒng)，獲取手眼位姿、關(guān)節(jié)參數(shù)等空間信息，系統(tǒng)標(biāo)定是機(jī)器人精準(zhǔn)測(cè)量的基礎(chǔ)，確保了機(jī)器人能夠準(zhǔn)確地感知和定位目標(biāo)物體。然后根據(jù)機(jī)器人測(cè)量系統(tǒng)的空間信息，規(guī)劃?rùn)C(jī)器人可行測(cè)量路徑，路徑規(guī)劃確保了機(jī)器人能夠以合適的方式移動(dòng)到目標(biāo)位置，獲取多個(gè)位姿下的測(cè)量數(shù)據(jù)，并融合在同一個(gè)工件坐標(biāo)系下。最后將融合的完整數(shù)據(jù)進(jìn)行處理，獲取所需的工件位姿、特征等幾何信息，指導(dǎo)機(jī)器人作業(yè)。下面將對(duì)機(jī)器人測(cè)量的關(guān)鍵技術(shù)進(jìn)行綜述。

2.1 機(jī)器人測(cè)量系統(tǒng)標(biāo)定

機(jī)器人三維測(cè)量系統(tǒng)標(biāo)定主要是確定掃描儀與機(jī)器人之間的相對(duì)位姿關(guān)系，即手眼標(biāo)定。手眼參數(shù)可表示為齊次變換矩陣T∈SE(3)，包括旋轉(zhuǎn)矩陣T∈SO(3) 和平移向量 。手眼標(biāo)定是機(jī)器人測(cè)量的共性基礎(chǔ)問題，是獲取多視角點(diǎn)云位姿關(guān)系初值的重要依據(jù)。手眼標(biāo)定可歸結(jié)為求解齊次變換基本方程 AX=XB 或 AX=YB 。其中 A

2.1.1 常見標(biāo)定方法分類

(1) 根據(jù)視覺傳感器與機(jī)器人之間的安裝位置可分為眼在手型(Eye-in-hand)和眼在外型(Eye-to-hand)。眼在手型是傳感器安裝在機(jī)器人末端，可與機(jī)器人隨動(dòng)。該方式常用于機(jī)器人難以夾持的大型重載構(gòu)件測(cè)量，如飛機(jī)蒙皮、起落架等。眼在外型是傳感器安裝在機(jī)器人本體外，不與機(jī)器人隨動(dòng)，常用于制造過程中零件需要改變姿態(tài)的情況，如流水線上的工件抓取、機(jī)器人夾持工件打 磨等。

(2) 根據(jù)手眼姿態(tài)R和位置t的求解順序可分為同步標(biāo)定和分步標(biāo)定法。分步標(biāo)定一般是先通過機(jī)器人的多次定向運(yùn)動(dòng)求解R，再利用R值求解t。例如，機(jī)器人帶著標(biāo)定物沿著三個(gè)方向平動(dòng)，通過記錄標(biāo)定物在掃描儀和機(jī)器人坐標(biāo)系的運(yùn)動(dòng)方向建立空間旋轉(zhuǎn)變換方程

然后記錄參照物在不同機(jī)器人姿態(tài)下的位置，以標(biāo)定物與所固接坐標(biāo)系之間的剛性約束求解位置t。分步標(biāo)定計(jì)算簡(jiǎn)單，但姿態(tài)R的計(jì)算誤差會(huì)影響位置t的標(biāo)定精度。同步標(biāo)定是通過向量化Vec等方式，將姿態(tài)R和位置t向量化為一個(gè)向量，然后在標(biāo)定方程中同時(shí)求解。由于向量中R和t具有不同的度量，兩者之間存在誤差耦合影響，同步求解易出現(xiàn)較大偏差。手眼參數(shù)也可以與機(jī)器人等運(yùn)動(dòng)單元的關(guān)節(jié)參數(shù)進(jìn)行同步標(biāo)定和誤差補(bǔ)償，從而抑制關(guān)節(jié)誤差等因素帶來誤差傳遞和誤差耦合影響。

(3) 根據(jù)求解是否迭代可分為迭代法和封閉解法，封閉解法雖然速度快，但對(duì)噪音和數(shù)據(jù)規(guī)模較敏感，計(jì)算不穩(wěn)定性。迭代法計(jì)算精度高且求解高效，所以常見方法是通過封閉解法計(jì)算手眼初值，然后再通過迭代法提高求解精度。

(4) 根據(jù)求解位姿的表示形式可分為齊次矩 陣、純四元數(shù)、對(duì)偶四元數(shù)、李群等方法。純四元數(shù)可以表示旋轉(zhuǎn)矩陣，而對(duì)偶四元數(shù)則可同時(shí)表示旋轉(zhuǎn)矩陣和平移向量，從而同時(shí)計(jì)算旋轉(zhuǎn)矩陣和平移向量，可以避免純四元數(shù)的分步標(biāo)定引起的誤差擾動(dòng)。

(5) 按照傳感器的分類可分為點(diǎn)激光、線激光和面陣視覺傳感器標(biāo)定法。點(diǎn)激光標(biāo)定是激光束方向(單位法向量)和位置的標(biāo)定，標(biāo)定參數(shù)將退化為3個(gè)平移量和2個(gè)旋轉(zhuǎn)量。點(diǎn)激光主要通過測(cè)量平面位置的變動(dòng)進(jìn)行標(biāo)定。線激光掃描儀和面陣掃描儀的標(biāo)定原理類似，但是線激光獲取標(biāo)定物特征點(diǎn)的方式有所區(qū)別。線激光可以通過獲取掃描物體上線激光的長(zhǎng)度、端點(diǎn)以及弧度等信息估計(jì)特征點(diǎn)位置，而面陣掃描儀的標(biāo)定主要是通過整個(gè)型面點(diǎn)云的特征提取獲取標(biāo)定點(diǎn)。

(6) 按照是否需要外部參照物可分為基于參照物的標(biāo)定方法和自標(biāo)定方法兩大類，下面分別對(duì)這兩類方法進(jìn)行介紹。

2.1.2 基于參照物的標(biāo)定方法

基于參照物的方法是手眼標(biāo)定的主要方法。常見思路是通過視覺傳感器提取參照物中幾何特征點(diǎn)的空間坐標(biāo)，然后構(gòu)建手眼參數(shù)與不同視角下幾何特征的空間變換方程組，利用幾何特征與自身所在坐標(biāo)系之間的剛性不變約束求解手眼參數(shù)。其中參照物通常是已知尺寸的規(guī)則幾何形狀，便于提取中心點(diǎn)、端點(diǎn)等幾何特征。常見的標(biāo)定物有標(biāo)準(zhǔn)球、平面、圓盤、頂針、十字線、棋盤格、臺(tái)階面、以及自由曲面等眾多形狀。標(biāo)準(zhǔn)球是最常見的測(cè)量系統(tǒng)標(biāo)定物，因?yàn)橥ㄟ^擬合球面點(diǎn)云或弧形截面點(diǎn)云就可計(jì)算球心位置，而無須精確通過球心。YIN等在機(jī)器人末端依次搭載了線性導(dǎo)軌和線激光位移傳感器，構(gòu)成了七軸測(cè)量系統(tǒng)，該系統(tǒng)以固定在地上的標(biāo)準(zhǔn)球?yàn)闃?biāo)定物，通過球心在機(jī)器人基坐標(biāo)系下的位置不變性實(shí)現(xiàn)了關(guān)節(jié)參數(shù)、移動(dòng)導(dǎo)軌方位和手眼參數(shù)的同步標(biāo)定。LI等構(gòu)造了基于轉(zhuǎn)臺(tái)-機(jī)器人-掃描儀的多方位測(cè)量系統(tǒng)，通過在不同機(jī)器人位姿下測(cè)量標(biāo)準(zhǔn)球?qū)崿F(xiàn)了轉(zhuǎn)臺(tái)軸向和手眼參數(shù)的標(biāo)定。單平面標(biāo)定是以投射的線激光與矩形平面的交點(diǎn)為約束構(gòu)造標(biāo)定方程；多平面(需要保證互相垂直)標(biāo)定是以平面之間的變換關(guān)系構(gòu)建標(biāo)定方程；圓盤標(biāo)定是以盤心為特征點(diǎn)，通過激光投射到圓盤上的條紋寬度和圓盤直徑計(jì)算球心位置；頂針標(biāo)定是以頂點(diǎn)為特征點(diǎn)，要求控制機(jī)器人使掃描儀投射的線激光恰好經(jīng)過頂點(diǎn)，判別方法是相機(jī)捕捉頂針和激光線，然后通過圖像處理算法判斷是否相交，十字線標(biāo)定要求激光線經(jīng)過十字線交點(diǎn)，判別方法與頂針法類似。為保證特征點(diǎn)測(cè)量精度，上述規(guī)則物體的尺寸須受到測(cè)量視野的限制，這也限制了機(jī)器人的運(yùn)動(dòng)范圍和標(biāo)定范圍；此外，規(guī)則物特征點(diǎn)少，難以保證標(biāo)定結(jié)果的精度和穩(wěn)定性。頂針/十字等標(biāo)定方法還要求嚴(yán)格控制機(jī)器人的運(yùn)動(dòng)，使傳感器經(jīng)過特征中心，不僅操作難度大而且精度有待提高。基于自由曲面的標(biāo)定方法是通過引入點(diǎn)云配準(zhǔn)算法，將曲面中的每一個(gè)點(diǎn)都當(dāng)作特征點(diǎn)，可將尺寸受限的規(guī)則物提升到尺寸不受限的自由曲面，擴(kuò)大了機(jī)器人的標(biāo)定范圍，然后通過誤差辨識(shí)與補(bǔ)償提高標(biāo)定精度。圖5給出了一般參照物的標(biāo)定框架。

2.1.3 自標(biāo)定方法

基于參照物的標(biāo)定方法需要頻繁標(biāo)定的測(cè)量場(chǎng)景下并不適用，因此學(xué)者提出了無需任何參照物的自標(biāo)定，也被稱為閉環(huán)標(biāo)定。自標(biāo)定方法通過圖像特征的幾何不變量(如直線、消失點(diǎn)、圓等)，從靜態(tài)場(chǎng)景圖形信息中估計(jì)傳感器參數(shù)。自標(biāo)定最早的研究是關(guān)于Kruppa方程，該方程通過同一場(chǎng)景不同視角下圖像之間的非線性約束，建立了傳感器參數(shù)和空間二次曲線的關(guān)聯(lián)，求解該方程即可計(jì)算標(biāo)定參數(shù)。Kruppa方程直接求解困難、穩(wěn)定性也較差，可以將其轉(zhuǎn)換為數(shù)學(xué)規(guī)劃問題，通過非線性最小二乘算法降低求解難度。分層逐步標(biāo)定也可避免求解難題，思路是對(duì)多視角圖像序列進(jìn)行攝影重構(gòu)和對(duì)齊，如正交三角形分解法、QR分解法、模約束法、最小霍夫熵法、本質(zhì)矩陣法等。自標(biāo)定方法的另一個(gè)重要分支是主動(dòng)視覺法，是通過機(jī)器人控制視覺傳感器做特定的精密運(yùn)動(dòng)來獲取多幅圖像，然后通過已知運(yùn)動(dòng)信息和傳感器捕捉到的特征點(diǎn)來計(jì)算標(biāo)定參數(shù)。常見的運(yùn)動(dòng)方式有平動(dòng)、轉(zhuǎn)動(dòng)和復(fù)合運(yùn)動(dòng)。平動(dòng)主要是以空間正交和平面正交平移運(yùn)動(dòng)為主，先實(shí)現(xiàn)掃描儀中攝像機(jī)的自標(biāo)定，然后再實(shí)現(xiàn)手眼標(biāo)定。純旋轉(zhuǎn)運(yùn)動(dòng)難以測(cè)定光源中心，而且理想的純旋轉(zhuǎn)難以操作。李寶全等提出了針孔攝像機(jī)與中心折反射攝像機(jī)適用的統(tǒng)一純旋轉(zhuǎn)自標(biāo)定法，證明了傳感器純旋轉(zhuǎn)運(yùn)動(dòng)時(shí)，空間固定點(diǎn)對(duì)應(yīng)的球面投影點(diǎn)之間的距離保持不變，根據(jù)這一性質(zhì)建立了標(biāo)定方程，該方法對(duì)微小平移與噪聲的穩(wěn)定性較高。混合運(yùn)動(dòng)包括平移和旋轉(zhuǎn)。如SUN等通過機(jī)器人的3個(gè)平移運(yùn)動(dòng)和2個(gè)旋轉(zhuǎn)運(yùn)動(dòng)，用機(jī)器人末端的傳感器捕捉環(huán)境中的任意2個(gè)特征點(diǎn)，推導(dǎo)了新的線性標(biāo)定方程，同時(shí)減少了特征點(diǎn)的數(shù)量和機(jī)器人的運(yùn)動(dòng)次數(shù)，此外還包括基于2個(gè)特征點(diǎn)的4次線性無關(guān)的平移和1次旋轉(zhuǎn)的混合運(yùn)動(dòng)、基于1個(gè)特征點(diǎn)的5次平移和2次旋轉(zhuǎn)的混合運(yùn)動(dòng)等。自標(biāo)定法本質(zhì)上都是根據(jù)空間固定約束求解非線性方程組，但對(duì)噪聲敏感，整體穩(wěn)定性差。

傳統(tǒng)應(yīng)用場(chǎng)景下的機(jī)器人測(cè)量系統(tǒng)通用標(biāo)定方法已經(jīng)非常成熟。但是隨著應(yīng)用需求的拓展和人工智能等新方法的出現(xiàn)，標(biāo)定方法也開始呈現(xiàn)出新的面貌和新的挑戰(zhàn)，如多源傳感器與多機(jī)器人之間的快速精確聯(lián)合標(biāo)定、基于深度學(xué)習(xí)的機(jī)器人標(biāo)定。

2.2 機(jī)器人測(cè)量路徑規(guī)劃

測(cè)量路徑規(guī)劃是否合理直接影響工件測(cè)量完整性、精度與效率。傳統(tǒng)的測(cè)量方式是將掃描儀安裝在三角架上，通過肉眼觀測(cè)已測(cè)點(diǎn)云的缺失情況來手動(dòng)調(diào)整掃描儀位姿，然后不斷重復(fù)調(diào)整、掃描與觀測(cè)過程，存在效率低、操作不便、路徑不可復(fù)用、三腳架位姿調(diào)整受限、精度受人為因素影響大等眾多弊端，不適用于大規(guī)模的曲面測(cè)量。機(jī)器人測(cè)量系統(tǒng)通過編程規(guī)劃?rùn)C(jī)器人測(cè)量路徑，有助于大幅提升測(cè)量效率和一致性。但是目前的機(jī)器人路徑規(guī)劃依舊主要依賴固定式編程，智能化程度受限，測(cè)量精度、效率和完整性都不一定能達(dá)到全局最優(yōu)。為解決該問題，許多學(xué)者進(jìn)行了大量研究。測(cè)量路徑規(guī)劃主要包括視點(diǎn)規(guī)劃和路徑規(guī)劃兩部分。視點(diǎn)規(guī)劃屬于主動(dòng)感知的子類，廣泛應(yīng)用于未知室外環(huán)境自主探索、三維重建和質(zhì)量檢測(cè)。根據(jù)模型可分為基于已知模型和未知模型的視點(diǎn)規(guī)劃兩類。

2.2.1 基于模型的視點(diǎn)規(guī)劃方法

基于模型的視點(diǎn)規(guī)劃方法是假設(shè)場(chǎng)景和零件曲面的幾何模型是已知的，然后利用模型的結(jié)構(gòu)屬性來生成候選視點(diǎn)。幾何模型可以表示為點(diǎn)云、八叉樹體素、三角網(wǎng)格和參數(shù)曲面等格式。然后通過聚類等方式進(jìn)行曲面分塊檢測(cè)，搜索最佳視點(diǎn)集合。DORNHEGE等在可視性約束條件下，通過對(duì)八叉樹形式的前景區(qū)域隨機(jī)采樣，生成了候選視點(diǎn)集合。BIRCHER等提出了一種基于迭代優(yōu)化的路徑規(guī)劃算法，在每次迭代時(shí)以路徑成本最低為目標(biāo)尋找新的視點(diǎn)集合，適用于多個(gè)視野和多個(gè)傳感器的同時(shí)規(guī)劃。TANG等建立了完整的雙目面陣可視錐模型，通過HMM算法對(duì)模型網(wǎng)格進(jìn)行區(qū)域分割并生成候選視點(diǎn)，然后基于測(cè)量區(qū)域覆蓋率目標(biāo)函數(shù)生成了最佳視點(diǎn)，4種不同類型復(fù)雜曲面測(cè)量結(jié)果顯示了該方法在兼顧完整性和較少視點(diǎn)方面的優(yōu)勢(shì)。WEI等提出了一種兩步計(jì)算的近似最優(yōu)視點(diǎn)搜索算法。第一步通過體素膨脹方法計(jì)算物體周圍的體積和中間對(duì)象，然后通過對(duì)中間對(duì)象表面進(jìn)行高斯采樣來生成候選視點(diǎn)。第二步將視點(diǎn)優(yōu)化問題轉(zhuǎn)換為集合覆蓋問題，通過綜合隨機(jī)密鑰遺傳算法和貪婪搜索算法來計(jì)算最佳視點(diǎn)。目前基于模型的視點(diǎn)規(guī)劃方法存在的問題：① 在傳感器配置和環(huán)境約束條件下，視點(diǎn)的全局優(yōu)化問題仍然沒有很好解決；② 受場(chǎng)景和模型多變等因素影響，缺乏一種適用于不同場(chǎng)景、不同模型的通用方法。

2.2.2 基于未知模型的視點(diǎn)規(guī)劃方法

基于未知模型的檢測(cè)方法常用于非結(jié)構(gòu)化環(huán)境的自主探索，其場(chǎng)景和工件表面的先驗(yàn)集合模型是未知的，需要根據(jù)觀察到的測(cè)量數(shù)據(jù)確定下一個(gè)最佳視角，即NBV(Next best view，NBV)問題。其關(guān)鍵點(diǎn)是如何定義合適的評(píng)價(jià)指標(biāo)(如信息增益、觀測(cè)誤差、重建不確定性)，以在一組候選視點(diǎn)中選擇最佳的NBV。考慮場(chǎng)景的表示類型，解決NBV問題主要有兩類：表面法和體積法。表面法主要從傳感器獲取的數(shù)據(jù)中分析模型的幾何結(jié)構(gòu)，如未知區(qū)域的的表面趨勢(shì)或法線。TORABI等通過估計(jì)不連續(xù)遮擋曲面的面片法矢確定可視方向，然后由觀測(cè)錐和掃描儀的視野錐共同確定有效視點(diǎn)。基于包圍盒的方法是通過使用計(jì)數(shù)度量或者概率度量估計(jì)包圍盒中每個(gè)體素的信息，然后通過光學(xué)跟蹤算法檢測(cè)遍歷的體素。例如，MONICA等提出了兩種視點(diǎn)規(guī)劃方法，一種是直接從截?cái)喾?hào)距離函數(shù)(Truncated signed distance function，TSDF)包圍盒中提取對(duì)象輪廓，然后從輪廓的每個(gè)體素中計(jì)算候選視點(diǎn)，并通過點(diǎn)云的顯著性尋找候選視點(diǎn)中的NBV。另一種是通過GPU實(shí)時(shí)生成物體表面，然后建立與可視總面積相關(guān)的NBV目標(biāo)函數(shù)。VASQUEZ-GOMEZ等將體素空間分為已知體素、空體素和待觀測(cè)體素，然后在邊界根據(jù)外接球面模型計(jì)算候選視點(diǎn)，最后根據(jù)可見性和掃描質(zhì)量確定最優(yōu)視點(diǎn)。此外，也可將未知模型轉(zhuǎn)換為已知模型，首先通過傳感器進(jìn)行多視覺稀疏掃描，獲取工件的粗糙點(diǎn)云模型與位姿，然后對(duì)該模型進(jìn)行缺失區(qū)域檢測(cè)與測(cè)量路徑規(guī)劃，生成稠密點(diǎn)云掃描路徑，從而獲得高精度的完整點(diǎn)云模型。

2.2.3 掃描路徑規(guī)劃

掃描路徑規(guī)劃是在視點(diǎn)規(guī)劃的基礎(chǔ)上，綜合考慮機(jī)器人運(yùn)動(dòng)等約束生成最佳的機(jī)器人測(cè)量路徑。如IRVING等考慮了掃描儀的可視性和機(jī)器人的可達(dá)性，以及控制和觀測(cè)的不確定性，首先在狀態(tài)空間中直接生成一組候選視點(diǎn)/狀態(tài)集合，然后通過快速探索隨機(jī)樹來確定產(chǎn)生機(jī)器人的無碰撞軌跡，該方法在定位誤差、碰撞避免和掃描覆蓋率方面具有較好的效果。此外還有，面向大型復(fù)雜部件完整檢測(cè)的多機(jī)器人協(xié)同掃描路徑規(guī)劃，以及面向未知環(huán)境的多傳感器和多機(jī)器人的協(xié)同掃描路徑規(guī)劃方法等。德國(guó)GOM公司開發(fā)了掃描路徑規(guī)劃軟件(Virtual measuring room，VMR)，可用于多種不同類型和不同尺寸的自由曲面，結(jié)合公司的機(jī)器人測(cè)量系統(tǒng)，可以實(shí)現(xiàn)高速高精自動(dòng)測(cè)量。蔡司開發(fā)的自由曲面測(cè)量專用軟件CALIGO，考慮避障等因素，可通過界面可視化交互等方式實(shí)現(xiàn)測(cè)量路徑的自定義規(guī)劃和自動(dòng)規(guī)劃，輸出測(cè)量程序。目前市場(chǎng)上主流測(cè)量產(chǎn)品的路徑規(guī)劃還是依靠人為經(jīng)驗(yàn)，主要受到復(fù)雜曲面、復(fù)雜工況、復(fù)雜場(chǎng)景等多因素影響，缺乏成熟的自主測(cè)量路徑規(guī)劃方案。

本文總結(jié)了測(cè)量路徑規(guī)劃的通用框架，如圖6所示。① 針對(duì)視覺傳感器，建立可視錐模型，包含視野、視角、遮擋約束等可視性分析模型；② 針對(duì)復(fù)雜曲面，進(jìn)行分塊操作，根據(jù)可視錐模型生成候選視點(diǎn)；③ 針對(duì)機(jī)器人，以機(jī)器人運(yùn)動(dòng)學(xué)模型與候選視點(diǎn)為輸入，以機(jī)器人約束(關(guān)節(jié)極限、靈巧性、光順性等)、工件約束(相鄰視角重疊率、覆蓋率、反光等)、系統(tǒng)約束(碰撞避免)等為限制條件，根據(jù)特定應(yīng)用需求建立測(cè)量路徑規(guī)劃目標(biāo)函數(shù)，轉(zhuǎn)換為覆蓋路徑規(guī)劃(Coverage path planning，CPP)等問題，通過梯形分割法、柵格法等求解最佳測(cè)量視點(diǎn)及測(cè)量路徑。

2.3 多視角點(diǎn)云數(shù)據(jù)融合

為了獲取飛機(jī)蒙皮、高鐵車身等復(fù)雜構(gòu)件型面完整的點(diǎn)云數(shù)據(jù)，需要從多個(gè)視角掃描物體，然后進(jìn)行多視角數(shù)據(jù)融合。點(diǎn)云拼合是數(shù)據(jù)融合的基礎(chǔ)，主要包括雙點(diǎn)云拼合算法和多視角點(diǎn)云拼合算法。

2.3.1 雙點(diǎn)云拼合方法

進(jìn)行多視角點(diǎn)云數(shù)據(jù)融合首先要進(jìn)行相鄰點(diǎn)云的拼合，拼合方法可以分為兩大類：帶約束的拼合與自由拼合；帶約束的拼合是通過已知的外部信息確定點(diǎn)云之間的空間位姿關(guān)系，常見的約束包括機(jī)械位置、姿態(tài)跟蹤和標(biāo)志點(diǎn)等。機(jī)械位置是指利用機(jī)器人位姿實(shí)現(xiàn)點(diǎn)云拼合，姿態(tài)跟蹤是通過外部跟蹤系統(tǒng)記錄掃描儀位姿。標(biāo)志點(diǎn)拼合是目前常見的全局測(cè)量方法，先是識(shí)別粘貼在曲面上的標(biāo)志點(diǎn)，然后通過標(biāo)志點(diǎn)拼合來求解相對(duì)位姿，該方式拼合精度較高，但是需要粘貼標(biāo)志點(diǎn)，繁瑣的操作無法滿足多品種大型部件的自動(dòng)化測(cè)量需求。

自由拼合是一種更加簡(jiǎn)單的整體測(cè)量方法，迭代最近點(diǎn)(Iterative closest point，ICP)是目前最常用的自由拼合方法，它通過最小化兩點(diǎn)云之間的點(diǎn)-點(diǎn)歐式距離平方和來求解位姿參數(shù)，ICP僅具備線性收斂速度，且易陷入局部最優(yōu)，在大規(guī)模點(diǎn)云拼合時(shí)不具備效率優(yōu)勢(shì)。ICP的改進(jìn)方法主要有三類：第一類是定義新的距離函數(shù)，如點(diǎn)-切平面距離、點(diǎn)-超平面距離、點(diǎn)-曲線距離、平面-平面距 離、點(diǎn)-球面距離等。基于點(diǎn)-切平面的ICP具備二階線性收斂速度，但是對(duì)于拉伸類的大型曲面蒙皮，容易導(dǎo)致點(diǎn)云沿切平面滑移，從而引起拼合失敗。基于點(diǎn)-超平面的ICP則主要用于深度圖像拼合。第二類改進(jìn)方法是通過全局搜索為ICP提供一個(gè)較好的初值，如Go-ICP通過分支限界算法查找三維運(yùn)動(dòng)空間，以此優(yōu)化初始位姿；第三類改進(jìn)方法是定義新的目標(biāo)函數(shù)。如正態(tài)分布變換(Normal distributions transform，NDT)、高斯混合模型(Gaussian mixture model，GMM)等。NDT拼合是將點(diǎn)云空間離散成網(wǎng)格單元，每個(gè)單元表示為網(wǎng)格內(nèi)所在點(diǎn)的均值和協(xié)方差，假設(shè)點(diǎn)在特定位置的概率滿足正態(tài)分布，然后通過最小化點(diǎn)云之間的NDTs來實(shí)現(xiàn)拼合。GMM拼合是將點(diǎn)云定義為GMM的質(zhì)心，然后利用最大化似然估計(jì)函數(shù)將點(diǎn)云拼合轉(zhuǎn)換為GMM質(zhì)心的對(duì)齊。相比ICP，該類方法對(duì)初值不敏感，且無須尋找最近點(diǎn)，可大幅提升拼合效率，但簡(jiǎn)化了點(diǎn)云，因此不具備精度優(yōu)勢(shì)。第四類是基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法，已逐漸成為近年來的主流方法，如RPMNet、IDAM、DCP、PointNetLK等，主要有兩種實(shí)現(xiàn)方式，一種是僅通過神經(jīng)網(wǎng)絡(luò)提取深度特征，然后以傳統(tǒng)方式建立對(duì)應(yīng)關(guān)系和估計(jì)變換。另一種是通過神經(jīng)網(wǎng)絡(luò)提取深度特征，然后以傳統(tǒng)方式建立對(duì)應(yīng)關(guān)系和估計(jì)變換。將點(diǎn)云特征提取網(wǎng)絡(luò)和微分變換參數(shù)求解器集成到一個(gè)端到端的深度學(xué)習(xí)框架中。

綜上，雖然目前的拼合方法眾多，但改進(jìn)點(diǎn)主要集中在粗拼合階段，在精確定位與檢測(cè)領(lǐng)域的精拼合算法主要還是依賴ICP。ICP的相關(guān)改進(jìn)算法均基于點(diǎn)-點(diǎn)/點(diǎn)-切面距離構(gòu)造目標(biāo)函數(shù)，忽略了曲面變化對(duì)距離計(jì)算精度的影響，更容易引起復(fù)雜曲面的拼合誤差。如何針對(duì)大型復(fù)雜曲面點(diǎn)云實(shí)現(xiàn)高速高精度拼合，在理論研究和工程應(yīng)用領(lǐng)域依舊是一個(gè)極具挑戰(zhàn)的課題。

2.3.2 多視角點(diǎn)云數(shù)據(jù)融合方法

多視角點(diǎn)云數(shù)據(jù)融合旨在解決雙視角點(diǎn)云的掃描范圍受限問題，其涉及的點(diǎn)云規(guī)模大且待求參數(shù)多，拼合的復(fù)雜性和難度也更大，主要包括無三維模型拼合和有三維模型拼合兩大類。

無模型的多視角拼合常用的方法是通過多視角的類ICP方法來優(yōu)化相對(duì)位姿或?qū)?yīng)點(diǎn)點(diǎn)對(duì)，該類方法大多受到曲面復(fù)雜和點(diǎn)對(duì)估計(jì)穩(wěn)定性等因素影響，可以通過優(yōu)化掃描姿態(tài)來改進(jìn)。另一種方法是充分利用全局循環(huán)一致性優(yōu)化相對(duì)位姿。例如，全局結(jié)構(gòu)運(yùn)動(dòng)(Structure-from-motion，SFM)旨在通過同步對(duì)旋轉(zhuǎn)、平移和縮放分量進(jìn)行求解。LI等提出了一種使用兩個(gè)網(wǎng)絡(luò)的全局點(diǎn)云拼合方法，一個(gè)用于位姿估計(jì)，一個(gè)用于估計(jì)全局坐標(biāo)的占用狀態(tài)來進(jìn)行場(chǎng)景結(jié)構(gòu)建模。

對(duì)于有三維模型的拼合，多視角相鄰點(diǎn)云之間的兩兩拼合可以轉(zhuǎn)換為每個(gè)測(cè)量點(diǎn)云與設(shè)計(jì)模型的拼合(多對(duì)一)，圖7給出了常用的技術(shù)路線。該方法忽略了零件的實(shí)際形狀與設(shè)計(jì)模型的差異，如果基于重建的三維點(diǎn)云進(jìn)行質(zhì)量檢測(cè)，就容易引起較大的檢測(cè)誤差。BERGEVIN等提出了順序拼合法，將所有視點(diǎn)集合看成一個(gè)整體，以ICP方法為基礎(chǔ)，然后通過最小化所有視點(diǎn)集合中的拼合誤差來進(jìn)行拼合，以此降低匹配的累積誤差。徐思雨 等提出了逐步求精的多視角點(diǎn)云拼合方法，通過考慮各視角點(diǎn)云的覆蓋區(qū)域，建立合理的目標(biāo)函數(shù)，將多視角拼合轉(zhuǎn)換為雙視角點(diǎn)云的拼合問題。GOVINDU等提出了基于拓展ICP的多視角點(diǎn)云同步拼合算法，將雙視角拼合結(jié)果視為多視角拼合問題中的一組約束方程進(jìn)行求解。ZHU等將多視角拼合轉(zhuǎn)換為k-means聚類操作，其中每個(gè)點(diǎn)都會(huì)指定單個(gè)聚類簇。然后使用所有簇的質(zhì)心構(gòu)成的形狀來估計(jì)每個(gè)點(diǎn)云的剛體變換。所有點(diǎn)云的聚類和位姿估計(jì)迭代進(jìn)行，以保證拼合的精度和穩(wěn)定性。EVANGELIDIS等將每個(gè)點(diǎn)假設(shè)為高斯混合模型里抽取的樣本，然后將多視角拼合轉(zhuǎn)換為聚類問題，提出了批處理和增量期望最大化算法穩(wěn)定地估計(jì)高斯參數(shù)、旋轉(zhuǎn)和平移等拼合位姿。該方法雖然精度高、但計(jì)算量過大。LEIBE等將多視角全局拼合轉(zhuǎn)換為低秩稀疏矩陣的分解問題，對(duì)缺失數(shù)據(jù)、異常點(diǎn)和噪聲具有較高的穩(wěn)定性。GOJCIC等提出了一種端到端學(xué)習(xí)的多視角兩階段點(diǎn)云拼合算法，第一階段進(jìn)行初始對(duì)齊，第二階段，針對(duì)低重疊率、對(duì)稱性、重復(fù)場(chǎng)景點(diǎn)云等因素，通過學(xué)習(xí)的方式進(jìn)行全局一致性增強(qiáng)和細(xì)化，同時(shí)將多視角拼合轉(zhuǎn)換為迭代加權(quán)最小二乘問題，殘差以迭代的方式反饋到拼合網(wǎng)絡(luò)，提高了拼合精度。雖然目前多視角點(diǎn)云拼合方法眾多，但受限于復(fù)雜曲面的多樣性以及掃描點(diǎn)云的難預(yù)測(cè)性，滿足航空航天等高端裝備復(fù)雜部件制造需求的多視角點(diǎn)云高精度拼合方法一直有待突破。

2.4 三維點(diǎn)云幾何特征識(shí)別

點(diǎn)云圓孔邊界等幾何特征識(shí)別與定位是機(jī)器人精準(zhǔn)加工、裝配與檢測(cè)的前提，主要包括基于模型和深度學(xué)習(xí)方法兩大類。

2.4.1 基于模型的幾何特征識(shí)別傳統(tǒng)方法

基于模型的幾何特征識(shí)別主要通過挖掘模型的局部或全局幾何信息識(shí)別數(shù)據(jù)中的特征點(diǎn)，按照特征類型主要可以分為點(diǎn)、線、面三大類。現(xiàn)有點(diǎn)特征提取方法主要是針對(duì)點(diǎn)云上特征顯著的關(guān)鍵稀疏點(diǎn)，現(xiàn)有線特征提取方法主要以曲面輪廓線、模型邊界等特征的粗略提取為主，在機(jī)器人三維測(cè)量領(lǐng)域，面向制造過程的特征識(shí)別精度相對(duì)較高，該方法難以適用。其次是針對(duì)特定曲面線特征的提取方法，如航空葉片橫截面的中弧線、弦線、前后緣等，飛機(jī)蒙皮裝配前的邊界識(shí)別和裝配后的縫隙識(shí)別等，如文獻(xiàn)根據(jù)投影點(diǎn)的幾何分布定義焊縫特征，提出了一種飛機(jī)蒙皮表面非結(jié)構(gòu)化點(diǎn)云焊縫特征提取方法；文獻(xiàn)定義了三種特征描述子，分別用于識(shí)別折線、小圓弧和大圓弧剖面線；在曲面特征識(shí)別領(lǐng)域，曲面可以由平面、球面、圓柱面、圓錐面和圓弧面等圖元近似，相似度可高達(dá)95%以上，因此可以將曲面特征的識(shí)別轉(zhuǎn)換為上述圖元的識(shí)別。該方法可分解為兩個(gè)步驟：首先是在點(diǎn)云上識(shí)別幾何圖元或形狀，然后在圖元的點(diǎn)云數(shù)據(jù)上通過最小二乘擬合等方式提取形狀的幾何參數(shù)，如圖8所示。如柯映林等通過柵格劃分建立了無序點(diǎn)云的拓?fù)潢P(guān)系，然后將柵格點(diǎn)的特征屬性映射到高斯球和曲面法曲率坐標(biāo)系上，利用假設(shè)檢驗(yàn)法識(shí)別映射點(diǎn)的分布信息，最后基于映射點(diǎn)的聚類性質(zhì)、柵格拓?fù)浜头植紨M合信息識(shí)別平面、球面、圓環(huán)面、等曲面特征及參數(shù)。

基于模型的特征識(shí)別常見方法從識(shí)別原理進(jìn)行劃分有模型匹配法、跟蹤法、隨機(jī)采樣一致 性、霍夫變換、統(tǒng)計(jì)法等。模型匹配法是將實(shí)物點(diǎn)云與CAD模型配準(zhǔn)，然后將模型的特征映射到實(shí)物點(diǎn)云，但是測(cè)量點(diǎn)云并不一定三維模型，或者模型與點(diǎn)云之間存在較大的差異(如鑄件毛坯)，此時(shí)該類方法將不再適用；跟蹤法是根據(jù)特征的幾何和拓?fù)潢P(guān)系進(jìn)行推理識(shí)別，例如可以把零件模型、幾何形狀、公差、屬性和指定的設(shè)計(jì)形狀特征等可選信息作為輸入，然后根據(jù)CAD模型中的特征痕跡自動(dòng)尋找真實(shí)的點(diǎn)云特征；基于隨機(jī)采樣一致性方法是通過隨機(jī)采樣選擇滿足特征表達(dá)式的潛在數(shù)據(jù)，特征識(shí)別和參數(shù)提取同時(shí)進(jìn)行，常用于粗提取或點(diǎn)云分割；霍夫變換法是在特征的參數(shù)空間中通過投票(累加空間的局部最大值)來確定形狀，如圖9所示。

2.4.2 基于深度學(xué)習(xí)的幾何特征識(shí)別方法

基于深度學(xué)習(xí)的點(diǎn)云幾何特征識(shí)別常見思路如下：① 對(duì)需要識(shí)別的特征進(jìn)行分類；② 創(chuàng)建相應(yīng)點(diǎn)云特征的數(shù)據(jù)集，用于訓(xùn)練深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)；③ 設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)模型，并用數(shù)據(jù)集進(jìn)行訓(xùn)練；④ 將所需要識(shí)別的特征點(diǎn)云輸入訓(xùn)練好的網(wǎng)絡(luò)模型，最后輸出特征。基于深度學(xué)習(xí)的特征提取方法主要以PointNet卷積神經(jīng)網(wǎng)絡(luò)模型為代表，基本思想是學(xué)習(xí)每個(gè)點(diǎn)的空間幾何特征，然后利用學(xué)習(xí)的特征進(jìn)行對(duì)象分類、部件分割和語義解析。該方法克服了點(diǎn)云的無序性，有效提高了傳統(tǒng)方法的性能。但PointNet只表征每個(gè)點(diǎn)，局部特征信息整合能力弱，會(huì)對(duì)分類造成大量信息損失，在此基礎(chǔ)上產(chǎn)生了PointNet的眾多衍生方法，如PointNet++、PointWeb、PointCNN 、PCRNet、DCP、PRNet、DGR、PREDATOR等特征提取網(wǎng)絡(luò)。PointNet++是在PointNet的基礎(chǔ)上增加了采樣操作，同時(shí)對(duì)不同區(qū)域的點(diǎn)集分別提取特征，從而增強(qiáng)局部特征提取能力。PointCNN是根據(jù)點(diǎn)的順序，采用X-Conv操作符對(duì)點(diǎn)云和特征進(jìn)行排列加權(quán)，輸入順序不同會(huì)引起不同的變換矩陣，主要用于解決點(diǎn)云的無序問題。PointWeb考慮了局部鄰域點(diǎn)集的結(jié)構(gòu)以及與中心點(diǎn)的關(guān)系，通過局部區(qū)域每個(gè)點(diǎn)對(duì)的連接來獲得特征明顯的點(diǎn)云區(qū)域，如圖10所示。

上述方法主要是針對(duì)靜態(tài)幾何目標(biāo)的識(shí)別，然而部件在裝配等制造過程中同時(shí)存在整體位姿的動(dòng)態(tài)變化和自身的弱剛性變形，這對(duì)目標(biāo)的動(dòng)態(tài)識(shí)別提出了挑戰(zhàn)。相關(guān)學(xué)者在該方面也進(jìn)行了初步探索。EBBESEN等開發(fā)了一種綜合3D高速圖像、深度學(xué)習(xí)、物理模型與GPU加速的魯棒優(yōu)化方法的目標(biāo)跟蹤系統(tǒng)，實(shí)現(xiàn)了動(dòng)態(tài)目標(biāo)高時(shí)空精度的快速跟蹤，實(shí)時(shí)性達(dá)到60幀/s。LEE等提出了一個(gè)視覺慣性骨架識(shí)別與跟蹤(VIST)框架，通過多個(gè)IMU、視覺標(biāo)記點(diǎn)和立體相機(jī)的多源感知，實(shí)現(xiàn)了柔性目標(biāo)在復(fù)雜運(yùn)動(dòng)過程中的動(dòng)態(tài)識(shí)別與跟蹤。DESINGH等提出了一種基于非參數(shù)置信度傳播的關(guān)節(jié)類目標(biāo)識(shí)別與位姿估計(jì)方法，該方法將目標(biāo)識(shí)別問題描述為成對(duì)馬爾可夫隨機(jī)場(chǎng)，其中每個(gè)隱藏節(jié)點(diǎn)表示目標(biāo)識(shí)別變量的位姿，邊緣表示多個(gè)目標(biāo)之間的幾何約束，通過將物體幾何模型和觀測(cè)到的RGB-D數(shù)據(jù)作為輸入，實(shí)現(xiàn)了物體中多個(gè)運(yùn)動(dòng)關(guān)節(jié)的動(dòng)態(tài)識(shí)別。

綜上可得，現(xiàn)有的幾何特征識(shí)別方法主要針對(duì)特定和通用特征。特定特征提取方法雖然精度較高，但是對(duì)復(fù)雜曲面上多種點(diǎn)、線、面等特征的柔性識(shí)別，其通用性有待提高。而現(xiàn)有關(guān)于多元特征的動(dòng)態(tài)識(shí)別與跟蹤通用方法往往難以滿足工業(yè)應(yīng)用場(chǎng)景，不同應(yīng)用對(duì)象(尺寸、形狀、曲面輪廓)及點(diǎn)云(規(guī)模、密度、完整性、均勻性等)往往存在較大差異。如何設(shè)計(jì)合適的特征識(shí)別與跟蹤模型，兼顧專用特征提取方法的精度和多元特征提取方法的適用性，是實(shí)現(xiàn)機(jī)器人測(cè)量迫切需要解決的難題。

3

智能制造測(cè)量機(jī)器人應(yīng)用實(shí)例

3.1 線激光位移引導(dǎo)的機(jī)器人等離子切割

金屬板材是制造工程機(jī)械、艦船等裝備的主要物料，在下料后需要進(jìn)行折彎、坡口切割、焊接、噴涂等制造工藝，坡口切割是指在物料邊緣進(jìn)行倒角，以給后續(xù)焊接留出焊槽的空間。坡口切割常見的方式有銑邊機(jī)、龍門刨以及手持加工等，上述方

法存在速度慢等缺點(diǎn)，而視覺引導(dǎo)的機(jī)器人等離子切割則可大大提升切割效率，但是異形件的坡口質(zhì)量提升受限，本文給出了技術(shù)路線圖，如圖11所示。首先流水線上的線激光位移傳感器對(duì)物料進(jìn)行識(shí)別定位，然后垳架調(diào)姿后自動(dòng)抓取上料，再由電缸對(duì)邊界進(jìn)行粗定位，最后機(jī)器人進(jìn)行動(dòng)態(tài)的尋位與坡口。其中涉及的關(guān)鍵難題如下：① 機(jī)器人坡口測(cè)量系統(tǒng)幾何參數(shù)的大范圍高精度標(biāo)定；② 機(jī)器人坡口位姿優(yōu)化；③ 機(jī)器人坡口邊界動(dòng)態(tài)尋位與實(shí)時(shí)路徑補(bǔ)償；④ 坡口誤差追溯與質(zhì)量控制。本文通過對(duì)上述進(jìn)行改進(jìn)，有效提升了等離子坡口型面質(zhì)量與鈍邊精度，其中精度提升到0.5 mm以內(nèi)，完全達(dá)到了工程機(jī)械制造的工藝要求。

3.2 視覺引導(dǎo)的核電葉片機(jī)器人磨削

核電葉片的機(jī)器人打磨相比人工具有效率高、質(zhì)量高、勞動(dòng)強(qiáng)度低等優(yōu)點(diǎn)，在近10年來研究較多，其常見的定位方式主要通過視覺傳感器獲取葉片型面點(diǎn)云，然后與設(shè)計(jì)模型進(jìn)行最小二乘三維匹配來確定工件位姿，如圖12所示。如XIE等考慮了葉片點(diǎn)云缺失、密度不均等固有測(cè)量缺陷，建立了方差最小化的工件點(diǎn)云匹配與定位方法。并進(jìn)一步從機(jī)器人測(cè)量與加工誤差傳遞建模、工件/工具參數(shù)標(biāo)定、位姿優(yōu)化三方面系統(tǒng)研究了機(jī)器人加工誤差控制方法，為機(jī)器人加工的精確定位與誤差控制 提供了參考。但是葉片前后緣等區(qū)域曲率突變，機(jī)器人打磨難度較大，因?yàn)樾枰獧C(jī)器人在較小的移動(dòng)范圍內(nèi)快速實(shí)現(xiàn)較大的位姿變化，極易出現(xiàn)欠磨或者過磨。

3.3 面向航空蒙皮裝配的機(jī)器人銑邊定位

在航空制造領(lǐng)域，為控制裝配間隙與階差，蒙皮在裝配成飛機(jī)筒段、機(jī)翼等大部件前，時(shí)常會(huì)面臨邊界銑削的問題，銑削余量決定了蒙皮裝配間隙與階差，現(xiàn)有的方式主要通過已裝配蒙皮與待裝配蒙皮間進(jìn)行肉眼對(duì)準(zhǔn)已裝配/待裝配蒙皮進(jìn)行劃線、然后進(jìn)行手工切割，存在效率低、精度差等不足。相比之下，由機(jī)器人進(jìn)行自動(dòng)視覺定位與銑削可大幅提升效率，但是需要掃描需要完整的邊界點(diǎn)云，與已裝配蒙皮進(jìn)行對(duì)比確定余量后再進(jìn)行銑削，因此無法像曲面切割/焊接進(jìn)行動(dòng)態(tài)尋位與加工。相比剛性構(gòu)件型面磨削，其難度也更大，主要包括兩方面。① 在線測(cè)量：葉片/螺旋槳等型面磨削無須提取幾何特征，而蒙皮銑邊需要基于測(cè)量點(diǎn)云精確提取邊界特征，面臨局部噪點(diǎn)、邊界/拐角缺失等諸多干擾因素；為此，WU等提出了一種提出了基于分層分支搜索的蒙皮銑邊邊界提取方法，如圖13所示。定義了空間切面連續(xù)描述子，實(shí)現(xiàn)邊界點(diǎn)精確建模。建立了依靠空間切面連續(xù)描述子的分級(jí)分支搜索，然后以邊界骨干建立-骨干點(diǎn)擴(kuò)張-離散點(diǎn)剪枝為主體框架，實(shí)現(xiàn)了高精度、低掃描復(fù)雜度的蒙皮銑邊邊界提取；② 余量計(jì)算：葉片/螺旋槳通常為恒力浮動(dòng)或者固定余量磨削，在磨削時(shí)可以認(rèn)為是剛體。而蒙皮為大型薄壁變形件，銑邊余量通常是不均勻的，在計(jì)算時(shí)不僅需要考慮本身的彎曲變形，同時(shí)需要考慮與相鄰已裝配蒙皮之間的裝配關(guān)系進(jìn)行約束匹配，其計(jì)算更復(fù)雜、難度更大。

4

總結(jié)與展望

復(fù)雜曲面的機(jī)器人三維測(cè)量研究已經(jīng)取得了顯著進(jìn)展，通過高精度傳感器與機(jī)器人的高度集成，以及系統(tǒng)標(biāo)定、路徑規(guī)劃、多視角數(shù)據(jù)融合和幾何特征識(shí)別等技術(shù)的應(yīng)用，實(shí)現(xiàn)了對(duì)復(fù)雜曲面的精確測(cè)量和分析，但仍然還有許多方向有待進(jìn)一步探索。

4.1 復(fù)雜部件實(shí)時(shí)精確測(cè)量

在大構(gòu)件尋位加工、對(duì)接裝配等動(dòng)態(tài)制造場(chǎng)景中，復(fù)雜曲面的測(cè)量需要同時(shí)滿足高精度與高實(shí)時(shí)要求，但面臨傳感器采樣率的限制、數(shù)據(jù)傳輸與處理速度慢、對(duì)噪聲和環(huán)境變化敏感、復(fù)雜結(jié)構(gòu)曲面特征提取困難等諸多問題。為此，未來改進(jìn)的方向如下：① 提升傳感器的靈敏度、分辨率和采樣率，開發(fā)環(huán)境適應(yīng)性三維重建算法，以實(shí)現(xiàn)更快速和精確的數(shù)據(jù)獲取；② 改進(jìn)數(shù)據(jù)處理算法和優(yōu)化計(jì)算方法以提高數(shù)據(jù)處理速度；③ 結(jié)合深度學(xué)習(xí)和計(jì)算機(jī)視覺等技術(shù)，發(fā)展更高級(jí)的算法和模型，實(shí)現(xiàn)對(duì)復(fù)雜曲面幾何特征的精確識(shí)別和分析；④ 引入先進(jìn)的控制系統(tǒng)和反饋機(jī)制，可以實(shí)時(shí)調(diào)整測(cè)量參數(shù)和機(jī)器人運(yùn)動(dòng)，以適應(yīng)曲面類型和環(huán)境變化；⑤ 加入快速校準(zhǔn)和自適應(yīng)校正技術(shù)，幫助及時(shí)發(fā)現(xiàn)和糾正系統(tǒng)誤差，保持測(cè)量精度。同時(shí)這些改進(jìn)措施可以相互結(jié)合，以提高機(jī)器人測(cè)量復(fù)雜曲面的高精度實(shí)時(shí)測(cè)量能力。

4.2 大范圍制造場(chǎng)景多機(jī)高精度協(xié)同測(cè)量

飛機(jī)蒙皮、高鐵車身、艦船殼體等大型部件質(zhì)量檢測(cè)需要獲取大范圍曲面測(cè)量數(shù)據(jù)，以提供加工余量、整體變形等更準(zhǔn)確的信息。而單機(jī)器人測(cè)量存在工作范圍有限、模式單一、效率低等缺點(diǎn)。為提高大范圍曲面測(cè)量的效率和準(zhǔn)確性，可以引入多種異構(gòu)機(jī)器人協(xié)同測(cè)量，在實(shí)現(xiàn)復(fù)雜曲面全面覆蓋測(cè)量的同時(shí)，充分利用時(shí)間和資源，大幅提高測(cè)量效率，還可以通過相互通信、數(shù)據(jù)融合、共享信息并協(xié)同工作，提高測(cè)量精度。為了實(shí)現(xiàn)多機(jī)協(xié)同測(cè)量，目前需要解決的問題如下：大規(guī)模點(diǎn)云實(shí)時(shí)高效通信問題，如何基于無模型工件的稀疏三維點(diǎn)云高效規(guī)劃多機(jī)測(cè)量路徑問題，多視角弱特征測(cè)量數(shù)據(jù)的精確融合問題，以及大范圍精密測(cè)量科學(xué)裝置系統(tǒng)設(shè)計(jì)問題等。

4.3 多源異構(gòu)傳感器融合測(cè)量

復(fù)雜曲面可能具有形狀不規(guī)則、曲率突變、表面反光等特點(diǎn)，這些因素易導(dǎo)致單一傳感器難以完全獲得曲面的所有細(xì)節(jié)和特征。通過多傳感器數(shù)據(jù)融合，可以結(jié)合不同類型傳感器的優(yōu)勢(shì)，如融合視覺圖像傳感器和激光位移傳感器，獲取更全面準(zhǔn)確的測(cè)量信息。視覺傳感器能夠提供高分辨率的測(cè)量結(jié)果，可以捕捉到細(xì)小的特征和細(xì)節(jié)，但只能提供水平方向上的信息；而激光位移傳感器可以提供深度信息，但難以捕捉細(xì)節(jié)而且數(shù)據(jù)處理更為復(fù)雜。因此，融合二維圖像和激光點(diǎn)云數(shù)據(jù)可以彌補(bǔ)各自的缺點(diǎn)，提高整體測(cè)量精度和魯棒性。但多源異構(gòu)傳感器數(shù)據(jù)融合面臨傳感器之間的數(shù)據(jù)精確對(duì)齊和校準(zhǔn)難題，因?yàn)椴煌瑐鞲衅鞯臄?shù)據(jù)格式、采樣率、坐標(biāo)系等存在差異，需要進(jìn)行數(shù)據(jù)預(yù)處理和對(duì)齊，并考慮傳感器之間的關(guān)聯(lián)和權(quán)重分配等，還需要設(shè)計(jì)和開發(fā)適應(yīng)不同應(yīng)用場(chǎng)景下的融合算法。針對(duì)這一現(xiàn)狀，未來需要進(jìn)一步研究多模態(tài)數(shù)據(jù)的融合方法，解決數(shù)據(jù)對(duì)齊和校準(zhǔn)問題，實(shí)現(xiàn)更準(zhǔn)確和完整的數(shù)據(jù)融合。

4.4 復(fù)雜多變制造場(chǎng)景智能化自主測(cè)量

在高溫、高壓等危險(xiǎn)環(huán)境中測(cè)量可能會(huì)對(duì)工作人員構(gòu)成威脅，為此，需要實(shí)時(shí)選擇合適的智能化自主測(cè)量方案，增強(qiáng)對(duì)外部環(huán)境的抗干擾能力與多類型測(cè)量需求的適應(yīng)能力，同時(shí)降低人為因素誤差并提升效率，推動(dòng)相關(guān)領(lǐng)域的研究和應(yīng)用。目前智能化自主測(cè)量仍是需要努力的方向主要如下：① 自適應(yīng)路徑規(guī)劃。機(jī)器人發(fā)展能夠根據(jù)曲面形狀、可視錐模型、測(cè)量需求和外部干擾自動(dòng)調(diào)整路徑；② 自適應(yīng)能力和智能化功能。結(jié)合機(jī)器學(xué)習(xí)和人工智能技術(shù)，自動(dòng)選擇最佳的測(cè)量策略。同時(shí)，機(jī)器人還可以學(xué)習(xí)和優(yōu)化測(cè)量過程，能夠及時(shí)應(yīng)對(duì)異常情況和變化環(huán)境，實(shí)現(xiàn)機(jī)器人在測(cè)量過程中的實(shí)時(shí)監(jiān)控、故障檢測(cè)和自適應(yīng)控制，從而提高測(cè)量的泛化能力。

綜上，測(cè)量機(jī)器人的發(fā)展前景十分廣闊，這些進(jìn)展將提高復(fù)雜構(gòu)件制造效率和質(zhì)量控制準(zhǔn)確率，推動(dòng)機(jī)器人化智能制造應(yīng)用。隨著科技的不斷進(jìn)步和創(chuàng)新，我們可以期待機(jī)器人測(cè)量技術(shù)能力會(huì)得到進(jìn)一步提升，為制造業(yè)帶來更多的便利和高質(zhì)量發(fā)展機(jī)會(huì)，如圖14所示。

作　　者：王耀南

責(zé)任編輯：趙子祎

責(zé)任校對(duì)：惲海艷

審　　核：張　強(qiáng)

JME學(xué)院簡(jiǎn)介

JME學(xué)院是由《機(jī)械工程學(xué)報(bào)》編輯部2018年創(chuàng)建，以關(guān)注、陪伴青年學(xué)者成長(zhǎng)為宗旨，努力探索學(xué)術(shù)傳播服務(wù)新模式。

歡迎各位老師掃碼添加小助理-暖暖為好友，由小助理拉入JME學(xué)院官方群！

歡迎關(guān)注JME學(xué)院視頻號(hào)~

尋覓合作伙伴

有一種合作叫做真誠(chéng)，有一種發(fā)展可以無限，有一種伙伴可以互利共贏，愿我們合作起來流連忘返，發(fā)展起來前景可觀。關(guān)于論文推薦、團(tuán)隊(duì)介紹、圖書出版、學(xué)術(shù)直播、招聘信息、會(huì)議推廣等，請(qǐng)與我們聯(lián)系。

感謝關(guān)注我們！《機(jī)械工程學(xué)報(bào)》編輯部將努力為您打造一個(gè)有態(tài)度、有深度、有溫度的學(xué)術(shù)媒體！

版權(quán)聲明：

本文為《機(jī)械工程學(xué)報(bào)》編輯部原創(chuàng)內(nèi)容，歡迎轉(zhuǎn)載，請(qǐng)聯(lián)系授權(quán)！

在公眾號(hào)后臺(tái)留言需要轉(zhuǎn)載的文章題目及要轉(zhuǎn)載的公眾號(hào)ID以獲取授權(quán)!

聯(lián)系人：暖暖

電話：010-88379909

E-mail：jme@cmes.org

網(wǎng) 址：http://www.cjmenet.com.cn

官方微信號(hào)：jmewechat