本期閱讀

文章信息

可解釋人工智能在工業智能診斷中的挑戰和機遇：歸因解釋

嚴如強, 周崢, 楊遠貴, 李亞松, 胡晨燁, 陶治宇, 趙志斌, 王詩彬, 陳雪峰

10.3901/JME.2024.12.021

引用本文：

嚴如強, 周崢, 楊遠貴, 李亞松, 胡晨燁, 陶治宇, 趙志斌, 王詩彬, 陳雪峰. 可解釋人工智能在工業智能診斷中的挑戰和機遇：歸因解釋[J]. 機械工程學報, 2024, 60(12): 21-40.

YAN Ruqiang, ZHOU Zheng, YANG Yuangui, LI Yasong, HU Chenye, TAO Zhiyu, ZHAO Zhibin, WANG Shibing, CHEN Xuefeng. Challenges and Opportunities of XAI in Industrial Intelligent Diagnosis: Attribution Interpretation[J]. Journal of Mechanical Engineering, 2024, 60(12): 21-40.

原文閱讀（摘要）

摘要：針對目前迅猛發展的工業智能診斷方法缺乏可解釋性開展綜述，指出模型無關的歸因解釋技術在工業智能診斷中的研究現狀和潛在研究方向。分析可解釋性技術的主要觀點和作用，針對工業智能診斷的兩個特性問題—非線性高維觀測、知識表征精度低，歸因解釋技術可以提供有效的前向理解智能模型邏輯結構、反向優化模型設計的工具。從注意力機制、顯著性分析、規則提取、代理模型四個方面，概述其主要觀點與作用，介紹現有方法的研究現狀，并總結分析不同歸因解釋技術的優勢與不足。通過四個案例分析，闡述不同歸因解釋技術在智能診斷中的效果。最后展望歸因解釋技術在工業智能診斷中的研究方向，包括可解釋性量化、反饋模型設計、模型復雜性與可解釋性平衡、高維特征的歸因解釋，期望為可解釋人工智能技術在工業智能診斷中的發展提供方向建議。

關鍵詞：工業智能診斷；可解釋性；模型無關；歸因分析

中圖分類號：TH17

0

前言

人工智能(Artificial intelligence, AI)和深度學習(Deep learning, DL)在機械設備狀態監測、強弱電設備管理、化工過程控制等研究領域中都取得了突破，并逐漸賦能融入到工業應用中。雖然AI算法在各種模型設計(如卷積網絡、循環網絡、圖網絡、Transformer等)、各種監測數據(如高頻快變振動信號、低頻緩變狀態信號、視覺圖像等)、多種子任務(如異常檢測、故障識別、性能預測、維修決策等)等方面研究迅速，但由于算法缺乏可解釋性，智能診斷模型在風險敏感工業領域中的實際應用常受到研究人員與運維人員的質疑。因此，AI模型的弱解釋性已經成為制約智能診斷模型工業應用的瓶頸之一。

可解釋性對智能診斷模型的使用和設計都具有重要意義。在智能診斷模型的使用方面，解釋來源于工程可靠性的內在需求，使用人員通過分析智能診斷模型的底層運行邏輯，對模型的決策結果進行可信度判讀，同時也增強了用戶對模型決策的信心。在智能診斷模型的設計方面，解釋可以反饋模型的設計過程，便于研究人員基于經驗驗證模型的有效性，加快研究人員對智能診斷模型的調試優化。通過使用與設計的反復迭代，智能診斷模型的性能與透明度將持續提升。

可解釋AI(eXplainable AI, XAI)研究是當前AI領域的重要議題。雖然不同研究背景的學者對AI中可解釋性的精確定義存在差異，但對XAI的理解認知是一致的，即可解釋性技術是作用在AI模型上、反饋信息給人的技術。從對模型作用的范圍來看，XAI可分為全局解釋與局部解釋，對于淺層的、維度不高的AI模型而言，其輸入空間與輸出空間中的映射關系較為清晰，可以通過全局解釋技術分析淺層AI模型的性質，但對于深層的、過參數化的AI模型而言，高維輸入空間或高維特征空間與輸出空間的映射關系已經難以用線性思維進行分析，通常使用局部解釋技術分析部分輸入空間或部分特征空間與輸出空間的邊際效益，這也是大部分可解釋性技術采用的方法，即對模型中的主要特征成分進行分析；從作用的時間維度來看，可以分為模型設計前作用和模型設計后作用(通常也被稱為主動解釋與被動解釋、事前解釋與事后解釋、模型相關與模型無關)，由于XAI技術主要是通過引入外部知識源來判斷AI模型的決策邏輯是否滿足該外部知識源做出的一些假設或定義，通過檢驗AI模型對外部知識源的匹配程度，可以定性地評價模型的可解釋性。因此，是否在模型設計前進行作用取決于以下幾個要素：是否容易獲得外部知識源、該知識源是否容易被形式化到AI模型中、該知識源是否會對AI模型的性能產生負面影響，而上述因素的關鍵點在于外部知識源的獲取途徑與知識表征的準確性，對于易形式化、精確的知識，推薦使用主動解釋技術，即在設計前對模型進行作用，對于難形式化、模糊的知識，推薦使用被動解釋技術，即不對AI模型的單次設計進行干預。對于大多數為復雜系統的機械設備而言，監測數據之外的知識源類型多樣，包括物理場分析、振動信號分析、專家系統等，但都存在高精度知識表征難度高的問題，因此，使用模型設計后作用的被動解釋技術，是一項有前景的輔助數據驅動診斷模型的可解釋性技術。按照上述理解，本文討論的問題可以界定到模型無關的、被動的、事后的XAI技術在工業故障診斷中的挑戰與應用，本文將其簡述為歸因解釋技術。

當前智能診斷領域也越來越重視可解釋性技術的研究。通過文獻分析統計Web of Science中近十年智能診斷若干主題的發展趨勢，如圖1所示，雖然當前可解釋性技術在智能診斷中的研究占較小、仍處于起步階段，但利用多項式擬合發現，可解釋性診斷的關注量持續升高，越來越多的學者注意到可解釋智能診斷的重要性。當前的許多研究都是從主動解釋的角度開展可解釋智能診斷研究，即用外部知識源賦能智能模型，許多學者從物理機理方程、小波信號分析、稀疏編碼理論等角度開展了知識引導的可解釋智能模型構建研究，利用故障診斷領域積累幾十年的學科研究賦能智能診斷，旨在提升智能模型泛化性的同時提升模型的可解釋性。但當前研究在歸因解釋方面的關注遠遠不足，有關研究相對發散、尚未形成熱點群體，針對這一問題，本文將對現有歸因解釋技術在工業智能診斷中的研究進行綜述，以期為其提供系統性梳理。本文是《可解釋人工智能在工業智能診斷中的挑戰和機遇》系列的下篇，旨在從特征分析的角度綜述歸因解釋技術在智能診斷中的應用。

本文的邏輯結構如下：首先，從歸因解釋的直覺觀點出發，分析工業智能診斷中的特性問題，作為后續工作綜述的基礎；然后，對現有的研究進展進行總結，以技術類別和解釋效果為依據將現有方法進行分類，分析每個分類的作用目標、作用效果以及優缺點；隨后，給出了一個案例分析，說明在工業智能診斷中歸因解釋技術的樸素用法；最后，探討歸因解釋技術應用到工業智能診斷中的挑戰，展望歸因可解釋智能診斷的潛在研究方向，重點從可解釋性的量化評估標準、可解釋性自動化反饋模型設計、模型復雜度與可解釋性的平衡、工業診斷中的高維問題四個方向展開。

1

診斷中歸因解釋技術的主要觀點

當前AI模型難解釋的原因之一在于人很難理解非線性高維空間中的映射關系，一些低維空間中的樸素直覺難以適用于高維空間，因此歸因解釋XAI技術的主要任務在于將這種非線性高維關系簡并為線性低維關系。對于工業智能診斷而言，非線性高維問題更加突出，監測數據具有多尺度、跨尺度特性，對同臺設備可能同時存在高頻快變與低頻緩變兩種響應頻率差異跨度大的監測信號；此外，監測數據類型多樣，例如聲音、振動、電信號等演化規律不同的數據。上述情況都使得工業智能診斷中的非線性高維問題越發突出。

另一個影響歸因解釋XAI技術在工業智能診斷中應用的因素是復雜機械系統的知識表征精度低，專家知識大多只能定性地判斷機械系統的狀態。由于工業智能診斷大多面向的是運行中無法進行拆解檢查的復雜設備，間接測量已經成為當前的主流測量技術，這導致數據驅動的智能模型難以描述機械設備內部的健康狀態；而基于物理建模、信號分析等的知識模型雖然能捕捉復雜系統的主要演化規律，但在定量分析上存在短板。由于XAI技術依賴外部知識源評估AI模型的可解釋性，這促使了歸因解釋技術傾向于利用簡單的、抽象的知識源來反饋可解釋性。

針對上述工業智能診斷的特性問題，歸因解釋的主要觀點是運用人可以理解的方法來描述AI模型的內部特征，尋找AI模型復雜度與可解釋性的權衡點，前向理解AI模型的邏輯結構，反向優化模型的設計。

2

基于注意力機制的歸因解釋

2.1 注意力機制的觀點與作用

人類視覺系統在觀察外界信息時，會自動聚焦于感興趣區域并抑制不相關的信息。基于深度學習的注意力機制類似于人類視覺系統，可以從輸入信息中篩選出利于模型預測的特征并賦予其更高的權重。基于注意力機制的事后可解釋方法通過可視化注意力權重解釋信號特征對模型決策的貢獻。具體來講，在深度網絡中融入注意力機制，在訓練過程中通過反向傳播算法優化網絡，注意力權重會自適應為輸入信號的特征分配權重。注意力權重越高，則表明相應特征對于模型決策貢獻越多，反之則表明貢獻越少。注意力機制是一種通用的思想和技術，其能與任何模型融合。在預測與健康管理領域，大量研究在模型中融入注意力機制以增強可解釋性，其中具有代表性的有時序注意力機制、相似注意力機制、通道注意力機制、空間注意力機制、自注意力機制和混合注意力機制等。盡管注意力機制變種很多，但其對特征加權的核心思想是相同的，區別主要在于注意力權重的計算方式。圖2展示了一種通用的注意力架構，其中鍵矩陣 K 是網絡提取的信號特征表示，查詢向量 q 是與模型任務相關的向量或矩陣。值矩陣 V 是信號特征的另一種表示，其元素與鍵矩陣一一對應。得分函數 f (·) 是計算注意力得分 S 的關鍵方式，決定了注意力的優化方向。 注意力權重 A 可以通過分布函數 h (·) 獲得，即 A = h (S) ，其中最常用的分布函數是SoftMax函數。 將注意力權重與 值矩陣進行相乘并求和即可獲得加權后的特征表示。

2.2 注意力機制方面的研究工作

通過更改得分函數f (·)，不同的注意力變種被設計用來提高模型可解釋性。時序注意力通過對網絡特征做線性投影獲得注意力權重，f (·)可以被寫為

式中， act(·) 為 為激活函數， k 是鍵矩陣 K 中的元素， 和 是可學習的參數。 時序注意力沒有引入查詢向量，且鍵矩陣K通常是循環神經網絡(Recurrent neural network，RNN)的輸出。 例如，LI等對雙向長短時記憶(Long and short term memory，LSTM)網 絡的輸出應用時序注意力，輔助深度網絡定位故障信息段，可視化的注意力權重解釋了模型的決策機制。 類似的一些研究更改了RNN網絡的類型應用時序注意力，所設計的網絡同樣具備可解釋性。 對于相似注意力，得分函數被定義為

式中， Similarity(·) 是 是計算兩個向量相似性的函數，查詢向量 q 存在多種形式。 YANG等對門控循環單元的輸出應用相似注意力，計算相似性的函數為 ，其中 k 是GRU網絡的輸出。 試驗結果表明對于軸承原始振動信號輸入，高注意力權重能對應故障沖擊段，對于包絡譜輸入，高注意力權重對應故障頻率段，模型決策邏輯相對透明。 上述兩種注意力通常與RNN結合，可以聚焦于信號時序流中的關鍵特征并增強可解釋性。

通道注意力、空間注意力和混合注意力通常與卷積神經網絡(Convolution neural network，CNN)相結合。對于CNN提取的多通道特征，通道注意力旨在對每個通道特征進行加權，而空間注意力對每個通道的空間特征進行加權，混合注意力機制則是這兩種注意力機制的融合。對于這三種注意力機制，得分函數f (·)存在多種形式。既可以根據輸入信號特點引入查詢向量計算注意力權重，也可以直接結合非線性層或者池化層對 K 進行投影獲得注意力權重。 SHI等結合多尺度卷積和空間注意力設計網絡，并可視化注意力權重直觀展現多尺度特征的提取過程，提高網絡的可解釋性。 LIU等利用通道注意力實現多通道之間的信息交互，使用反向梯度可視化任意層注意力權重，發現注意力機制重點關注時域信號的脈沖分量，擁有很好的可解釋性。 WANG等結合一維CNN系統地探討了上述三種注意力機制在軸承故障診斷領域的可解釋性。 通過將注意力權重向量與輸入信號長度對齊，即使在噪聲干擾下，注意力仍然能聚焦于反映故障類型的判別特征。 試驗同樣證明，混合注意力的診斷效果和可解釋性優于通道注意力和空間注意力。 FAN等針對離心機故障特點設計一種新的混合注意力機制，可視化方式與診斷趨勢相結合展現權重的校準過程，確定影響模型診斷的因素進而提高可解釋性。

自注意力機制通過計算輸入特征之間的相關性獲得注意力權重，進而建模輸入序列的內部關聯關系。得分函數可以寫為

式中， d k 是鍵矩陣的維度。 對于自注意力機制，圖2中的鍵矩陣、查詢矩陣和值矩陣是輸入特征的三種不同表示，通常由線形層投影獲得。 使用自注意力機制增強網絡可解釋性的代表模型是Transformer網絡，其中多頭機制經常被引入提高網絡泛化性。 房佳姝等提出一種基于Transformer編碼器的電力系統多階段暫態穩定評估方法，通過自注意力機制實現全局特征的信息交互，高注意權重能夠聚焦于反映電力系統狀態的關鍵特征，提高了模型的決策透明度。 BI等提出變分Transformer模型識別化工過程異常，網絡通過分配高注意力權重來關注異常變量，以獲得更好的可解釋性。 TANG等提出一種名為Signal-Transformer的模型對旋轉機械故障進行診斷。 具體而言，模型將一維振動信號分割為多個片段并使用自注意力機制建模片段之間的關聯關系。 除此之外，他們提出了一種適用于振動信號的注意力可視化方法，通過設定閾值并將小于閾值的注意力權重置零。 該可視化方法丟棄了部分低權重，可以更直觀地反映模型的關注重點，提高了模型可解釋性。 LI等針對旋轉機械振動信號故障特點提出注意力權重應該服從稀疏分布的觀點，對Transformer編碼器中的注意力權重添加稀疏約束，事后的注意力可視化結果表明注意力權重可以集中關注信號的故障脈沖段，相比原始Transformer模型擁有更好的解釋能力。 LI等使用自注意力機制與多種類型網絡結合，解釋多變量時間序列在過程監控中的貢獻。 除上述總結的工作外，仍然有一些工作針對應用對象特點設計注意力網 絡，在網絡可解釋性方面擁有不錯的效果。

除了用注意力機制進行可視化外，有些研究認為可以對模型提取的特征進行可視化，進而解釋模型內在決策邏輯。降維技術可以將高維特征表示投影到低維空間中，經常被用作特征分析。例如，BRUSA等使用隨機主成分分析技術構建了一個可解釋的特征空間，通過該空間分解數據解釋特征對模型結果的貢獻。ARELLANO-ESPITIA等結合CNN和堆疊自編碼器模型構建網絡，隱層特征的降維可視化效果表明模型是基于系統自身特征的學習，而不是基于偏見和隨意性，進而提高可解釋性。MIRZAEI等對提取的特征進行降維從而解釋LSTM網絡和門控循環單元(Gated recurrent unit，GRU)網絡的學習機制。COSTA等設計網絡壓縮渦扇發動機全壽命周期數據到一個潛在特征空間，可視化結果展示了系統連續的退化軌跡，解釋了模型預測剩余壽命的邏輯。聚類算法也經常被用于解釋模型，如ZHANG等采用模糊C-均值聚類算法處理CNN提取的特征并進行軸承故障分類，聚類效果可以提供可解釋性。同時，也有一些學者設計特定的網絡并可視化相關特征來增強可解釋性。YANG等設計圖神經網絡進行軸承壽命預測，通過不同階段信號圖結構的可視化解釋退化演變的過程，展現模型預測邏輯。ZHANG等改進Shapelet用于軸承故障診斷，每種類型軸承的局部特征可視化的形狀與故障產生的原因存在相關性，例如外圈故障的特征形狀會出現雙脈沖結構，正是由滾動體經過斷層形成的。需要指出的是，這些方法相較于注意力機制的可解釋性較弱，仍有很大的研究空間。

2.3 注意力機制的優勢與不足

基于注意力機制的事后可解釋方法是簡單易懂的，只需將學習到的注意力權重映射到信號生成熱圖即可為決策者提供可解釋性。除此之外，注意力機制增強關鍵特征并抑制冗余特征的特性使其可以在不增加網絡參數的情況下顯著提升模型的預測表現。同時需要指出的是，注意力權重是否可解釋仍然存在爭論，高權重是否就代表模型對相應特征關注度高需要結合具體對象和問題進行討論，這仍然需要進一步研究。

3

基于顯著性分析的歸因解釋

3.1 顯著性分析的觀點與作用

顯著性映射又稱為顯著性區域檢測，是近年來計算機視覺與圖像處理領域中的研究熱點之一，其主要目的是讓計算機如同人眼一樣迅速判斷圖像中的顯著性區域。顯著性映射類方法是智能診斷領域中應用的最多的一種事后可解釋方法。在智能診斷領域中，檢測智能網絡輸入信號中的顯著性區域意味著觀察定位出作為判斷故障是否存在的故障特征區，故也可稱為故障區域定位。故障區域定位的事后可解釋方法依賴于輸入信號是否已經存在較為明顯的故障特征區，如時域沖擊、頻域特征譜線與時頻圖特征區域等。因此，其輸入往往是時域沖擊信號、頻譜圖與短時傅里葉變換(Short time Fourier transform，STFT)圖。這類方法中最為常用的為類激活映射(Class activation mapping，CAM)方法與逐 層相關傳播(Layer-wise relevance propagation，LRP)方法。

3.2 顯著性分析方面的研究工作

3.2.1 類激活映射

CAM可以完美的結合到CNN中，因此其是智能診斷領域中常用的一種事后可解釋方法。如圖3所示，CAM可以通過卷積層激活映射的線性加權組合，給單個輸入提供熱力圖可視化的解釋。其可以表示為

式中， ReLU () 為非線性激活函數， c 為某個感興趣的類， 表示給定的第 l ? 1 層的第 k 個通道激活圖，激活圖權重可以表示為

式中， 表示卷積層通道激活圖經過全局平均池化層后得到的權重。

SUN等使用CNN與CAM對水泵運行視頻數據圖像進行診斷，類激活熱圖成功定位出松動故障區域。LIU等將多元互信息與CAM結合，診斷了液氣分離器，并使用降維可視化的方法提供可解釋性。CHEN等建立了圖神經網絡CAM模型，通過高速列車整流器硬件試驗驗證其診斷能力與可解釋性。雖然CAM方法有以上的應用，但CAM對卷積體系結構是非常敏感的，需要一個全局池化層來跟隨感興趣的卷積層。Grad-CAM及其變體則可以完美解決這個問題，其用類置信度 關于激活圖的梯度作為激活圖權重，即

式中， GP ( · ) 表示全局池化算子。 Grad-CAM可以對任意網絡卷積層生成類激活熱圖，因此其為最常用的一種。 YU等將時域振動數據直接輸入ResNet(Residual network，ResNet)進行訓練，并使用Grad-CAM可視化解釋診斷結果。

CHEN等利用STFT將振動信號轉化為圖像，然后使用Grad-CAM生成模型的注意力，解釋了診斷結果。BRITO等利用仿真合成數據進行遷移學習的訓練，并通過頻譜數據與Grad-CAM解釋了診斷結果。此外，還有其他方法也在激活圖權重上進行修改。CHEN等使用注意力機制與膠囊網絡進行訓練，并基于Grad-CAM與Score-CAM改進了激活圖權重得到梯度分數激活映射，解釋了故障時域信號上的注意力分布。SUN等使用頻率切片小波變換輸入到CNN中訓練，在Grad-CAM++上改進得到平滑全局漸變CAM，增強了模型抗噪聲能力并可對診斷結果進行解釋。LI等改進了使用絕對值運算將Grad-CAM的激活圖權重改進為絕對梯度類激活映射，使暖通空調故障診斷標準可視化并達到模型可解釋。除了以上數據輸入類型外，還有使用包絡譜、基于模糊的能量模式圖像、聲成像數據等作為模型輸入訓練數據，并使用類CAM方法達到模型可解釋的目的。

類激活映射的方法可以直接反應模型對輸入中不同區域的關注程度，是一種簡單而直觀的可解釋方法。其通常與卷積神經網絡一起應用，提供的圖像級別的解釋，有助于理解網絡對不同類別的判斷依據，幫助對比模型優劣，發現結構問題，選擇或改進模型，從而得到一個更合適的網絡結構。此外，CAM方法的計算效率高，適用于工業場景中大規模數據分類任務。然而，CAM并不直接提供訓練后模型的可信度與置信度度量，僅僅是一種解釋模型行為的可視化工具。

3.2.2 逐層相關傳播

LRP從模型輸出開始反向傳播到模型輸入，用于探討初始像素級輸入特征對最終預測結果的影響，由初始像素級輸入特征與預測結果的相關性來表征。一個神經網絡可以表示為

式中，xj 是神經元j的輸出，g為非線性激活函數，wij為神經元i到神經元j的連接權重，b為偏差。

如圖4右側部分所示，對于LRP來說，第一層是輸出，最后一層是輸入。因此，每一層各個維度(某個維度就是某個神經元)的相關性之和守恒，可以表示為

式中， 用于衡量像素級輸入對預測結果的影響。 f (

式(9)表示第 l +1 層神經元的相關性 ，可將該相關性分解到第 l 層的所有神經元上。 式(10) 表示第 l 層神經元 i 的相關性 ，其可以理解為，第 l +1 層中所有神經元的相關性分解后再進行求和。

實際應用中，LRP有兩種改進形式，分別是ε-rule(式(11))和β-rule(式(12))，對于全連接層和卷積層，前一層的相關性得分計算方式為

式中， 為神經元 i 乘以神經元i與神經元 j 之間的權重， 為上一層所有神經元到神經元 j 的向量，式中的“+”與“-”分別表示正值部分與負值部分，即β-rule將正負加權激活分開進行處理。

LRP可以通過泰勒展開化簡后應用于非線性神經網絡中，通過ε-rule和β-rule進行逐層相關性的求解，最終計算出第一層的 。 LRP類方法也通常將常用時頻分析方法(如小波變換、STFT等)得到的時頻圖作為神經網絡的輸入，量化輸入對深度網絡輸出的重要性。

LRP常用于CNN后進行分析。GREZMAK等將齒輪箱振動信號經過小波變換得到時頻圖像后用DCNN進行分類訓練，并通過LRP度量時頻圖對故障決策的貢獻，很好地解釋了網絡的分類決策。此外，GREZMAK等進一步使用感應電機振動信號數據集驗證了LRP類方法的有效性。HAN等將電機振動數據頻譜或時頻圖輸入Le-Net進行訓練，并結合皮爾遜相關系數，克服了未訓練時難以使用LRP進行可解釋故障診斷的困難，LRP結果也很好解釋了訓練決策。

也有作者嘗試將LRP與RNN類方法應用結合。WU等應用LRP技術分析了LSTM網絡模型，通過軸承試驗驗證了LRP結果可以提供模型從輸入數據中學習到的“見解”。SHI結合LRP方法設計了一種可解釋的自適應稀疏門結構，提高了軸承智能診斷正確率與有效性。LI等提出一種解釋可靠的特征級時空分層相關傳播方法，從時間與空間維度獲取多個輸入特征與建筑能耗預測結果的相關性，很好的解釋了LSTM的能耗預測結果。

此外，還有作者用LRP分析自編碼器以及完成其他學習任務的。AGARWAL等使用可解釋的LRP來度量輸入變量的相關性，丟棄無關輸入變量，使得模型使用更少樣本量也可以提高模型精度。ZHANG等使用尋優方法找到最優的自編碼器進行訓練，并將LRP與功率譜分析相結合解釋診斷結果。KIM等提出將LRP可解釋方法融入領域泛化框架中，將STFT時頻圖輸入框架中進行訓練，實現了單源域泛化和域解釋。WANG等基于可解釋LRP方法構建可解釋性指標，并基于此構造了一個可解釋自適應稀疏深度網絡與網絡的關聯圖，然后構建了多級聯邦網絡，同時解決了網絡可解釋與數據隱私的問題。

逐層相關傳播方法通過引入總體相關性的約束，將分類輸出分解為特征和像素的相關性得分的總和，最終把相關性可視化為熱圖來衡量輸入像素對預測的貢獻。逐層相關傳播方法不像類激活映射方法大多數情況下與卷積神經網絡結合，其是模型無關的，可以應用于各種類型的深度學習模型，如卷積神經網絡、循環神經網絡、自編碼器等，在解釋模型的同時也可以幫助改進和優化模型。

3.3 顯著性分析的優勢與不足

從以上文獻回顧中可以看出，CAM與LRP目標均為獲取網絡所關注的顯著性區域并可視化出來，供人類專家理解與解釋網絡決策過程。這類方法思路簡單，易于擴展到現有神經網絡模型中，結果直觀也容易理解，實現事后可解釋，并在某些輸入圖像中可以直接實現故障定位。然而，此類方法要求輸入數據中存在人類專家可以判斷出的顯著性特征，而這依賴于已有的先驗可解釋的特征工程，如時域沖擊、頻域譜線、時頻故障區域，以及其他領域專家故障判定方法。比如，當微弱故障信號中不存在時域沖擊等明顯故障特征時，很難直接從原始的時間序列信號中挖掘出人類專家可理解的顯著性特征，雖然依然可以得到顯著性區域，但顯著性區域不一定與反應微弱故障特征的時域沖擊、時頻譜線相對應。由于顯著性分析方法是在計算機視覺領域中借鑒過來的，本身對圖像任務更具有優勢，因此，此類方法適用于可以將工業數據轉換為相應可解釋圖譜作為診斷依據的場景之中。

4

基于規則提取的歸因解釋

4.1 規則提取的觀點與作用

數據驅動的智能模型(如深度神經網絡)在工業故障診斷中能夠取得高精度和良好性能，然而，其復雜的內部結構難以解釋。為了使工業系統使用者理解和信任“黑箱”模型，基于規則提取的模型可解釋方法旨在以符號化語言揭示模型中的隱含知識，并解釋智能網絡模型做出決策的具體過程。具體而言，它以已訓練的復雜模型為基礎，生成可解釋的符號描述或具有可解釋結構的簡單模型(如決策樹)，使其具有與原始模型相近的決策性能，同時易于使用者理解。此外，所提取的符號化規則可運用于系統運行追溯、容錯控制、系統可靠性和敏感性分析等方面。

所謂規則，即一種符號化語言，其表示形式易于使用者理解。在現有從智能模型中提取規則的文獻中，規則的表示形式主要分為。

(1) if-then規則：假設輸入 X 滿足所給定條件 C ( i )， 則輸出 Y 將標記為特定類別 y ( i ) ，如式(13)所 示

(2) 部分集規則：當輸入滿足元素個數為N的條件集合中的M個條件時，布爾表達式Z成立，如式(14)所示。在一定條件下，其形式可轉換為if-then規則

(3) 決策樹規則：在機器學習和數據挖掘中，樹結構被廣泛運用于分類和回歸問題。決策樹采用“白盒”系統，其結構自然具備可解釋性。因此，可利用決策樹規則提取模型中的隱含知識。一個簡單的決策樹規則示例如圖6所示，其表示基于方均根值(Root mean square，RMS)和頻譜特征將轉子狀態劃分為三類的決策過程。

利用符號化規則解釋智能模型的關鍵在于從已訓練的網絡中提取規則。目前，運用于工業智能故障診斷系統的規則提取方法尚未取得廣泛研究。根據所提取規則是否涉及到具體神經元，可將規則提取方法劃分為結構性規則提取和功能性規則提取。

4.2 規則提取方面的研究工作

4.2.1 結構性規則提取

結構性規則提取關注訓練后神經網絡的具體結構，將整個神經網絡分解為若干神經層，并提取各層神經元和其后一層神經元映射間的符號化規則描述。最后，對各層間所提取的規則進行整合，用于表示整個神經網絡的綜合運算邏輯。結構性規則提取的整體流程如圖7所示。其中，深色的神經元和權重連接表示其處于激活狀態。輸入層到隱藏層以及隱藏層到輸出層的規則集合可從激活的神經元和權重連接中提取，融合兩個規則集合表示整體網絡。

結構性規則提取方法通常根據神經元的激活強度、權重大小或梯度，從多層感知機、深度置信網絡、極限學習機等機器學習模型中提取模糊規則集。在工業故障診斷中，WONG等提出了一種模糊極限學習機模型，將模糊隸屬函數、規則組合矩陣和任意項矩陣嵌入極限學習機中的隱藏層。模糊if-then規則可通過規則組合矩陣制定，并采用一種任意項技術最小化規則集中輸入屬性的數量。最后，根據極限學習機的輸出權重可以形成每一項規則的目標類別和置信因子。所提取的規則集在真實水循環系統的狀態監測問題上取得了91.22%的精度，在不影響精度的條件下產生了可解釋的規則。YU 等將置信度和分類規則集嵌入深度置信網絡，并提出了一種分層知識提取算法，學習受限玻爾茲曼機的特征表示。此外，從數據中提取的規則進一步嵌入網絡的分類層，從而構建振動信號與齒輪箱故障間的復雜映射。WU等針對工業機器性能退化監測問題，提出了一種基于聚類的隱馬爾可夫模型來學習各個關鍵性能指標與剩余使用壽命之間的映射，并建立了一組可解釋的語義規則集來分析性能下降的根本原因。方法在航空發動機數據集PHM08上進行了試驗，結果表明模型在保持高預測精度下能夠推理出整體性能劣化的根本原因。STEENWINCKEL等結合知識驅動和數據驅動的異常檢測模型，以增強模型的表示能力。同時，根據檢測到的故障或異常反饋，知識驅動方法利用語義規則挖掘，將生成新的規則，用于知識驅動檢測模型的自動更新。

4.2.2 功能性規則提取

不同于結構性規則提取方法，功能性規則提取方法并不對神經網絡的具體層級結構進行規則挖掘和綜合規則整合，而是將神經網絡看作一個整體，更注重所提取的規則關于原始神經網絡的復現能力，即提取的規則在功能上可以替代原始網絡。具體而言，將一個實例輸入已訓練的神經網絡，將輸出該實例的判別結果。此判別結果在一定程度上反映了模型在輸入空間中該實例點的響應特性。若輸入實例充分、均勻地分布于整個輸入空間，則從輸入實例-判別結果集合中提取的規則能夠近似描述原始網絡的功能。

南京航空航天大學陳果等深入研究了基于神經網絡的功能性規則提取方法，并在航空發動機上提取了多類故障診斷知識。文獻利用首先利用粗糙集理論實現連續屬性的離散化，然后結合遺傳算法訓練結構自適應神經網絡模型，最后對訓練后的網絡按屬性數目由少到多的方式進行分層，在每層中窮舉組合以提取規則。方法在航空發動機轉子碰磨故障樣本中有效提取了碰磨故障診斷規則。在此基礎上，文獻在多功能轉子試驗臺模擬了不平衡、油膜渦動和碰磨等多類故障樣本，從中提取了各類故障的可解釋診斷規則。文獻采集了實際航空發動機油樣光譜樣本，并利用功能性規則提取方法獲取發動機磨損故障的診斷規則，提高了神經網絡的知識挖掘和推理解釋能力。此外，BHALLA等將輸入空間劃分為若干子區域，對每個子區域生成一個線性函數，使得該函數逼近隱層單元激活函數，最終獲取簡單和易于解釋的分段線性規則集合。所提取的規則在變壓器早期故障診斷案例中取得了與現有診斷標準相當的診斷精度。

4.3 規則提取的優勢與不足

規則提取方法將嵌入在訓練后的神經網絡模型中的知識轉換為簡明的符號化規則，一方面幫助系統用戶明確理解網絡結構，便于使用者信任模型。另一方面，提取的規則簡化了深度模型的復雜推理過程，避免模型過擬合于特定場景下的訓練數據，有利于提高模型的泛化能力。然而，規則提取過程復雜多樣，目前已有的規則提取算法主要應用在淺層模型，難以提取深度網絡的符號化規則。若將規則提取方法簡單應用于擁有若干隱藏層的深度神經網絡而不施加任何約束條件，將消耗大量時間，且所提取的規則集仍具有復雜的因果關系，從而失去了規則的可解釋性。

5

基于代理模型的歸因解釋

5.1 代理模型的觀點與作用

為了將深度AI模型中的非線性高維特征空間簡并到線性低維空間中進行理解，代理模型提出了一種逼近的觀點。神經網絡得益于其萬能近似能力，理論上能以任意精度逼近兩個空間上的函數或算子，代理模型則利用白箱模型(如線性模型、決策樹等淺層模型)再次逼近神經網絡的函數關系，實現對原函數關系的近似的全局近似或局部近似，邏輯關系如圖8所示。基于這種“代理模型近似黑箱模型，黑箱模型近似真實函數”的逼近觀點，代理模型可以充分利用現有的可解釋機器學習模型，實現對黑箱模型中特征的歸因分析。

當前常用的代理模型有兩類：模型無關的局部可解釋模型(Local interpretable model-agnostic explanations，LIME)和沙普利加性解釋模型(Shapley additive explanations，SHAP)，這兩種方法從不同的角度建立代理模型。對于LIME方法而言，首先會預定義一個可解釋的函數空間(如線性模型、決策樹等)，然后從原數據集中挑選一個樣本并對該樣本進行擴充得到攝動分布，最后在該攝動分布的基礎上，從預定義的函數空間中選擇出既具有良好逼近性質又復雜度低的近似代理模型，其中，局部解釋的含義是對某個樣本的攝動鄰域分布找到近似線性模型，而不是對全體樣本下的黑箱模型尋找其近似模型。LIME的公式表達如下

式中， f : X→ Y 是在全體數據集上訓練的黑箱模型， g ∈ G 是可解釋函數空間 G 中的函數實例， x 是輸入樣本空間 X 中的一個樣本， 是對樣本 x 進行數據擴充后得到的攝動分布， 衡量了在攝動樣本分布上 g 與 f 的泛函距離， 衡量了函數g的復雜度， 為最終構建的代理模型 。

對于SHAP而言，構建了一個特征歸因分析的加性模型 ，其中 x 是一個樣本， a (

SHAP方法利用沙普利值計算對特征 的歸因值，定義了在局部樣本集上的特征子集的邊際貢獻值，公式如下

式中， 是所有輸入特征的集合， 是 的子集， 表示去掉特征 l 后的剩余特征集合， 表示黑箱模型在輸入特征子集為 時的預測值，可以看出，求某個樣本的某個特征 i 的SHAP值需要遍歷該樣本的所有特征子集的邊際貢獻，再求均值。

5.2 代理模型方面的研究工作

在LIME方法方面，2020年BAPTISTA等利用LIME方法對用于剩余壽命預測的GRU模型進行局部解釋，首先利用含標簽數據對GRU模型進行監督訓練，從而得到GRU模型的有效預測值，將該預測值與輸入數據成對輸入到LIME的生成框架中，利用LIME方法在預定義的線性函數空間中選擇出既具有良好逼近性質又復雜度低的近似代理模型，最后分析該線性模型的特征重要性。2020年SERRADILLA等結合ELI5的全局解釋能力和LIME的局部解釋能力，對用于剩余壽命預測的XGBoost、隨機森林等回歸器模型進行歸因分析，其中ELI5通過對樣本特征進行置換，在全體樣本的情況下對特征重要性進行排序，而LIME通過對局部樣本構建攝動鄰域分布，學習出線性代理模型。該工作引申于Zadeh不相容原理，即隨著系統復雜性的增加，對其行為的建模精度與理解程度會逐漸下降，甚至會相互排斥。2022年SANAKKAYALA等利用STFT對軸承振動信號進行預處理，輸入到CNN中進行故障預測，并用LIME方法分析輸入信號頻譜圖中的關鍵故障成分。2022年，PROTOPAPADAKIS等在N-CMAPSS高維數據集上驗證了LIME方法的可行性，試驗結果表明，LIME方法在高維數據問題上的可解釋性依舊是困難的，即線性模型難以近似高維數據中隱藏的強非線性。

在SHAP方法方面，2022年GUPTA等利用SHAP方法對基于自編碼器的異常檢測模型進行歸因分析，其中，自編碼器的輸入為監測變量，輸出為重構監測變量，通過計算重構誤差判斷是否發生異常，在此基礎上，計算輸出重構變量對重構誤差的Shapely值，從而分析監測變量對機械健康狀態的邊際貢獻。2022年MARTAKIS等將SHAP方法應用于橋梁結構健康監測的一分類SVM的歸因分析，首先利用無標簽數據訓練SVM一分類模型實現異常檢測，然后利用XGBoost模型近似SVM的預測值得到含標簽數據對，再用SHAP方法對XGboost的決策進行特征重要性排序，并在Shapely值的基礎上計算模型決策軌跡，增強SHAP的解釋能力。2022年BAPTISTA等根據剩余壽命預測問題的時序特性，將SHAP方法與預后問題中常見的單調性、趨勢性、可預測性(方差)等性質結合，分析了三種黑箱模型的特征Shapley值在壽命周期的演化規律，模型復雜度最低的線性模型具有最差的預測能力但同時具有最單調的Shapley值軌跡，驗證了可解釋診斷中的一個常見假設，即黑箱模型的復雜度是影響其可解釋性的重要因素。2021年NOR等將不確定性量化和SHAP方法結合應用于剩余壽命預測問題中，在實現預測值分布估計的同時，對特征重要性進行歸因分析，并在的擴展工作中增加了一致性和局部準確率兩個指標評估Shapely值的解釋性。2022年MOVSESSIAN等在風電葉片損傷檢測問題上，利用SHAP方法分析環境與操作變量對損傷指標的影響，這有助于理解環境與操作變量引起的假陽性和結構損傷引起的真陽性之間的區別，進而減少變工況引起的虛警。

有部分工作將LIME方法與SHAP方法進行對比分析或結合使用。2020年JALALI等對比分析了LIME、SHAP、Attribute-wise三種可解釋性技術在智能診斷模型中的應用，在C-MAPSS上的試驗結果表明大多數的黑箱模型在這三種方法下的解釋是一致的，即這三種方法對不同黑箱模型的特征重要性排序是一致的，但只有LIME方法能有效分析LSTM、GRU這種時序預測模型。2021年ONCHIS等將LIME方法和SHAP方法結合，對用于橋梁損傷檢測的神經網絡進行特征重要性排序，并針對LIME局部可解釋內在的不穩定性問題，提出了一種基于條件數的指標對LIME結果的可信度進行判斷，若超出閾值則重新調用LIME方法生成可信的線性代理模型。

5.3 代理模型的優勢與不足

代理模型的優勢是能充分利用現有淺層模型的可解釋性，但在處理高維輸入或高維特征量方面存在顯著短板。對于LIME方法，其局部解釋能力需要構建單個樣本的鄰域分布，但構建這種“偽樣本”對于高維數據來說是困難的。對于SHAP方法而言，高維問題更加突出：① SHAP需要遍歷特征集合的所有子集，這種指數計算時間的遍歷，對于高維輸入特征而言，計算成本非常高(當然有很多方法來緩解這個問題，比如TreeSHAP，其計算復雜度為多項式時間)；② 由于SHAP需要計算特征子集的黑箱預測值，要求黑箱模型接受子集作為輸入，這導致黑箱模型的輸入有“missing”特征，如何對高維數據的“missing”值填充也是一個開放問題。

另一個理論問題在于代理模型是否能以任意精度逼近黑箱模型。神經網絡在理論上能以任意精度逼近原函數，但在實際中逼近精度會受神經網絡設計的限制，而代理模型通常為線性模型或加性模型，其模型容量有限，對黑箱模型的逼近能力尚缺少堅實的理論支撐。

6

案例分析

本節將通過案例分析對上述四種歸因解釋技術在故障診斷中的效果進行描述，其中，對注意力機制、規則提取進行了試驗分析，對顯著性分析、代理模型進行了文獻案例分析。

6.1 注意力機制的案例分析

本文通過一個基于注意力可視化的案例展示深度模型的決策邏輯。案例使用的試驗數據來源于凱斯西儲大學軸承數據中心。試驗臺采集的振動信號數據包括四種狀態，分別是健康狀態、內圈故障、滾動體故障、外圈故障。本案例選擇驅動端振動傳感器采集的數據，采樣頻率為12 000 Hz，軸承信號為SKF6205。為簡化試驗，案例僅使用電動機負荷為0的振動信號，轉速為1 797 r/min。為便于對注意力的分布進行解釋，案例應用包絡譜作為模型的輸入。對于四種狀態的軸承數據，使用滑窗選取55段信號，每段信號包含12 000個點，也就是1秒的數據。隨后計算段信號的包絡譜，并把0到2 000 Hz的頻率幅值作為樣本輸入到模型中進行訓練，即輸入維度為1×2 000。80%的樣本被用作訓練集，其余樣本為測試集。本案例使用的模型是Transformer網絡，前述的研究表明其內部的自注意力機制針對振動信號具備良好的可解釋。網絡的具體設計參照了LI等的工作中的比較模型標準Transformer，超參數設置均與其保持一致。代碼在Python 3.8和PyTorch 1.8環境下編寫，試驗在Windows 10系統和GeForce RTX 3070 GPU上實現。

由于該數據集的四種故障是極易區分的，所以模型在測試集上的準確率為100%。本案例將注意力權重映射到輸入振動信號生成熱圖，解釋模型的決策依據。根據軸承關鍵頻率的計算公式，該案例中的轉頻、內圈故障頻率、外圈故障頻率和滾動體故障頻率大致分別為30 Hz、162 Hz、108 Hz和141 Hz。圖9展示了四種狀態的注意力熱圖，最右側是注意力權重的顏色條。在每張圖中，每段振動信號的顏色由注意力權重值決定。權重越高即對應振動信號顏色越深，表示越受模型關注。為便于展示，橫坐標設置為0到1 000 Hz，振動信號的幅值和注意力權重均被歸一化在0到1范圍內。對于正常信號，圖9標記了旋轉頻率及其倍頻的位置，而對于故障信號，圖9標記相應的故障頻率及其倍頻的位置。可以發現，對于正常狀態的軸承，包絡譜中僅有明顯的轉頻，其無法作為區別四種故障類別的鑒別特征，因此模型選關注一些高頻的噪聲段。而對于故障狀態的軸承，高注意力權重大多集中在能反映故障類型的頻帶附近。至于滾動體故障，由于包絡譜相應的故障頻率不過明顯，模型不能完全關注相應頻帶，但仍然能關注附近的頻帶。綜合來看，自注意力機制能夠輔助模型學習可鑒別的故障特征，大致符合人對軸承故障狀態的判斷規律，增強了模型的可解釋性。

6.2 顯著性分析的案例分析

圖10為文獻中對凱斯西儲大學軸承數據集外圈故障時域信號使用ResNet模型與Grad-CAM方法進行顯著性分析的歸因解釋所得的熱力圖。由于外圈故障信號存在明顯的時域沖擊信號，也即時間序列信號中存在明顯的與故障相關的顯著性特征，因此，此種類型的信號尤其適用于顯著性方法的歸因解釋。從圖中可以看出，神經網絡對外圈故障信號樣本的激活程度權重顏色更熱的部分集中在時域信號的沖擊附近，說明網絡的關注點在信號的沖擊成分，網絡也通過此沖擊成分分類出外圈故障，這與人類專家關于軸承外圈故障特征的認知相符合，進一步闡述了顯著性分析方法對模型分析可以得到正確的歸因解釋。

6.3 規則提取的案例分析

本文進一步分析了如何應用功能性規則提取方法，以期從已訓練的神經網絡中發掘可解釋的故障診斷知識。數據和模型仍然選用凱斯西儲大學軸承數據和上述Transformer網絡。經模型訓練后，在測試階段可獲取該模型對于49個正常樣本、25個內圈故障樣本、25個滾動體故障樣本和25個外圈故障樣本的診斷預測結果。經過頻譜分析和歸一化處理后，可獲得5類特征屬性，即：1/2轉頻(1/2X)、轉頻(X)、二倍頻(2X)、三倍頻(3X)和四倍頻(4X)。經過數據離散化分析，5類屬性的斷點如表1所示。其中，三倍頻(3X)的斷點為0.050，表明該斷點將此屬性劃分為兩類。四倍頻(4X)的斷點為0.007和0.022，表明斷點將該屬性劃分為小于0.007、0.008～0.022和大于0.022三類。不考慮其余屬性對故障診斷的影響。因此，所提取的規則集如表2所示。

從表2可以看出，規則在一定程度上反映了外圈故障、滾動體故障和內圈故障的特征。其中，規則1表明正常樣本的三倍頻比故障樣本的三倍頻更為明顯，49個示例樣本全部滿足該條規則，該規則的置信度為1。規則2表明，當樣本的三倍頻和四倍頻皆較小時，為外圈故障。在25個示例樣本中，共有23個樣本滿足該規則，置信度為0.92。規則3表明當三倍頻較小、四倍頻在0.007和0.022之間時，為內圈故障。在25個示例樣本中，共有20個樣本滿足該規則，置信度為0.8。規則4表明當三倍頻較小、而四倍頻較大時，為滾動體圈故障。在25個示例樣本中，共有18個樣本滿足該規則，置信度為0.72。該案例展示了規則提取方法可以將復雜模型學習到的難以解釋的診斷知識轉化為可解釋的規則，提升了模型的可解釋性。

6.4 代理模型的案例分析

參考文獻將SHAP方法應用于凱斯西儲大學軸承故障診斷中，并對高維數據問題進行了兩處改進。① 將時域信號轉換到頻域或時頻域，在特征相對稀疏的頻域或時頻域計算Shapely值，并且完全可逆的變換保證了信息的完整性；② 相比于計算譜圖的每條譜線的Shapely值，該方法將譜圖進行了劃分，例如將頻譜圖劃分為等距頻帶或自適應頻帶，將該頻帶作為計算Shapely值的特征。基于上述兩處改進，該方法在高頻軸承數據上進行SHAP分析的流程如下：① 將時域信號轉換為譜域信號，然后將譜域信號進行譜帶劃分，每個譜帶賦予獨立編號、并被視為特征屬性；② 隨機置換譜帶、并進行拼接，構成待分析樣本集；③ 將置換、拼接后的譜域信號再變換為時域信號，輸入到神經網絡中，計算相應的Shapely值。該方法的好處是可以對譜帶進行自適應劃分，細化Shapely值的分析粒度。如圖11所示，將時域信號轉變為頻域信號，計算自適應頻帶的SHAP，絕對值越大表明該頻帶的邊際貢獻越大，正號表明正相關，負號表明負相關。其中，圖11上圖為神經網絡輸入信號，左下圖是完整頻域及對應SHAP值圖，右下圖是感興趣頻帶及SHAP值圖。

7

潛在研究方向

可解釋性是工業智能診斷領域必然面臨的問題。雖然當前已有部分工作針對該問題開展研究，但總體仍處于起步階段，如何賦能實際工業應用依然是一個開放性的問題。下列關鍵方向可能有助于解決上述問題。

7.1 可解釋性的量化評估標準

可解釋性反映了訓練后的模型以人類可理解的方式解釋其決策過程的能力。因此，可解釋性的量化有利于比較和評估模型在工業故障診斷等安全關鍵領域的適用性，以選擇便于用戶信任的模型。然而，可解釋性在不同的任務和應用場景下難以進行統一描述。現有可解釋性量化方法主要應用于規則提取方法，即根據模型所提取規則集的復雜度和語義關系進行可解釋量化。文獻假設模型的可解釋性與規則集的復雜性呈負相關關系，并通過計算規則數量和約束條件量化可解釋性。文獻認為可解釋規則應在語義上具有高度一致性和較小的冗余性，并構造語義指標衡量可解釋性。此外，顯著性分析方法可通過計算響應與真實標簽間的交并比衡量模型可解釋性。然而，現有模型可解釋性的量化方法只適用于特定領域，建立一套統一的模型可解釋性的量化評估標準對于工業系統模型選擇具有重要意義。

7.2 可解釋反饋模型設計的自動化

要求模型可解釋的一個本質目的是反饋人類專家進行模型設計。因此，如何將模型可解釋見解反饋至模型的自動化設計是一個重大挑戰。雖然事后方法可以幫助解釋模型的內部工作原理，但它們并不能提供有關如何提高模型性能的見解。因此，需要能夠從一開始就向模型設計者提供有關如何使其模型更具可解釋性的反饋的方法，這需要更深入地了解使模型可解釋的原因。此外，模型的自動化設計過程涉及到基準和評估指標，以量化模型的可解釋性來提供自動化優化設計方向。

7.3 模型復雜度和可解釋性的平衡

理想情況下，工業系統要求模型做出準確決策的同時具備可解釋性。然而，這兩項目標是相互矛盾的。一方面，若一昧追求性能，模型結構將過于復雜，使其難以被人們理解。另一方面，增加模型的可解釋性通常會導致模型的性能下降。例如，基于規則提取和代理模型的模型可解釋方法往往將復雜的深度模型簡化為簡單的規則集合或淺層模型。因此，如何平衡模型性能和可解釋性是工業故障診斷領域的關鍵挑戰。研究者應根據實際應用，在可解釋性和模型性能之間提取出最佳的平衡原則，在滿足精度要求的條件下解釋模型的工作原理。

7.4 工業智能診斷歸因解釋分析中的高維特征工程

對于事后XAI的特征貢獻分析，輸入數據的特征工程也是一個重大挑戰。從本文中也可以看出，故障診斷領域中，使用頻譜或時頻圖的數據更容易實現事后的XAI。因此，在特征工程方面，了解需要什么類型的輸入數據才能實現良好的可解釋性至關重要。這需要對數據和模型有很好的理解，以及設計合適的算法來提取相關特征。通過這樣做，可以提高模型的可解釋性，同時提高其準確性。一個好的特征可以很好地幫助人類專家進行重要性的分析和解釋，以便更好地理解深度學習模型的行為。

8

結論

本文以工業智能診斷中的可解釋性問題為中心，從全局-局部解釋、主動-被動解釋出發，分析了歸因解釋技術在工業智能診斷中的應用前景，并對現有工作進行總結。首先討論了工業智能診斷中XAI技術面臨的問題，概述了歸因解釋技術的主要觀點；然后，從注意力機制、顯著性分析、規則提取、代理模型四個方面分析了當前工作的主要貢獻，概述了實現歸因解釋技術的不同方法視角，總結每個分類的優勢與不足。當前工業智能診斷中的歸因解釋技術處于基礎階段，依然存在很多值得研究的方向，本文探討分析了可解釋性的量化評估標準、可解釋性自動化反饋模型設計、模型復雜度與可解釋性的平衡、工業診斷中的高維問題四個方向，是值得重視的研究領域。

作　　者：嚴如強

責任編輯：趙子祎

責任校對：惲海艷

審　　核：張　強

JME學院簡介

JME學院是由《機械工程學報》編輯部2018年創建，以關注、陪伴青年學者成長為宗旨，努力探索學術傳播服務新模式。

歡迎各位老師掃碼添加小助理-暖暖為好友，由小助理拉入JME學院官方群！

歡迎關注JME學院視頻號~

尋覓合作伙伴

有一種合作叫做真誠，有一種發展可以無限，有一種伙伴可以互利共贏，愿我們合作起來流連忘返，發展起來前景可觀。關于論文推薦、團隊介紹、圖書出版、學術直播、招聘信息、會議推廣等，請與我們聯系。

感謝關注我們！《機械工程學報》編輯部將努力為您打造一個有態度、有深度、有溫度的學術媒體！

版權聲明：

本文為《機械工程學報》編輯部原創內容，歡迎轉載，請聯系授權！

在公眾號后臺留言需要轉載的文章題目及要轉載的公眾號ID以獲取授權!

聯系人：暖暖

電話：010-88379909

E-mail：jme@cmes.org

網 址：http://www.cjmenet.com.cn

官方微信號：jmewechat