Interpretable Machine Learning: Fundamental Principles and 10 Grand Challenges

《可解釋機器學習：基本原則與十大挑戰》

https://www.emse.fr/~xie/Interpretable%20Machine%20Learning.pdf

摘要

在機器學習（ML）中，解釋性對于高風險決策和故障排除至關重要。在這項工作中，我們提供了解釋性機器學習的基本原則，并澄清了削弱這一重要主題的常見誤解。我們還識別了解釋性機器學習中的10個技術挑戰領域，并提供了每個問題的歷史背景和背景。這些問題有些在傳統上很重要，有些是近年來出現的。具體問題包括：(1) 優化稀疏邏輯模型如決策樹；(2) 評分系統的優化；(3) 在廣義加性模型中引入約束以促進稀疏性和更好的解釋性；(4) 現代基于案例的推理，包括神經網絡和因果推理的匹配；(5) 神經網絡的完全監督解耦；(6) 神經網絡的完全或部分無監督解耦；(7) 數據可視化的降維；(8) 能夠結合物理和其他生成或因果約束的機器學習模型；(9) 對“拉什蒙集合”良好模型的表征；(10) 可解釋的強化學習。本綜述適合作為對解釋性機器學習感興趣的統計學家和計算機科學家的起點。

1 引言

隨著機器學習（ML）的廣泛應用，解釋性的重要性已經變得清晰，以避免災難性后果。黑盒預測模型，其本質上是難以理解的，已經導致了嚴重的社會問題，深刻影響到健康、自由、種族偏見和安全?？山忉尩念A測模型通過約束其推理過程使其更易于人類理解，因此在實踐中更容易排查故障和使用。人們普遍認為，解釋性是人工智能模型信任的關鍵因素（Wagstaff, 2012; Rudin and Wagstaff, 2014; Lo Piano, 2020; Ashoori and Weisz, 2019; Thiebes et al., 2020; Spiegelhalter, 2020; Brundage et al., 2020）。在本綜述中，我們提供了解釋性機器學習模型設計中的基本原則，以及10個技術挑戰。

讓我們先提供一些背景。黑盒機器學習模型是一個公式，要么對于任何人都太復雜而無法理解，要么是專有的，因此無法理解其內部工作原理。黑盒模型很難排查故障，這在醫療數據中特別成問題。黑盒模型通常因為錯誤的原因預測出正確的答案（“聰明的漢斯”現象），導致訓練中表現優異但在實踐中表現糟糕（Schramowski et al., 2020; Lapuschkin et al., 2019; O’Connor, 2021; Zech et al., 2018; Badgeley et al., 2019; Hamamoto et al., 2020）。黑盒模型存在許多其他問題。在刑事司法中，由于黑盒模型輸入的排版錯誤，個人可能被多判數年的監禁時間（Wexler, 2017），而對空氣質量的專有模型設計不良在野火期間對公共安全造成了嚴重后果（McGough, 2018）；這兩種情況本可以通過可解釋的模型輕松避免。在數據的基礎分布發生變化（稱為領域轉移，在實踐中經常發生）的情況下，如果用戶無法實時排查模型，黑盒模型比可解釋模型更難處理。確定黑盒模型是否在性別或種族群體方面公平遠比確定可解釋模型是否存在此類偏差更困難。在醫學中，黑盒模型將計算機輔助決策轉變為自動決策，正是因為醫生無法理解黑盒模型的推理過程。解釋黑盒模型，而不是用可解釋的模型替換它們，可能會使問題變得更糟，因為會提供誤導性或虛假的表述（Rudin, 2019; Laugel et al., 2019; Lakkaraju and Bastani, 2020），或者給黑盒增加不必要的權威（Rudin and Radin, 2019）。很明顯，有必要開發出具有內在可解釋性的創新機器學習模型。

目前，關于解釋性和可解釋性的文獻涵蓋范圍廣泛且混亂。許多關于可解釋性的文獻將其與解釋性/可理解性混淆在一起，從而使論點變得模糊（因此減少了它們的精確性），并未傳達這兩個主題在實踐中的相對重要性和用例。一些文獻以如此一般的方式討論主題，以至于其教訓對于任何具體問題都沒有多大影響。一些旨在設計分類體系，但錯過了解釋性機器學習中的大量主題。一些提供了我們不同意的定義。一些甚至提供了可能會延續不良實踐的指導。重要的是，其中大多數假設在沒有考慮到是否存在相同準確度的可解釋模型的情況下解釋黑盒模型。接下來，我們將提供一些簡單而普遍的解釋性機器學習的指導原則。這些原則并非窮盡。它們旨在幫助讀者避免關于機器學習中解釋性的常見但有問題的思考方式。

本綜述的主要部分概述了解釋性機器學習中一組重要而基本的技術大挑戰。這些挑戰既包括現代挑戰，也包括經典挑戰，其中一些比其他挑戰更難。它們要么很難解決，要么很難正確地表述。雖然模型部署方面存在許多社會技術挑戰（這些挑戰可能比技術挑戰更加困難），還有人機交互挑戰，以及魯棒性和公平性如何與可解釋性相互作用的問題，但這些主題可以留待以后討論。我們從解釋性機器學習中最經典、最經典的問題開始：如何為表格數據構建稀疏模型，包括決策樹（挑戰#1）和評分系統（挑戰#2）。然后我們深入探討涉及加法模型的挑戰（挑戰#3），接著是另一個經典的挑戰，即基于案例推理（挑戰#4），這是人工智能中的另一個經典主題。接下來我們轉向更奇特的問題，即神經網絡中概念的監督和無監督解纏（挑戰#5和#6）?；氐浇浀鋯栴}，我們討論了降維（挑戰#7）。然后是如何整合物理或因果約束（挑戰#8）。挑戰#9涉及理解、探索和衡量準確預測模型的拉莫斯集。挑戰#10討論了可解釋的強化學習。表1提供了一項指南，可能有助于用戶將數據集與合適的可解釋監督學習技術進行匹配。我們將在挑戰中涉及所有這些技術。

可解釋機器學習的一般原理

我們的第一個基本原則定義了可解釋的機器學習，遵循 Rudin（2019）的定義：

原則1：一個可解釋的機器學習模型遵循一組特定于領域的約束，使其（或其預測結果或數據）更容易被人類理解。這些約束根據領域的不同可能會有顯著差異。

典型的可解釋監督學習設置，使用數據 {zi}i，和從函數類 F 中選擇的模型為：

方程(1)可以推廣到無監督學習，其中損失項被替換為無監督問題損失項，無論是新穎性檢測、聚類、降維還是其他任務。

創建可解釋模型有時可能比創建黑盒模型要困難得多，原因包括：(i) 解決優化問題可能在計算上很困難，這取決于約束的選擇和模型類別 F 。(ii) 當我們創建一個可解釋模型時，我們通常會意識到數據存在問題，需要進行故障排除，這會減慢部署速度（但會導致更好的模型）。(iii) 最初可能不清楚使用哪種可解釋性定義。這個定義可能需要細化，有時需要與領域專家進行多次迭代。有許多論文詳細討論了這些問題，最早的可以追溯到1990年代中期（例如，Kodratoff，1994）。

可解釋性在不同領域之間差異很大，就像預測性能指標在不同領域之間變化一樣。就像我們可能會從多種性能指標中選擇（例如，準確性、加權準確性、精確度、平均精確度、精確度@N、召回率、召回率@N、DCG、NCDG、AUC、部分AUC、平均故障時間等），或這些指標的組合，我們也可能會選擇特定于領域的可解釋性指標的組合。我們可能無法定義單一的最佳可解釋性定義；無論如何，如果我們選擇的可解釋性度量對當前問題有幫助，我們最好包括它?？山忉屝詰土P或約束可以包括模型的稀疏性、相對于變量的單調性、可分解為子模型、能夠進行案例推理或其他類型的可視化比較、模型推理過程中某些類型信息的解耦、生成性約束（例如，物理定律）、變量選擇偏好，或任何其他與領域相關的約束。就像創建一個完整的機器學習性能指標列表是徒勞的一樣，任何可解釋性指標列表也會有同樣的命運。

我們的十個挑戰涉及如何定義一些解釋性約束以及如何將它們納入機器學習模型中。對于表格數據，稀疏性通常是解釋性定義的一部分，而對于自然圖像的計算機視覺任務來說，通常不是（如果一個自然圖像分類模型僅使用了圖像中的少數像素，您會認為它是可解釋的嗎？）。對于自然圖像，我們更傾向于使用可解釋的神經網絡，它們執行基于案例的推理或解纏，并為我們提供了對中間計算的視覺理解；我們將深入描述這些內容。模型形式的選擇（例如，選擇使用決策樹還是特定的神經網絡架構）是解釋性約束的示例。對于大多數涉及表格數據的問題，一個完全可解釋的模型，其完整的計算可以被人類理解，例如稀疏決策樹或稀疏線性模型，通常比只能部分理解其計算的模型，或者只能理解其預測（而不是模型本身）的模型更可取。因此，我們區分了完全可解釋和部分可解釋的模型，通常更傾向于前者。

并非所有機器學習問題都需要可解釋的機器學習模型。對于低風險的決策（例如廣告），對于決策而言，解釋將是微不足道的且模型是100％可靠的情況下（例如，“這個乳腺X光片沒有病變”這種情況下解釋將是微不足道的），對于人類可以在之后驗證或修改決策的情況（例如心臟室的分割），可能不需要解釋性。另一方面，對于自動駕駛汽車，即使它們非?？煽?，如果汽車的視覺系統發生故障導致事故而無法找到事故原因，問題也會出現。在這種情況下，缺乏解釋性將是有問題的。

我們的第二個基本原則涉及信任：

原則2：盡管常見的說法是，可解釋的模型不一定會產生或啟用信任-它們也可能會產生不信任。它們只是讓用戶決定是否信任它們。換句話說，它們允許做出信任的決定，而不是信任本身。

對于黑匣子模型，人們需要在知識更少的情況下做出信任決定；沒有關于模型推理過程的知識，很難檢測它是否可能超出數據集的范圍。正如Afnan等人（2021年）在醫療決策方面所述，盡管可解釋的人工智能增強了人類決策能力，但黑匣子人工智能卻替代了它。

關于可解釋的機器學習模型的一個重要觀點是，在考慮將數據轉化為知識的完整數據科學過程時，并沒有科學證據表明準確性和解釋性之間存在普遍的權衡。 （這種流程的示例包括KDD，CRISP-DM或CCC大數據管道；參見圖1，或Fayyad等人1996年; Chapman等人2000年; Agrawal等人2012年。）在真實問題中，解釋性對故障排除非常有用，這會導致更好的準確性，而不是更糟糕。在這個意義上，我們有第三個原則：

原則3：重要的是不要假設為了獲得解釋性而需要犧牲準確性。事實上，解釋性通常會帶來準確性，而不是相反。解釋性與準確性之間在機器學習中，總的來說，是一個虛假的二元對立。

可解釋性傳統上與復雜性相關聯，特別是稀疏性，但模型創建者通常不會將可解釋性等同于稀疏性。稀疏性通常是可解釋性的一個組成部分，一個具有足夠稀疏性但具有其他理想屬性的模型更為典型。雖然幾乎總是在準確性與稀疏性之間存在權衡（尤其是對于非常小的模型），但沒有證據表明準確性與可解釋性之間存在普遍的權衡。讓我們考慮一下（1）在實踐中開發和使用機器學習模型，以及（2）對靜態數據集進行的實驗；在這兩種情況下，可解釋性模型都沒有證明準確性更低。

在實踐中開發和使用機器學習模型。黑匣子模型在實踐中使用時存在的一個關鍵問題是COMPAS的故事（Northpointe，2013; Rudin等，2020年）。COMPAS是一個黑匣子，因為它是專有的：除了其設計者以外，沒有人知道它用于預測犯罪再犯的秘密公式，但它被廣泛應用于美國各地，并影響假釋、保釋和判決決定，深深影響了人們的生活（Angwin等，2016年）。COMPAS容易出錯，因為它可能需要超過130個變量，并且這些變量中的排版錯誤會影響結果（Wexler，2017年）。COMPAS的解釋是錯誤的，因為新聞組織ProPublica錯誤地假設COMPAS的一個重要變量（即種族）在COMPAS本身也很重要，并使用這個錯誤的邏輯得出結論，即COMPAS除了通過年齡和犯罪記錄之外還依賴于種族（Angwin等，2016年; Rudin等，2020年）。雖然COMPAS的種族偏見似乎并不像ProPublica所聲稱的那樣，但COMPAS仍然對種族有不清晰的依賴。更糟糕的是，COMPAS似乎是不必要復雜的，因為它似乎不比一個非常稀疏的決策樹（Angelino等，2017年，2018年）更準確，該決策樹僅涉及幾個變量。它是同時展示黑匣子在實踐中許多陷阱的關鍵例子。它顯示了當黑匣子不必要但仍然被使用時的一個例子。

在實踐中使用黑匣子模型或將其作為數據科學過程的一部分開發時，會出現其他系統性問題，這些問題會導致它們比可解釋模型更不準確。一個全面的列表超出了本特定調查的范圍，但指出黑匣子模型在特定領域出現許多嚴重問題的文章是Afnan等人（2021年）的文章，他們討論了體外受精（IVF）。在現代體外受精中，未經隨機對照試驗的黑匣子模型決定了誰會出生。Afnan等人（2021年）指出了倫理和實際問題，從無法與患者進行共同決策，到診所需要“購買”類似于訓練黑匣子模型的環境以避免分布轉移的經濟后果；這是必要的，因為無法實時有效地使用黑匣子來檢測錯誤。他們還討論了責任問題（“當模型造成傷害時誰負責？”）。最后，他們提出了一個標準性能指標（即ROC曲線下的面積-AUC）被誤解為代表模型實踐價值的案例，可能導致對黑匣子模型性能的過度自信。具體來說，報告的AUC通過將許多“明顯”案例包含在計算樣本中來進行了夸大。如果我們不能信任報告的數值性能結果，那么解釋性將是評估信任的一個重要剩余因素。

在完整的數據科學過程中，如圖1所示，可解釋性在確定如何更新過程的下一步以進行下一次迭代中起著關鍵作用。人們解釋結果并調整數據處理、損失函數、評估指標或任何其他相關事項，如圖中所示。如果不理解模型的工作原理，人們如何做到這一點？這可能是可能的，但可能要困難得多。本質上，混亂的數據和復雜的黑盒模型帶來的混亂會導致實踐中的決策質量降低。

讓我們繼續討論一個問題受到控制的情況，這樣我們就有了一個靜態數據集和一個固定的評估指標。

靜態數據集。大多數算法的基準測試都是在靜態數據集上進行的，其中數據和評估指標不會因為算法的運行而進行清理或更新。換句話說，這些實驗不是作為數據科學過程的一部分進行的，它們只設計用于在受控的實驗環境中比較算法。

即使在靜態數據集和固定的評估指標下，可解釋模型通常也不會導致與黑盒模型相比在準確性上的損失。即使對于計算機視覺的深度神經網絡，即使在最具挑戰性的基準數據集上，也設計了許多機器學習技術，這些技術不會犧牲準確性，但獲得了顯著的可解釋性（張等人，2018年；陳等人，2019年；Koh等人，2020年；陳等人，2020年；Angelov和Soares，2020年；Nauta等人，2020b）。

讓我們考慮兩種極端的數據類型：表格數據，其中所有變量都是實數或離散特征，每個特征都是有意義的（例如，年齡、種族、性別、過去中風的次數、充血性心力衰竭），以及“原始”數據，如圖像、聲音文件或文本，其中每個像素、位或單詞本身沒有用處。這些類型的數據在機器學習性能和可解釋性方面具有不同的屬性。

對于表格數據，大多數機器學習算法在預測準確性方面表現相似。這意味著即使愿意進行一些預處理，如創建虛擬變量（例如，見Christodoulou等人，2019年），也很難擊敗邏輯回歸。在這些領域，神經網絡通常找不到優勢。人們已經知道很長時間了，對于表格數據，非常簡單的模型表現得出奇地好（Holte，1993年）。簡單模型對表格數據表現良好的事實可能源于由Leo Breiman討論的Rashomon效應（Breiman等人，2001年）。Breiman提出了大量Rashomon集的可能性，即對于許多問題，有大量具有近似最小錯誤率的模型。Semenova等人（2019年）表明，只要存在大量的Rashomon集，其中一些模型更可能是可解釋的。

另一方面，對于原始數據，神經網絡目前比其他方法具有優勢（Krizhevsky等人，2017年）。在這些原始數據的情況下，可解釋性的定義發生了變化；對于視覺數據，人們可能需要視覺解釋。在這些情況下，如前面討論的以及挑戰4和5中，可解釋的神經網絡足夠了，而不會損失準確性。

這兩個數據極端情況表明，在機器學習中，準確的黑盒模型與準確性較低的可解釋模型之間的二分法是錯誤的。一旦有人構建了一個可解釋的機器人外科醫生，那么經常討論的在基于機器學習的準確機器人外科醫生和準確性較低的人類外科醫生之間的假設選擇就變得無關緊要。鑒于即使是最具挑戰性的計算機視覺基準測試也可以通過可解釋的模型來解決，沒有理由相信一個可解釋的機器人外科醫生會比它的黑盒對應物更差。最終的問題變成了Rashomon集是否應該允許這樣一種可解釋的機器人外科醫生——到目前為止的所有科學證據（包括越來越多的關于可解釋深度學習的實驗論文）表明它會。

我們的下一個原則回到了數據科學過程。

原則4 作為完整的數據科學過程的一部分，人們應該期望性能指標和可解釋性指標被迭代細化。

圖1中的知識發現過程明確顯示了這些重要的反饋循環。我們在實踐中發現，創建許多可解釋的模型（滿足已知約束）并讓領域專家在它們之間進行選擇是有用的。他們選擇一個模型而不是另一個模型的理由有助于細化可解釋性的定義。因此，每個問題都可以有自己的獨特可解釋性指標（或一組指標）。

第五個原則如下：

原則5 對于高風險決策，如果可能的話，應該使用可解釋的模型，而不是“解釋過的”黑盒模型。

因此，本調查關注的是前者。這不是關于可解釋人工智能（XAI，即嘗試使用近似模型、導數、變量重要性度量或其他統計數據來解釋黑盒）的調查，而是關于可解釋機器學習（創建一個不是黑盒的預測模型）的調查。不幸的是，盡管這兩個概念之間存在巨大差距，但這些主題通常被錯誤地歸為“可解釋人工智能”或“XAI”這一誤導性術語（Rudin，2019）。可解釋性和可解釋性技術并不是許多真正問題的替代選擇，正如最近的調查經常暗示的那樣；其中之一（XAI）對于高風險決策來說可能是危險的，而另一個則不是。

可解釋的機器學習不是XAI的一個子集。XAI這個術語起源于大約2016年，源自函數逼近的工作；即，通過一個更簡單的模型來近似其預測來解釋黑盒模型（例如，Craven和Shavlik，1995；Craven，1996），或者使用局部逼近來解釋黑盒?？山忉尩臋C器學習也有一個（獨立的）悠久而豐富的歷史，可以追溯到20世紀50年代的專家系統時代，以及決策樹的早期。雖然這些主題對一些讀者來說可能聽起來相似，但它們在實踐中有重要的不同之處。

特別是，事后解釋黑盒存在許多嚴重問題，正如一些論文所概述的，這些論文展示了為什么解釋黑盒可能是誤導的，以及為什么解釋通常不能達到預期目的（Rudin，2019；Laugel等人，2019；Lakkaraju和Bastani，2020）。最令人信服的原因如下：

• 黑盒的解釋通常存在問題并具有誤導性，可能會在黑盒模型中產生錯誤的信任。解釋中的問題出現在公平性和變量重要性評估中（Rudin等人，2020；Dimanov等人，2020），以及變量重要性的不確定性區間（Gosiewska和Biecek，2020；Fisher等人，2019）。

• 將黑盒與解釋模型結合起來進行故障排除存在總體困難；如果解釋模型并不總是正確的，就很難判斷是黑盒模型錯了，還是它是正確的而解釋模型錯了。最終，事后解釋太頻繁地是錯誤的（或誤導性的）。

• 一種稱為顯著性圖（也稱為注意力圖）的事后解釋類型在放射學和其他計算機視覺領域變得特別流行，盡管存在已知問題（Adebayo等人，2018；Chen等人，2019；Zhang等人，2019）。顯著性圖突出顯示用于預測的圖像像素，但它們并不解釋這些像素是如何使用的。作為一個類比，考慮一個房地產經紀人為房子定價。一個“黑盒”房地產經紀人會在沒有解釋的情況下提供價格。一個“顯著性”房地產經紀人會說價格是由屋頂和后院決定的，但不解釋屋頂和后院是如何用來確定價格的。相比之下，一個可解釋的經紀人會詳細解釋計算過程，例如，使用“比較”或可比屬性來解釋屋頂和后院在屬性之間的可比性，以及這些比較是如何用來確定價格的。從這個房地產的例子中，你可以看到顯著性經紀人的解釋是不充分的。

• 顯著性圖也傾向于不可靠；研究人員經常報告不同的顯著性方法提供不同的結果，使人不清楚哪一個（如果有的話）實際上代表了網絡的真實注意力。

• 鑒于它們的準確性通常不比設計良好的可解釋模型更好，黑盒通常是不必要的。因此，看似合理的解釋可能會破壞尋找與黑盒準確性相同水平的可解釋模型的努力。

• 對復雜模型的解釋掩蓋了復雜模型在實踐中由于多種原因難以使用的事實。輸入數據中的排版錯誤是這個問題的一個典型例子（如實踐中使用COMPAS，見Wexler，2017）。一個有130個手輸入的模型比涉及5個手輸入的模型更容易出錯。

從這個意義上說，可解釋性方法經常被用作使用黑盒模型的借口——無論是否真的需要?？山忉屝约夹g賦予了黑盒模型權威性，而不是建議首先使用可以理解的模型的可能性（Rudin和Radin，2019）。

到目前為止，XAI調查普遍未能承認一個重要的觀點，即在考慮完整的數據科學過程時，可解釋性帶來準確性，而不是相反。也許這一點被忽略了，因為一個更微妙的事實，即當用一個更簡單的函數來近似一個復雜的函數時，通常會損失準確性，而這些不完美的近似是XAI的基礎。（再次，近似必須不完美，否則人們會丟棄黑盒，而轉而使用解釋作為一個固有的可解釋模型。）但是在可解釋的機器學習中不使用函數近似器；與近似一個已知函數（一個黑盒機器學習模型）不同，可解釋的機器學習可以從潛在的無數個大致同樣好的模型中選擇，正如我們前面提到的，這被稱為“Rashomon集”（Breiman等人，2001；Fisher等人，2019；Semenova等人，2019）。我們將在挑戰9中討論這個集合的研究。因此，當人們解釋黑盒子時，預期會損失準確性，而當人們創建一個固有可解釋的機器學習模型時，就不會這樣。

在這次調查中，我們并不打算提供又一個“可解釋性”術語的枯燥分類?？山忉寵C器學習的概念可以用一句話來表述：可解釋的模型是受到約束的，遵循一組特定于領域的約束，使得推理過程可以理解。相反，我們強調重要的挑戰，每一個挑戰都可以作為想要進入可解釋機器學習領域的人的起點。

1 稀疏邏輯模型：決策樹、決策列表和決策集

前兩個挑戰涉及稀疏模型的優化。我們在挑戰#1中討論了稀疏邏輯模型，在挑戰#2中討論了評分系統（它們是具有整數系數的稀疏線性模型）。在特征具有意義的情況下，稀疏性通常被用作表格數據可解釋性的度量。稀疏性很有用，因為人類一次只能處理大約7±2個認知實體（Miller，1956），并且稀疏性使得故障排除、檢查排版錯誤以及推理反事實（例如，“如果我改變了這個特定的輸入，我的預測會如何改變？”）變得更加容易。稀疏性很少是可解釋性的唯一考慮因素，但如果我們可以設計出稀疏的模型，我們通?？梢蕴幚眍~外的約束。此外，如果我們可以針對稀疏性進行優化，可以為具有特定準確度水平的模型可能有多稀疏建立一個有用的基線。

我們注意到，更多的稀疏性并不總是等同于更高的可解釋性。Elomaa（1994年）和Freitas（2014年）指出，“人類天生就對復雜關系的過于簡化的表示持心理反對態度。”例如，在貸款決策中，我們可以選擇幾個稀疏的小型模型，用于信貸期限、違約歷史等，然后將它們在最后組裝成一個由小型模型的結果組成的較大模型（參見Chen等人，2021a，他們嘗試了這一點）。另一方面，稀疏性在許多實際應用中是必需的，特別是在醫療保健和刑事司法領域，從業者需要記住模型。

由涉及“如果-那么”、“或”和“與”子句的邏輯語句組成的邏輯模型是可解釋機器學習中最受歡迎的算法之一，因為它們的語句為每個預測提供了人類可理解的原因。

我們什么時候使用邏輯模型？邏輯模型通常是對具有潛在復雜交互項的分類數據進行建模的絕佳選擇（例如，“如果（女性且高血壓且先天性心臟?。?，或（男性且高血壓且中風史或年齡>70）則預測條件1 = true”）。邏輯模型也非常適用于多類問題。邏輯模型還以其對異常值的魯棒性和處理缺失數據的便利性而聞名。邏輯模型可以高度非線性，甚至稀疏非線性模型的類別也可以相當強大。

圖2展示了三種邏輯模型：決策樹、決策列表和決策集。

決策樹是樹狀結構的預測模型，每個分支節點測試一個條件，每個葉節點進行預測。決策列表，與規則列表或單面決策樹相同，由if-then-else語句組成。規則按順序嘗試，滿足的第一個規則進行預測。有時規則列表在每個分割中有多個條件，而決策樹通常沒有。決策集，也稱為“合取的析取”、“析取范式”（DNF）或“OR的ANDs”，由一組無序的規則組成，其中每個規則是條件的合取。如果有至少一個規則被滿足，就做出積極的預測。盡管這些邏輯模型看起來形式非常不同，但它們密切相關：每個決策列表都是一個（單面的）決策樹，每個決策樹都可以表示為等價的決策列表（通過將每個通往葉子的路徑列為一個決策規則）。決策樹（或決策列表）的葉子集合也形成了一個決策集。

讓我們提供一些關于決策樹的背景信息。自從Morgan和Sonquist（1963）開發了第一個決策樹算法以來，已經提出了許多工作來構建決策樹并提高它們的性能。然而，學習具有高性能和稀疏性的決策樹并不容易。完整的決策樹優化被認為是一個NP完全問題（Laurent和Rivest，1976），并且自20世紀80年代以來，啟發式貪婪分裂和剪枝程序已成為主要的方法來生長決策樹（Breiman等人，1984；Quinlan，1993；Loh和Shih，1997；Mehta等人，1996）。這些用于構建決策樹的貪婪方法從上到下創建樹，然后回過頭來修剪它們。如果進行了錯誤的分裂，它們不會回頭修復。因此，通過這些貪婪方法創建的樹往往既不準確也不那么可解釋，這是不必要的。也就是說，貪婪歸納算法并沒有被設計來優化任何特定的性能指標，導致決策樹可能獲得的性能與算法實際獲得的性能之間存在差距，并且沒有辦法確定這個差距有多大（見圖3，CART沒有獲得最優解的情況，如右側一個較新算法“GOSDT”的更好解所示）。這個差距在實踐中可能會造成問題，因為人們不知道性能不佳是由于模型形式的選擇（選擇使用特定大小的決策樹）還是優化不佳（沒有完全優化那個大小的決策樹集合）。當完全優化時，對于許多問題，單個樹可以像樹的集合或神經網絡一樣準確。因此，仔細考慮如何優化它們是值得的。

GOSDT和相關的現代決策樹方法解決的是一個優化問題，這是(1)的一個特例：

當用戶指定損失函數和權衡（正則化）參數時，就涉及到了這一問題。自20世紀90年代以來，人們一直在努力全面優化決策樹，以解決與（2）相關的問題（Bennett和Blue，1996；Dobkin等人，1997；Farhangfar等人，2008；Nijssen和Fromont，2007，2010；Hu等人，2019；Lin等人，2020）。許多近期的論文直接優化性能指標（例如準確率），同時對樹的大小施加軟性或硬性稀疏約束，其中稀疏性通過樹的葉節點數量來衡量。這些技術主要有三大類：（1）數學規劃，包括混合整數規劃（MIP）（參見Bennett和Blue，1996；Rudin和Ertekin，2018；Verwer和Zhang，2019；Vilas Boas等人，2019；Menickelly等人，2018；Aghaei等人，2020）和SAT求解器（Narodytska等人，2018；Hu等人，2020）（還可參見Carrizosa等人，2021的綜述），（2）通過樹的空間進行隨機搜索（例如Yang等人，2017；Gray和Fan，2008；Papagelis和Kalles，2000），以及（3）定制化的動態規劃算法，結合分支定界技術以減少搜索空間的大小（Hu等人，2019；Lin等人，2020；Nijssen等人，2020；Demirovic等人，2020）。

決策列表和決策集合的構建面臨著與決策樹優化相同的挑戰，并且有著平行的發展路徑。追溯到20世紀80年代，決策列表通常以自上而下的貪婪方式構建。關聯分類方法從一組預先挖掘的規則中組裝決策列表或決策集合，通常要么通過貪婪地逐條添加規則到模型中，要么簡單地將所有“得分最高”的規則納入決策集合，每條規則根據評分函數單獨評分（Rivest，1987；Clark和Niblett，1989；Liu等人，1998；Li等人，2001；Yin和Han，2003；Sokolova等人，2003；Marchand和Sokolova，2005；Vanhoof和Depaire，2010；Rudin等人，2013；Clark和Boswell，1991；Gaines和Compton，1995；Cohen，1995；Frank和Witten，1998；Friedman和Fisher，1999；Marchand和Shawe-Taylor，2002；Malioutov和Varshney，2013）。有時，決策列表或決策集合通過采樣進行優化（Letham等人，2015；Yang等人，2017；Wang和Rudin，2015a），并提供貝葉斯解釋。一些近期的研究可以同時優化決策列表（Rudin和Ertekin，2018；Yu等人，2020a；Angelino等人，2017，2018；A?vodji等人，2019）和決策集合（Wang和Rudin，2015b；Goh和Rudin，2014；Lakkaraju等人，2016；Ignatiev等人，2018；Dash等人，2018；Malioutov和Meel，2018；Ghosh和Meel，2019；Dhamnani等人，2019；Yu等人，2020b；Cao等人，2020）的性能指標和稀疏性。還有一些研究針對單獨的規則進行優化（Dash等人，2018；Rudin和Shaposhnik，2019）。

在過去的幾年里，我們在優化邏輯模型的準確性和稀疏性組合方面取得了巨大進展，但仍有許多挑戰需要解決。其中一些最重要的挑戰如下：

1.1 我們能否提高最優稀疏決策樹的可擴展性？最優決策樹方法的宏偉目標是以與CART產生其（非最優）樹一樣快的速度完全優化樹。當前最先進的最優決策樹方法在合理的時間內（例如，在10分鐘內）可以處理中等規模的數據集（數千個樣本，數十個二元變量），當使用適當的稀疏性約束時。但如何擴展以處理大型數據集或減少運行時間仍然是一個挑戰。

這些方法通常會隨著數據的維度數p呈指數級增長。通過變量篩選定理或其他方法減少維度數量的算法將極為有用。

對于使用數學規劃求解器的方法，良好的公式化是減少訓練時間的關鍵。例如，MIP求解器使用分支定界方法，該方法遞歸地劃分搜索空間，并為每個劃分求解線性規劃（LP）松弛以產生下界。具有較少變量和約束的小型公式可以使LP松弛更快地求解，而更強的LP松弛（通常涉及更多變量）可以產生高質量的下界，更快地剪枝搜索空間并減少需要求解的LP數量。如何制定問題以充分利用MIP求解器的全部功能仍是一個開放性問題。目前，數學規劃求解器的效率不如最佳定制算法。

對于像GOSDT和OSDT（Lin等人，2020；Hu等人，2019）這樣的定制化分支定界搜索算法，有幾種機制可以提高可擴展性：（1）有效的下界，這可以防止我們分支到那些我們可以證明不存在最優解的搜索空間部分；（2）有效的調度策略，這有助于我們快速搜索空間以找到接近最優的解，這反過來又可以改善界限，并再次防止我們分支到空間中無關的部分；（3）計算重用，即如果一個計算涉及（即使是略微）昂貴計算的總和，并且該總和的一部分之前已經計算并存儲過，我們可以重用之前的計算，而不是重新計算整個總和；（4）高效的數據結構用于存儲可以在后續計算中引用的子問題，以防該子問題再次出現。

1.2 我們能否高效地處理連續變量？盡管決策樹在處理分類變量和復雜交互方面比其他類型的方法（例如線性模型）更好，但決策樹算法面臨的最重要挑戰之一是如何優化連續特征。許多當前的方法使用二元變量作為輸入（Hu等人，2019；Lin等人，2020；Verwer和Zhang，2019；Nijssen等人，2020；Demirovic等人，2020），這假設連續變量已經被預先轉換為指示變量（例如，年齡 > 50）。這些方法無法同時優化在每個內部樹節點處分割的變量的選擇、該變量的分割閾值（如果是連續變量）以及樹結構（樹的總體形狀）。Lin等人（2020）通過將連續特征轉換為一組虛擬變量來預處理數據，采用許多不同的分割點；他們在訓練數據中存在的每對唯一值之間的平均值處取分割點。這樣做可以保留最優性，但會創建大量的二元特征，從而導致搜索空間的大小急劇增加，并且可能會達到時間或內存限制。Verwer和Zhang（2019）；Nijssen等人（2020）使用近似方法預處理數據，他們只考慮所有可能閾值的一個較小子集，可能會犧牲解決方案的最優性（參見Lin等人，2020，第3節，對此進行了說明）。一種可能有助于解決此問題的技術是使用由Angelino等人（2018）確定的相似支持界限，但在實踐中這些界限很難實現，因為反復檢查這些界限的計算成本很高，以至于這些界限從未被使用過（據我們所知）。未來的研究可以致力于改進何時檢查這些界限的確定，或者證明所有可能的虛擬變量的一個子集仍然可以保持接近最優性。

1.3 我們能否更優雅地處理約束條件？特別是對于使用局部決策創建樹的貪婪方法，很難在整個樹上強制執行全局約束。鑒于領域特定的約束對于可解釋性可能是必不可少的，一個重要的挑戰是如何納入這些約束。優化方法（數學規劃、動態規劃、分支定界）更適合全局約束，但約束會使問題變得更加困難。例如，下降約束（Wang和Rudin，2015a；Chen和Rudin，2018）強制規則列表中的概率遞減，這使得列表在實踐中更具可解釋性和實用性，但即使搜索空間本身變小，優化問題也變得更加困難。

示例：假設一家醫院希望創建一個決策樹，用于為患者分配醫療治療方案。樹是方便的，因為它對應于要問患者的一組問題（沿著從根到葉的路徑上的每個內部節點一個問題）。樹在處理多種醫療治療方面也很方便；每個葉甚至可以代表一種不同的醫療治療。樹還可以處理復雜的交互，患者可以被問及多個相互關聯的問題，以確定最適合患者的藥物。為了訓練這棵樹，我們做了適當的假設和數據處理，以便我們可以使用機器學習來進行因果分析（在實踐中，這些比我們在這里討論的要復雜得多）。

我們在上面討論的問題出現在變量是連續的情況下；例如，如果我們在樹的某個地方根據年齡進行劃分，那么為了創建一個稀疏的樹，最佳的劃分年齡是多少？（參見挑戰1.2。）如果我們還有許多其他連續變量（例如，血壓、體重、體質指數），如何確定如何劃分它們的可擴展性就成為一個問題。此外，如果醫院還有其他偏好，比如“概率遞減”，即應該少問幾個問題來確定患者是否屬于最緊急的治療類別，那么這又會影響我們在有限的計算資源下找到最優樹的能力（參見挑戰1.3）。

2 評分系統

評分系統是線性分類模型，要求用戶僅需對少數幾個小數字進行加、減和乘法運算，即可進行預測。這些模型被用于評估許多嚴重疾病的患病風險，因為它們允許在不使用計算機的情況下快速進行預測。此類模型在刑事司法領域也得到了廣泛應用。表2展示了一個評分系統的示例。醫生可以通過為患者的年齡、是否患有糖尿病、體質指數和性別加分，輕松判斷患者是否篩查出患有阻塞性睡眠呼吸暫停。如果得分高于某個閾值，患者將被推薦到診所進行診斷測試。

評分系統通常使用二元變量或指示變量（例如，年齡 ≥ 60）以及積分值（例如，表2），這使得人類計算得分更加容易。線性模型不像在挑戰1.1中討論的邏輯模型那樣能夠處理變量之間的交互項，而且它們對于多分類問題并不特別有用，但對于反事實推理是有用的：如果我們問“如果某人患上高血壓，什么變化可以保持他們的得分較低？”使用像“4、4、2、2 和 -6”這樣的積分值，答案將很容易計算。如果積分值是53.2、41.1、16.3、23.6 和 -61.8，這種邏輯對于人類來說就更難處理了。

風險評分系統是一種特殊的評分系統，它通過轉換表將評分與概率相對應。例如，總評分為1分可能對應15%的概率，2分對應33%的概率，以此類推。與具有閾值的評分系統（如表2所示）不同，風險評分系統的性能通常通過ROC曲線下面積（AUC）和校準度來衡量。

評分系統的開發可以追溯到20世紀20年代的刑事司法工作。此后，許多評分系統被設計用于醫療保健領域。然而，這些評分系統并非通過純粹的數據驅動算法優化而來，而是采用了不同的方法和啟發式規則。有些評分系統僅基于領域專業知識構建，而有些則是通過對邏輯回歸系數進行四舍五入等手動特征選擇方法來獲得整數值的評分。

評分系統可以通過結合用戶偏好（和約束條件）以及數據進行優化，這種優化最好由計算機完成，讓領域專家只需定義問題即可。然而，同時優化預測性能、稀疏性以及其他用戶約束可能并非易事。公式（3）展示了一個用于創建評分系統的通用優化問題示例。

理想情況下，用戶會指定損失函數（分類損失、邏輯損失等）、非零系數數量與訓練損失之間的權衡參數C，以及可能的其他一些約束條件，具體取決于應用領域。

系數的整數約束使得優化問題變得非常困難。滿足這些約束條件的最簡單方法是先擬合實數系數（例如，運行邏輯回歸，可能帶有正則化），然后將這些實數系數四舍五入為整數。然而，四舍五入可能會與損失梯度背道而馳，從而破壞預測性能。以下是一個系數向量的例子，說明為什么四舍五入可能行不通：

在進行四舍五入時，我們會失去除前兩個變量之外所有變量所傳遞的信號。盡管每個單獨的系數都很小，但被排除的變量的貢獻加在一起可能仍然是顯著的，這種情況下，我們就會損失預測性能。

四舍五入帶來的問題還在于，`1正則化會在非常稀疏的問題中引入強烈的偏差。要理解這一點，可以考慮正則化參數必須設置為一個非常大的數值，才能得到一個非常稀疏的解。在這種情況下，`1正則化不僅使解變得稀疏，還施加了一個強烈的`1偏差。隨著解變得越來越稀疏，解的質量會逐漸惡化，而將解四舍五入為整數只會讓情況變得更糟。

當嘗試加入額外的約束條件時，問題會變得更加復雜，正如我們在（3）中提到的。即使是像“在優化召回率時確保精確度至少為20%”這樣簡單的約束條件，僅靠四舍五入也很難手動滿足。構建評分系統主要有四種方法：i）使用優化技術的精確解法；ii）使用線性規劃的近似算法；iii）更復雜的四舍五入技術；iv）計算機輔助探索技術。

精確解法 目前有幾種方法可以直接求解（3）（Ustun等人，2013；Ustun和Rudin，2016，2017，2019；Rudin和Ustun，2018）。到目前為止，最有希望的方法是使用混合整數線性規劃求解器（MIP求解器）。這些是通用的優化軟件包，用于處理線性方程組，其中變量可以是線性或整數的。商業MIP求解器（目前是CPLEX和Gurobi）比免費的MIP求解器快得多，并且提供免費的學術許可。當問題規模不大且損失函數是離散或線性時（例如，分類誤差是離散的，因為它取值為0或1），可以直接使用MIP求解器。這些求解器非常靈活，能夠輕松處理各種用戶定義的約束條件。然而，當損失函數是非線性的，例如經典的邏輯損失 時，MIP求解器不能直接使用。對于使用邏輯損失的這個問題，Ustun和Rudin（2019）創建了一種名為RiskSLIM的方法，該方法使用了復雜的優化工具：在分支定界框架內使用割平面技術，并使用“回調”函數與MIP求解器交互。評分系統的一個主要優勢是它們可以在高風險場景中作為決策輔助工具；RiskSLIM已被用于創建一個模型（2HELPS2B評分），該模型在醫院的重癥監護病房中用于對危重病患者做出治療決策（Struck等人，2017）。

盡管精確優化方法能夠提供最優解，但它們在處理更大規模問題時會遇到困難。例如，為了處理連續協變量中的非線性，這些變量通常通過在所有可能的協變量值處分割來離散化，形成虛擬變量（類似于上面討論的邏輯模型構建中處理連續變量的方式，例如，為年齡<30、年齡<31、年齡<32等創建虛擬變量）。顯然，這樣做可能會將少量的連續變量變成大量的分類變量。一種減少問題規模的方法是只使用部分閾值（例如，年齡<30、年齡<35、年齡<40等），但如果包含的閾值不夠多，可能會損失精度。在這種情況下，近似方法可能會很有價值。

近似方法 Sokolovska等人（2018，2017）、Billiet等人（2018，2017）和Carrizosa等人（2016）的研究解決了（3）的近似版本。這些研究通常使用分段線性或分段常數損失函數，有時使用`1范數作為正則化項，以替代項數。這使得可以使用數學規劃求解器求解線性規劃，這通常是計算高效的，因為線性規劃的求解速度比混合整數規劃快得多。近似方法的主要問題是，不清楚近似優化問題的解與實際優化問題的解有多接近，特別是當需要用戶定義的約束或偏好時。這些約束中的一些可能可以放入數學規劃中，但仍然不清楚所求解的優化問題的解是否實際上接近我們真正關心的優化問題的解。

還可以使用采樣來嘗試找到有用的評分系統，這對于貝葉斯解釋可能很有用，盡管評分系統的空間可能非常大且難以采樣（Rudin和Ertekin，2018）。

復雜的四舍五入方法 盡管前面討論了四舍五入的缺點，但復雜的四舍五入方法仍有一些顯著的優勢，即它們易于編程且在實踐中易于使用。四舍五入技術難以適應約束條件，但它們可以用于沒有約束的問題，或者約束條件足夠寬松以至于四舍五入不會違反它們的問題，甚至可以在像RiskSLIM（Ustun和Rudin，2019）這樣的算法中間使用，以幫助更快地找到最優解。復雜的四舍五入有幾種變體。Chevaleyre等人（2013）提出了隨機四舍五入，其中非整數隨機向上或向下取整。他們還提出了一種貪婪方法，其中系數之和是固定的，系數逐個取整。Sokolovska等人（2018）提出了一種算法，通過在每次迭代中改進解，直到無法進一步改進為止，從而找到局部最小值。Ustun和Rudin（2019）提出了一種四舍五入和“拋光”的組合方法。他們的四舍五入方法稱為順序四舍五入（Sequential Rounding）。在每次迭代中，順序四舍五入選擇一個系數進行取整，并決定是向上還是向下取整。它通過評估每個可能的系數向上和向下取整的情況，并選擇目標函數值最佳的選項來做出這種選擇。在順序四舍五入生成整數系數向量后，使用第二種算法，稱為離散坐標下降（Discrete Coordinate Descent，DCD），來“拋光”取整后的解。在每次迭代中，DCD選擇一個系數，并在其整數值集合上優化其值，以獲得具有更好目標函數值的可行整數解。所有這些算法都易于編程，可能比調試MIP或LP求解器更容易處理。

計算機輔助探索技術 這些是設計界面，領域專家可以在其中直接修改模型本身，而不是依賴優化技術來編碼約束條件。Billiet等人（2018，2017）創建了一個工具箱，允許用戶對模型進行手動調整，這可能有助于用戶根據某些類型的偏好設計可解釋的模型。Xie等人（2020）也建議采用專家參與的方法，其中可以使用諸如基尼分裂標準之類的啟發式方法來幫助離散化連續變量。同樣，采用這些方法時，領域專家必須清楚地知道他們希望模型如何依賴其變量，而不是考慮整體性能優化。

2.1 提高最優稀疏評分系統的可擴展性：如前所述，對于評分系統而言，目前唯一實際可行的生成最優評分系統的方法需要依賴混合整數規劃（MIP）求解器。然而，這些方法可能無法擴展到大規模問題，或者無法有效地處理連續變量。當前最先進的最優評分系統方法（如RiskSLIM）能夠在大約一小時內處理包含數千個樣本和數十個變量的數據集。然而，如果需要多次調整約束條件并重新運行模型，一小時的時間仍然過長。如何擴展到大規模數據集或減少求解時間仍然是一個挑戰，尤其是在包含復雜約束集的情況下。

2.2 約束條件的易用性和處理：由于領域專家通常無法提前知曉他們可能希望使用的全部約束條件，并且他們可能還希望手動調整模型，因此一種更全面的評分系統設計方法可能會更有用?？梢酝ㄟ^多種方式將領域專家的反饋納入評分系統設計問題中。例如，如果能夠更好地表示和探索Rashomon集合（見挑戰9），領域專家或許能夠在不擔心離開該集合并產生次優模型的情況下，在其中有效地進行搜索。如果能夠了解領域專家對特征重要性的看法，我們應能夠通過正則化將其納入模型。更好的界面或許能夠從領域專家那里獲取更好的約束條件，并將其納入模型中。為評分系統開發更快的優化方法將允許用戶更快地創建這些模型，實現交互式建模。

示例：一位醫生希望創建一個用于預測危重病患者癲癇發作的評分系統（類似于Struck等人，2017）。醫生有超過70個臨床變量，其中一些是連續變量（例如患者年齡）。醫生為年齡和其他連續特征創建虛擬變量，將它們與已經二值化的變量結合起來，運行`1正則化的邏輯回歸并四舍五入系數。然而，生成的模型看起來并不合理，因為它只使用了一個特征，且準確率不高。醫生認為模型應該更多地依賴年齡，并且當真正率為70%以上時，假正率應低于20%（見挑戰2.2）。醫生下載了一款用于開發評分系統的軟件。該軟件顯示，提升決策樹模型的準確率要高得多，并且存在一組評分系統，其準確率與提升樹大致相同。其中一些模型沒有使用年齡，且違反了醫生的其他約束條件，因此這些約束被添加到系統中，限制了其搜索范圍。醫生使用系統提供的內置工具查看模型，并手動調整模型對年齡和其他重要變量的依賴關系，同時保持預測能力。理想情況下，整個過程從開始到結束只需幾個小時（見挑戰2.1）。最后，醫生將生成的模型帶到診所，在模型未訓練過的數據上進行驗證研究，該模型最終被作為醫生的決策輔助工具正式投入使用。

3 廣義加性模型

廣義加性模型（Generalized Additive Models，GAM）是由Hastie和Tibshirani于1990年提出的一種靈活的廣義線性模型（Generalized Linear Models，GLM）的擴展。它允許使用任意函數來建模每個特征對響應變量的影響。GAM的集合包括加性模型的集合，而加性模型又包括線性模型的集合，線性模型則包括評分系統（以及風險評分）。圖4展示了這些關系。

有許多不同的方法可以擬合廣義加性模型。傳統的方法是使用回溯法（backfitting），我們迭代地訓練一個組成部分函數，使其盡可能地擬合其他（已經選定的）組成部分的殘差（Hastie和Tibshirani，1990）。如果模型是使用提升方法擬合的（Freund和Schapire，1997；Friedman，2001，2002），我們在每次迭代中對每個單一特征學習一棵樹，然后將它們聚合在一起（Lou等人，2012）。在不同的組成部分函數估計和擬合程序中，Binder和Tutz（2008）發現，在高維設置中，提升方法表現得特別好，而Lou等人（2012）發現，在隨機梯度提升的每一步中，使用淺層裝袋樹的集合對單一特征進行建模，通常能夠獲得更好的性能。

我們指出，廣義加法模型的優勢在于它們非常強大，特別是如果它們被訓練成提升樹樁或樹，這些是可靠的開箱即用的機器學習技術。AdaBoost算法還有一個優勢，即它同時最大化了分類誤差和ROC曲線下面積（AUC）的凸代理（Rudin和Schapire，2009；S?eyda Ertekin和Rudin，2011）。這種聯系解釋了為什么提升模型往往既有高AUC又有高準確率。然而，提升模型本身并不是稀疏的，并且在`1正則化下會出現偏差問題，正如在評分系統部分所討論的那樣。

我們提出了兩個與廣義加性模型相關的有趣挑戰：

3.2 如何利用廣義加性模型（GAMs）排查復雜數據集的問題？ 廣義加性模型通常應用于原始醫療記錄或其他復雜數據類型，而這些數據集很可能從排查問題中受益。利用廣義加法模型，我們可能會發現一些違反直覺的模式；例如，正如Caruana等人（2015）所展示的，在一項健康結果研究中，哮喘患者的狀況比非哮喘患者更好。Caruana等人（2015）為這一發現提供了一個可能的原因，即哮喘患者的自然風險更高，因此得到了更好的護理，從而導致觀察到的風險更低。醫療記錄以遺漏重要信息或提供有偏見的信息（例如賬單代碼）而聞名。廣義加性模型能否幫助我們識別重要的缺失混雜因素，例如退休效應或對哮喘患者的特殊治療？廣義加性模型能否幫助我們協調來自多個數據存儲環境的醫療記錄？這些數據質量問題可能非常重要。

示例：假設一位醫學研究者有一堆原始的醫療記錄，希望預測肺炎患者的死亡風險。這些數據具有挑戰性，包括缺失的測量值（結構性缺失以及數據缺失并非隨機，以及未觀察到的變量）、無法準確反映患者發生了什么或他們的狀態的保險代碼等。然而，研究者認為數據中存在足夠的信號，如果使用強大的機器學習方法（例如用提升樹訓練的廣義加性模型），它可能會對預測有用。此外，還有幾個重要的連續變量，例如年齡，可以進行可視化。由于醫生可以可視化每個組成部分函數，因此具有少量組成部分函數的廣義加性模型可能是合適的。如果組成部分函數過多（沒有稀疏性控制的廣義加性模型），分析它們的所有貢獻可能會讓人不知所措（見挑戰3.1）。如果研究者能夠控制組成部分函數的稀疏性、平滑性和單調性，她可能能夠設計出一個不僅預測效果好，還能揭示觀測變量與結果之間有趣關系的模型。該模型還可以幫助我們確定是否遺漏了重要的變量，或者變量是否被記錄得不一致或不正確，并且可以幫助識別關鍵風險因素（見挑戰3.2）。

從那里開始，研究者可能希望開發更簡單的模型，例如決策樹或評分系統，以便在診所中使用（見挑戰1和2）。

4 現代基于案例的推理

基于案例的推理是一種范式，涉及使用類似過去問題的已知解決方案來解決新問題（Aamodt和Plaza，1994）。這是一種我們在人類決策過程中自然使用的問題解決策略（Newell等人，1972）。例如，當鳥類學家對一只鳥進行分類時，他們會尋找鳥的特定特征或模式，并將其與已知鳥類物種的特征進行比較，以決定這只鳥屬于哪個物種。一個有趣的問題是：機器學習算法能否模仿我們人類習慣的基于案例的推理過程？執行基于案例推理的模型是很有吸引力的，因為通過模仿人類的推理方式，模型可以以一種可解釋的方式解釋其決策過程。

基于案例的推理的潛在用途極為廣泛：前面提到的挑戰僅適用于表格數據，而基于案例的推理既適用于表格數據，也適用于原始數據，包括計算機視覺。對于計算機視覺和其他原始數據問題，我們會區分特征提取和預測步驟。雖然人類可能無法完全理解從原始圖像到特征（或概念）空間的完整映射，但人類可能能夠視覺驗證某個可解釋的概念/特征是否已從圖像中提取出來。在此步驟之后，特征/概念被組合以形成預測，這通常是通過稀疏線性組合或其他人類可以理解的計算方式完成的。

基于案例的推理一直是人工智能（AI）社區長期關注的主題（Riesbeck和Schank，1989；Kolodner，1988；Hammond，1989）。一般來說，基于案例的推理技術有兩種類型：（i）基于最近鄰的技術，以及（ii）基于原型的技術，如圖6所示。每種類型都有許多變體。

基于最近鄰的技術。這些技術通過找到與特定測試實例最相似的訓練實例（即，與測試實例具有最小“距離”或最大“相似性”度量的訓練實例）來為以前未見過的測試實例做出決策。基于最近鄰技術的經典示例是k最近鄰（kNN）（Fix和Hodges，1951；Cover和Hart，1967）。傳統上，kNN分類器是非參數化的，并且根本不需要訓練——對于以前未見過的測試實例，kNN分類器會找到與測試實例具有最小`2距離的k個訓練實例，并預測測試實例的類別標簽為這k個訓練實例的多數標簽。在20世紀70年代和80年代，人們開發了許多原始kNN分類方案的變體（Dudani，1976；Fukunaga和Hostetler，1973；Keller等人，1985；Bezdek等人，1986）。一些后來關于基于最近鄰的技術的論文關注于“自適應kNN”的問題，其目標是學習一個合適的距離度量來量化任意一對輸入實例之間的不相似性（而不是使用預先確定的距離度量，例如歐幾里得`2距離度量），以提高基于最近鄰的技術的性能。例如，Weinberger和Saul（2009）提出了一種為kNN學習參數化距離度量（例如馬氏距離度量中的矩陣）的方法。他們的方法涉及最小化訓練數據上的損失函數，使得對于每一個訓練實例，該訓練實例與其“目標”鄰居（同類）之間的距離被最小化，而該訓練實例與其“冒名頂替者”鄰居（來自其他類別）之間的距離被最大化（直到這些鄰居至少距離訓練實例1個單位遠）。最近，一些研究開始關注“在學習到的潛在空間中執行kNN”，其中潛在空間通常是使用深度神經網絡學習的。例如，Salakhutdinov和Hinton（2007）提出使用深度神經網絡學習一個非線性變換，將輸入空間轉換為一個特征空間，在這個特征空間中，kNN分類器將表現良好（即，深度kNN）。Papernot和McDaniel（2018）提出了一種深度kNN分類算法，該算法使用訓練好的神經網絡的每一層隱藏層中的k個最近鄰來對測試實例進行分類。Card等人（2019）引入了一種深度加權平均分類器，該分類器根據輸入在潛在空間中與其他訓練樣本的距離來進行分類。

基于原型的技術。盡管最近鄰技術很受歡迎，但這些技術通常需要大量的距離計算（例如，找出測試輸入的最近鄰），在實踐中可能會很慢。此外，最近鄰可能并不是一個類別的特別好的代表，因此關于最近鄰的推理可能并不具有可解釋性。基于原型的技術是最近鄰技術的一種替代方法，它沒有這兩個缺點。基于原型的技術從訓練數據中學習一組用于比較的典型案例。對于以前未見過的測試實例，它們通過找到最類似于特定測試實例的典型案例（而不是整個訓練集中的訓練實例）來做出決策。最早期的原型學習技術之一是學習矢量量化（LVQ）（Kohonen，1995）。在LVQ中，每個類別由一個或多個原型表示，并且點被分配給最近的原型。在訓練期間，如果訓練樣本的類別與最近原型的類別一致，則將原型移向訓練樣本；否則，將原型移離訓練樣本。在最近的研究中，原型學習也是通過解決一個離散優化程序來實現的，該程序根據某些訓練目標從一組訓練實例中選擇“最佳”原型。例如，Bien和Tibshirani（2011）將原型學習問題表述為一個集合覆蓋整數規劃（一個NP完全問題），可以使用標準近似算法（如松弛-舍入和貪婪算法）來解決。Kim等人（2016）將原型學習問題表述為一個最小化平方最大均值差異的優化程序，這是一個次模優化問題，可以使用貪婪算法近似求解。

基于部分的原型。最近鄰技術和原型技術都會出現的一個問題是將整個觀測與另一個整個觀測進行比較。例如在圖像中，有些方面可能與已知過去的圖像相似，但其他方面可能與另一幅圖像相似，這種比較幾乎沒有意義。例如，我們考慮建筑的風格：雖然一座建筑的一些建筑元素可能類似于一種風格，但其他元素可能類似于另一種風格。另一個例子是食譜。一個帶有草莓醬的芝士蛋糕食譜可能需要部分草莓煎餅食譜，因為典型的草莓醬準備方法是如此，而芝士蛋糕部分的食譜可以遵循傳統的普通芝士蛋糕食譜。在這種情況下，將草莓芝士蛋糕食譜與煎餅食譜和普通芝士蛋糕食譜進行比較更有意義。因此，一些較新的基于案例的推理方法通過在特征子集上創建比較，將觀測的部分與其他觀測的部分進行比較。這使得基于案例的推理技術更具靈活性和可解釋性。

Kim等人（2014）使用貝葉斯生成框架為結構化（表格）數據制定了一個基于原型部件的學習問題。他們在實驗中考慮了上述的食譜示例。Wu和Tabak（2017）使用訓練實例的凸組合來表示一個原型，其中原型不一定需要是訓練集的成員。對于某些數據類型（例如，表格數據，其中真實訓練樣本的凸組合可能類似于一個真實的觀測值），使用訓練樣本的凸組合作為原型是合適的，但對于圖像來說，對潛在空間中單元的潛在位置進行平均可能不會對應于一個看起來真實的圖像，這意味著原型可能看起來不像一個真實圖像，這可能是這種類型方法的一個劣勢。

最近，有研究將深度學習與基于原型和原型部件的分類相結合。Li等人（2018）首次在圖像分類中探索了這一想法。在這項工作中，Li等人創建了一個包含自編碼器和一個特殊原型層的神經網絡架構，其中該層的每個單元（即，一個原型）存儲一個類似于某些編碼訓練輸入的權重向量。給定一個輸入實例，網絡將編碼的輸入實例與學習到的原型（存儲在原型層中）進行比較，這些原型可以通過解碼器進行可視化。網絡的預測基于編碼輸入實例與學習到的原型之間的`2距離。作者將該網絡應用于手寫數字識別（MNIST，LeCun等人，2010），該網絡能夠學習人類手寫數字的典型案例。給定一個手寫數字的測試圖像，網絡還能夠找到與測試數字相似的典型案例（圖7（a））。

更近一步，Chen等人（2019）擴展了Li等人（2018）的工作，創建了一個原型部件網絡（ProtoPNet），其原型層存儲編碼訓練圖像的典型部件。這些典型部件是卷積神經網絡編碼訓練圖像的補丁，代表了各種圖像類別中觀察到的典型特征。給定一個輸入實例，網絡將編碼的輸入圖像與每個學習到的典型部件進行比較，并生成一個原型激活圖，該圖指示與典型部件最相似的圖像補丁的位置和程度。作者將該網絡應用于Caltech-UCSD Birds-200-2011（CUB-200-2011）基準數據集（Wah等人，2011），用于鳥類識別，ProtoPNet能夠學習200種鳥類的典型部件，并使用這些原型以與不可解釋的黑箱模型相當的準確率對鳥類進行分類。給定一個鳥類的測試圖像，ProtoPNet能夠找到與測試圖像各個部分相似的典型部件，并為其預測提供解釋，例如“這只鳥是灰麻雀，因為它的頭部看起來像灰麻雀的典型頭部，它的翼條看起來像灰麻雀的典型翼條”（圖7（b））。在他們的工作中，Chen等人還移除了解碼器，而是引入了原型投影，將每個典型部件推向同一類別中最近的編碼訓練補丁以進行可視化。這提高了學習到的原型的可視化質量（與Li等人2018的方法相比，后者使用了解碼器）。

Li等人（2018）和Chen等人（2019）的工作已經在深度基于案例的推理和深度原型學習領域得到了擴展。在圖像識別領域，Nauta等人（2020a）提出了一種方法，用于解釋原型（在訓練好的ProtoPNet中）正在尋找什么樣的視覺特征；Nauta等人（2020b）提出了一種基于原型層學習神經原型樹的方法；Rymarczyk等人（2020）提出了ProtoPNet中原型的數據依賴性合并修剪，以允許在不同類別中激活相似外觀部件的原型被修剪并在這些類別中共享。在序列建模領域（例如自然語言處理），Ming等人（2019）和Hong等人（2020）借鑒了Li等人（2018）和Chen等人（2019）的概念，并將原型學習整合到循環神經網絡中，用于建模序列數據。Barnett等人（2021）擴展了Chen等人（2019）的想法，并開發了一個用于可解釋計算機輔助數字乳腺X線攝影的應用程序。

盡管最近取得了進展，但在基于案例的推理領域仍存在許多挑戰，包括：

4.1 如何將現有的基于案例的推理方法擴展到處理更復雜的數據，例如視頻？目前，基于案例的推理方法已被用于結構化（表格）數據、靜態圖像和簡單的序列（如文本）。然而，將現有的基于案例的推理方法擴展到處理更復雜的數據（例如視頻數據）仍然是一個挑戰。視頻數據是靜態圖像的序列，盡管Trinh等人（2021）最近擴展了Chen等人（2019）的想法，開發了一種動態原型網絡（DPNet），該網絡可以從深度偽造和真實視頻中學習典型的視頻片段，但如何高效地比較各種視頻并找到相似的視頻（無論是基于最近鄰還是基于原型的分類）仍然是基于案例的視頻分類任務中的一個開放性問題。在視頻數據上進行基于案例的推理在技術上具有挑戰性，因為輸入數據的維度很高。另一方面，視頻是幀的有序組合，我們可以利用數據的序列特性。例如，當前算法可以通過來自鄰近視頻幀的更多信息進行改進；是否可以從鄰近幀或幀的部分設計原型？

4.2 如何將先驗知識或人類監督整合到原型學習中？

目前的原型學習方法并未考慮先驗知識或專家意見。有時，開發與人類專家合作選擇典型案例或典型特征的原型學習算法可能具有優勢。例如，在醫療保健領域，如果一個基于原型的分類器能夠在人類醫生的監督下學習癌癥生長的典型跡象，這將是有益的。例如，醫生可能會修剪原型、設計它們，或者指定原型應關注的感興趣區域。這種人機協作將提高分類器的準確性和可解釋性，并可能減少訓練模型所需的數據量。然而，人機協作在原型學習或基于案例的推理中很少被探索。

4.3 如何排查訓練好的基于原型的模型以提高原型的質量？

基于原型的模型根據與學習到的原型的相似性做出決策。然而，有時原型可能沒有被學習得很好，也就是說，它們可能沒有捕捉到一個類別的最具代表性的特征。這對于基于部分的原型模型尤其成問題，因為這些模型通過比較它們認為重要的特征子集來進行推理。在一個具有“無效”原型的（基于部分的）原型模型中，這些原型捕捉到了非代表性的或不期望的特征（例如，醫學圖像中的文本，這些文本可能代表了提高訓練準確率但不提高測試準確率的信息），一種“修復”模型的方法是去掉無效的原型，但這可能會導致不同類別之間原型數量的不平衡，并對那些擁有大量原型的類別產生偏差。另一種解決方案是將每個不期望的原型替換為不涉及不期望特征的不同原型。這里的挑戰在于，我們如何系統地替換不期望的原型而不損害模型性能，并且同時逐步改進給定的模型，而無需從頭開始重新訓練模型。

示例 假設一位醫生希望評估患者患乳腺癌的風險。用于預測乳腺癌惡性的數據集通常包含一組乳腺X光片和一組患者特征（例如年齡）。對于特定患者，我們如何從在不同時間拍攝的一系列乳腺X光片中描述癌癥生長的典型跡象（這類似于視頻，見挑戰4.1）？醫生如何通過告訴基于原型的模型哪些（圖像/患者）特征是乳腺癌的典型特征來監督原型學習（挑戰4.2）？如果訓練好的模型包含乳腺X光片中的“文本”原型（這種文本可能是醫生的筆記或留在某些訓練圖像上的患者ID），我們如何用更具醫學相關性的另一個原型替換不想要的原型，而無需從頭開始重新訓練模型（挑戰4.3）？

5 神經網絡的完全監督解耦

深度神經網絡（DNNs）在許多重要任務中已經達到了最先進的預測性能（LeCun等人，2015）。深度神經網絡是典型的“黑箱”，因為其隱藏層中的計算通常是難以理解的。因此，有許多研究試圖以各種方式“解耦”深度神經網絡，以便更容易理解信息在網絡中的流動。“解耦”在這里指的是信息在網絡中的傳播方式：我們可能更希望關于一個特定概念（比如“燈具”）的所有信息通過網絡的一個部分傳播，而關于另一個概念（例如，“飛機”）的信息通過另一個部分傳播。因此，解耦是對神經元的可解釋性約束。例如，假設我們希望第 l 層中的神經元“neur”與概念 c 對齊，那么解耦約束是：

其中，Signal(c, x) 表示概念 c 通過 x 傳遞的信號，用于度量二者之間的相似性。該約束意味著，在第 l 層中，與概念 c 相關的所有信號僅通過神經元 neur 傳遞。換句話說，通過這些約束，我們可以讓網絡具備科學家長期在真實和人工卷積神經網絡中尋找的“祖母神經元”（Grandmother node）（Gross, 2002）。

在這一挑戰中，我們探討了是否有可能完全解纏深度神經網絡，使得網絡中的每個神經元都能表示一個可被人類理解的概念。

由隱藏層神經元的激活值構成的向量空間被稱為深度神經網絡（DNN）的潛在空間。圖8展示了一個理想的可解釋潛在空間可能是什么樣子。潛在空間的軸與單獨的視覺概念對齊，例如“燈具”“床”“床頭柜”“窗簾”。需要注意的是，“視覺概念”不僅限于物體，還可以是場景中的天氣或材料等事物。我們希望關于某個概念的所有信息都通過該概念對應的神經元傳遞到最終預測中。例如，只有當網絡認為輸入圖像包含關于燈具的信息時，“燈具”神經元才會被激活。這種表示方式使得深度神經網絡的推理過程更容易理解：圖像被分類為“臥室”，因為它包含“床”和“燈具”的信息。

由不相交的數據生成因子組成的這種潛在空間是一個解耦的潛在空間（Bengio，2009；Higgins等人，2018）。創建一個解耦的潛在空間的一個簡單方法是為每個概念創建一個分類器（例如，創建一個燈具分類器），但這不是一個好策略：網絡可能只需要燈具的光，而不是實際的燈具主體，因此創建一個燈具分類器實際上可能會降低性能。相反，我們希望鼓勵關于一個概念所使用的的信息沿著網絡中的一條路徑傳遞。

在標準神經網絡中，解耦并不是有保證的。實際上，關于任何概念的信息都可能分散在整個標準DNN的潛在空間中。例如，對標準卷積神經網絡的神經元進行事后分析（Zhou等人，2018a，2014）表明，完全不相關的概念可能會在同一個軸上被激活，如圖9所示。即使我們在潛在空間中創建一個指向單個概念的向量（如Kim等人，2018；Zhou等人，2018b中所做），該向量也可能在多個概念上高度激活，這意味著兩個概念的信號沒有解耦。從這個意義上說，潛在空間中的向量是“不純的”，因為它們并不自然地代表單個概念（詳見Chen等人，2020的詳細討論）。

5.1 如何使DNN的一整層可解釋？ 當前的方法可以使單層中的神經元可解釋，但它們都有局限性。Koh等人（2020）、Losch等人（2019）和Adel等人（2018）嘗試直接在潛在空間中學習概念分類器。然而，正如Chen等人（2020）所討論的，對概念的良好區分能力并不能保證概念分離和解耦。也就是說，我們很容易讓網絡正確分類所有概念，以及整體分類任務，但這并不意味著關于每個概念的信息流只通過網絡中該概念指定的路徑；不同概念節點的激活可能仍然相關。前面討論的方法，即Chen等人（2020）的方法，可以完全解耦潛在空間以應對少數預定義的概念。但如果我們想解耦一層中的所有神經元，它也有兩個缺點：（i）此方法目前有一組不受約束的神經元用于處理殘差信息，這意味著它并沒有解耦一層中的所有神經元，只是其中的一部分；（ii）它需要加載所有目標概念的樣本來訓練潛在空間。如果要解耦的層包含500個神經元，我們需要加載所有500個概念的樣本，這需要很長時間。也許后一個問題可以通過在每次迭代中用一小部分隨機概念進行訓練來解決；但在本文撰寫時，當前方法尚未嘗試過這種方法。第一個問題可能可以通過使用挑戰6中的無監督概念檢測器，并讓人類與概念互動以確定每個概念是否可解釋來解決。

5.2 如何同時解耦DNN的所有神經元？ 當前的方法最多嘗試解耦DNN中的一層（即，它們只嘗試上面討論的問題）。這意味著我們只能解釋那一層中的神經元，而其他層中神經元的語義含義仍然未知。理想情況下，我們希望能夠完全理解和修改網絡中所有神經元的信息流動。由于許多顯而易見的原因，這是一個具有挑戰性的任務，第一個原因是實際上很難定義所有這些概念可能是什么。我們需要一組全面的人類可解釋的概念，而這很難找到、創建，甚至難以參數化。即使我們有了這樣完整的集合，我們可能也不希望手動指定網絡的哪一部分將與這些眾多概念中的每一個解耦。例如，如果我們試圖在所有層中解耦同一組概念，這將立即出現問題，因為DNNs本質上是層次化的：高層次的概念（物體、天氣等）在更深層中學習，而更深層利用在較低層中學習的低層次概念（顏色、紋理、物體部件等）。顯然，像“戶外天氣”這樣的復雜概念不能在網絡的早期層中很好地學習，因此高層次的概念可能被保留給更深的層。因此，我們還需要知道概念的層次結構，以便將它們放在正確的層中。手動定義概念層次結構幾乎是不可能的，因為可能有成千上萬的概念。但如何自動化它也是一個挑戰。

5.3 如何選擇用于解耦的良好概念？ 在監督解耦中，概念是手動選擇的。為了從模型中獲得有用的見解，我們需要良好的概念。但在特定應用領域中，什么是良好的概念呢？例如，在醫療應用中，過去的工作大多使用數據集中已經存在的臨床屬性。然而，Chen等人（2020）發現，ISIC數據集中的屬性可能缺少模型用于分類病變惡性程度的關鍵概念。主動學習方法在與領域專家合作創建和提煉概念方面可能非常有幫助。

此外，學習具有連續值的概念也很具挑戰性。這些概念在特定應用中可能很重要，例如在醫療應用中患者的年齡和腫瘤的大小。當前的方法要么通過一組代表性樣本來定義一個概念，要么將概念視為一個二元變量，而這兩者都是離散的。因此，對于連續概念，一個挑戰是如何選擇良好的閾值，將連續概念轉化為一個或多個二元變量。

示例：假設機器學習從業者和醫生希望在X光數據上構建一個監督解耦的DNN，以檢測和預測關節炎。首先，他們旨在選擇一組由醫生評估的相關概念（挑戰5.3）。他們還應該選擇閾值，將連續概念（例如，年齡）轉化為二元變量，以創建概念數據集（挑戰5.3）。使用概念數據集，他們可以使用概念白化（Chen等人，2020）等監督解耦方法來構建一個解耦的DNN。然而，如果他們在神經網絡中選擇了解耦過多的概念，從所有概念數據集中加載樣本可能需要很長時間（挑戰5.1）。此外，醫生可能選擇了不同層次的概念，例如骨刺（高層次）和關節形狀（低層次），并且他們希望低層次的概念由早期層中的神經元解耦，高層次的概念在更深層中解耦，因為這些概念根據醫學知識具有層次結構。然而，當前的方法只允許將它們放在同一層（挑戰5.2）。最后，所有前面的步驟只能使DNN潛在空間中的神經元與醫學概念對齊，而這些概念如何組合以預測關節炎仍然不可解釋（挑戰5.4）。

6 神經網絡的無監督解耦

無監督解耦的主要動機與挑戰5相同，即讓信息在網絡中的流動更容易理解和交互。但在我們不知道概念，或者概念數量眾多且不知道如何對其進行參數化的情況下，我們無法使用挑戰5中的技術。換句話說，約束（5）中的概念 c 不再是我們預先定義的概念，但它仍然必須是現有概念宇宙中的一個實際概念。有些情況下概念實際上是未知的；例如，在材料科學中，概念（如材料單元格中的關鍵幾何模式）通常尚未預先定義。還有一些情況下概念通常是已知的，但數量太多難以處理；一個關鍵的例子是自然圖像的計算機視覺。盡管我們可以為自然場景中存在的許多概念命名，但計算機視覺的標記數據集存在嚴重的標記偏差：我們傾向于只標記對特定任務（例如，目標檢測）有用的圖像中的實體，從而忽略了圖像中發現的大部分信息。如果我們能夠有效地進行無監督解耦，我們可以糾正由人類偏差引起的問題，并可能在未開發的領域中進行科學發現。例如，一個無監督解耦的神經網絡可以用來發現材料中的關鍵模式，并描述它們與材料物理性質的關系（例如，“材料是否允許光通過？”）。圖10展示了這樣一個神經網絡，其潛在空間完全解耦并與發現的關鍵模式對齊，而無需監督：在潛在空間中，每個神經元對應一個關鍵模式，關于該模式的所有信息都通過相應的神經元流動。分析這些模式對預測期望物理性質的貢獻，可以幫助材料科學家理解什么與物理性質相關，并為設計新材料提供見解。

與深度神經網絡的無監督解耦相關的多個研究方向，我們將描述其中一些。

深度生成模型中的解耦表示：生成模型的解耦已經研究了很長時間（Schmidhuber，1992；Desjardins等人，2012）。深度生成模型，如生成對抗網絡（GANs，Goodfellow等人，2014）和變分自編碼器（VAE，Kingma和Welling，2013），試圖學習從一個概率分布中的點到另一個概率分布中的點的映射。第一個分布是潛在空間中的點，這些點是根據以零為中心的高斯分布獨立同分布選擇的。第二個分布是數據來源的空間（例如，自然圖像空間中的隨機自然圖像）。潛在特征之間的統計獨立性使得表示的解耦變得容易（Bengio等人，2013）：解耦表示僅僅保證知道或改變一個潛在特征（及其對應的概念）不會影響任何其他特征的分布。在簡單圖像數據集上的結果表明，這些生成模型可以在沒有任何關于這些因素的監督的情況下，將數據生成過程分解為不相交的因素（例如，一個人的年齡、姿勢、身份），并將它們明確地表示在潛在空間中；這純粹是基于這些因素在數據中的統計獨立性。最近，深度生成模型中解耦的質量得到了改進（Chen等人，2016；Higgins等人，2017）。這些方法通過最大化潛在變量和觀測值之間的互信息來實現無監督的完全解耦。然而，這些方法僅適用于相對簡單的圖像數據，如人臉或單一3D對象（即，在圖像中只有一個對象，而不是整個場景）。例如，學習將場景分解為潛在空間中的一組對象，這些深度生成模型尚未能夠實現。這些方法失敗的一個原因可能是對象的出現可能不是統計獨立的；例如，某些對象（如“床”和“燈具”）傾向于在同一場景中共現。此外，同一類型的對象可能在場景中多次出現，這不能通過單個連續潛在特征輕松編碼。

融入組合歸納偏差的神經網絡：另一項工作設計了直接將組合結構融入神經架構的神經網絡。組合結構在計算機視覺數據中自然存在，因為自然世界中的物體是由部件組成的。在計算機視覺之外廣泛研究的領域，包括語音識別，研究人員已經總結了一系列組合假設，并將其納入機器學習框架。例如，在計算機視覺中，“視覺作為逆向圖形學”范式（Baumgart，1974）試圖將視覺任務視為計算機圖形學渲染過程的逆過程。換句話說，它試圖將圖像解碼為一組可能控制場景渲染的特征組合，例如物體的位置、方向、紋理和照明。許多關于無監督解耦的研究都集中在創建這種類型的表示，因為它本質上是解耦的。早期實現這一目標的方法包括DC-IGN（Kulkarni等人，2015）和空間變換器（Jaderberg等人，2015）。最近，膠囊網絡（Hinton等人，2011；Sabour等人，2017）為將組合假設融入神經網絡提供了一種新方法。與使用神經元作為構建塊不同，膠囊網絡將一組神經元組合成更大的單元，稱為“膠囊”，并迫使它們表示諸如特定部分或完整物體的姿勢、顏色和位置等信息。后來，這種方法與生成模型結合在堆疊膠囊自編碼器（SCAE）中（Kosiorek等人，2019）。借助集合變換器（Lee等人，2019）在層之間組合信息，SCAE發現圖像的組成部分并將它們組織成更少的對象集合。槽注意力模塊（Locatello等人，2020）進一步使用迭代注意力機制控制層之間的信息流動，并在無監督對象發現方面取得了更好的結果。然而，與生成模型類似，這些網絡在旨在發現更現實數據集上的概念時表現不佳。例如，SCAE只能在街景房屋號碼（SVHN）數據集（Netzer等人，2011）上發現人類難以理解的筆畫狀結構（見圖11）。原因是SCAE只能發現數據集中頻繁出現的視覺結構，但實際上屬于同一類別的對象的外觀可能會有很大差異。已經有提議（例如，GLOM Hinton，2021）關于如何讓具有固定架構的神經網絡潛在地將圖像解析為部分-整體層次結構。盡管這個想法似乎很有希望，但尚未開發出有效的系統。這種類型的方法仍有很大的發展空間。

執行無監督解耦的其他工作：許多其他可解釋的神經網絡也可以在潛在空間中學習不相交的概念，盡管這些論文中并沒有明確提到“解耦”的概念。例如，如第4節所述，Chen等人（2019）提出創建一個原型層，存儲訓練圖像的典型部件，以進行基于案例的推理。在對鳥類進行分類時，典型部件通常是鳥類的物體部件，如頭部和翅膀。有趣的是，對學習到的原型應用了一個分離成本，以鼓勵典型部件的多樣性，這與解耦的概念非常相似。Zhang等人（2018）提出最大化卷積濾波器輸出與預定義部件模板（在局部區域有正值、在其他地方有負值的特征掩模）之間的互信息。互信息正則化項本質上是兩個解耦損失的總和：（a）一個鼓勵每個濾波器只被一個類別的圖像激活、而不被其他類別激活的類別間熵損失；（b）一個鼓勵每個濾波器只在圖像的局部區域激活的空間熵損失。結果表明，使用互信息損失的卷積濾波器傾向于只在物體的特定部分被激活。這兩種方法都能夠學習潛在空間中的單個物體或部件，但尚未推廣到處理更全面的概念（例如場景的屬性，包括室內房間的風格——例如舒適、現代等，戶外場景的天氣等），因為這些概念在圖像中并不是局部化的。

盡管有多個相關工作分支以不同方式針對概念發現，但仍存在許多挑戰：

6.1 如何定量評估無監督解耦？

回顧一下，無監督解耦在兩個不同的領域中是期望的（但具有挑戰性）：（a）我們不知道概念是什么的領域（例如，材料科學）；（b）概念已知但存在標記偏差的領域。

讓我們從（b）版本的情況開始，其中一些概念是已知的，例如自然圖像中的物體。假設我們只是在數據集中缺少了一部分概念標簽，這是一種簡單的缺失數據偏差。如果我們構建一個解耦潛在空間的神經網絡，我們可以定量評估解耦的質量。例如，假設我們知道一組我們希望解耦的概念（例如，自然圖像中出現的特定物體的集合）。如果我們使用無監督算法來解耦空間，然后評估它是否確實解耦了已知概念，那么我們就有了一個有用的定量評估（Higgins等人，2017；Chen等人，2018；Kim和Mnih，2018；Eastwood和Williams，2018；Do和Tran，2019）。

如果我們在一個我們不知道要解耦的概念的領域工作（情況（a）），我們可能也不知道要向算法添加什么樣的正則化（或其他類型的歸納偏差），以便它可以發現我們認為可解釋的概念。在這種情況下，定量評估結果變得困難。如上所述，材料科學是這些領域的一個例子，我們無法找到關鍵模式的真實標簽，也不能向人類評估者發送查詢（即使材料科學家在許多情況下也不知道關鍵模式）。來自自然圖像的評估指標也不適用。因此，在這些領域評估解耦是一個挑戰。

回到情...