Making the Thermodynamic Cost of Active Inference Explici 明確主動推理的熱力學成本

https://www.mdpi.com/1099-4300/26/8/622

摘要：

在描述主動推理智能體（AIAs）時，“能量”一詞可以有兩種不同的含義。一種是被AIA利用的能量（例如電能或化學能）。第二種是所謂的變分自由能量（VFE），這是一種統計量，為“意外”提供了一個上限。在本文中，我們開發了一種關于前者的量——熱力學自由能量（TFE）及其與后者的關聯的描述。我們強調了在一種通用的量子信息論框架中，這兩種能量之間的必要權衡，以及這些權衡對生物體接近環境方式的宏觀影響。通過明確這種權衡，我們為從植物到捕食者等各種生物體用于生存的不同代謝策略提供了理論基礎。

關鍵詞：分隔化；控制流；自由能量原理；矩陣表示；有限計算

1. 引言

主動推理智能體（Active Inference Agents, AIAs）是符合自由能量原理（Free Energy Principle, FEP）的物理系統；這些系統通過從經驗中學習以及主動探測環境以獲取新信息，從而最大化其預測環境行為的能力 [1–5]。無論是細菌、人類、機器人，還是在普通計算機上運行的模擬程序，AIAs都需要充足的熱力學自由能量（Thermodynamic Free Energy, TFE）——在生物系統中即代謝能量 [6]——來為與環境的互動提供動力。特別是，TFE通過AIA的流動，以“燃料”的形式進入并以“廢熱”的形式排出，這種流動推動了自創生（autopoiesis），從而將AIA維持為一個耗散系統，防止其與環境達到熱平衡。任何AIA維持其TFE供應的需求解決了由不確定性最小化目標所提出的“暗室問題”；由于饑餓致死的痛苦，沒有AIA能夠僅僅通過最小化環境輸入來最小化不確定性 [7]。

Sengupta、Stemmler和Friston [8]在2013年表明，當任何AIA最小化其邊界處的預測誤差時，它也最小化了其計算過程的TFE需求，即最小化了變分自由能量（Variational Free Energy, VFE）。原因很簡單：當預測準確時，傳入的數據不會引發計算成本高昂的狀態變化。因此，此后關于FEP下的主動推理的形式化處理都集中在最小化VFE上，將TFE輸入（如食物）僅視為“偏好的”觀察結果 [6,9–11]。然而，對VFE的獨家關注使得難以區分兩種類型的問題解決活動：以獲取TFE資源為特定目標的活動以及其他目標的活動。反過來，這也使得難以明確探討TFE限制在調節注意力、解決問題或規劃中的具體作用。然而，我們知道生物體會采用這種由TFE驅動的調節過程，我們也可以預期“有死的計算機” [6]也會如此。

在這里，我們在自由能量原理（FEP）的形式體系中開發了熱力學自由能量（TFE）輸入的明確表示（或對偶地，廢熱輸出），并探討主動管理TFE資源如何在計算過程中促進控制流。我們在第2節首先指出，FEP既可以被視為“純粹的物理學”，也可以被視為一種推理理論，特別是作為一種近似貝葉斯變分自由能量（VFE）最小化的理論。我們區分了采用這兩種立場的模型，以及僅將“推理”或“認知”歸因于系統的某些組成部分，而將系統的其余部分視為基礎設施的模型。

基于之前的研究工作 [12,13]，我們在第3節展示了后一種類型的模型需要明確表示TFE流動以實現完整性。然后在第4節，我們考慮了將TFE流動主動分配給組成部分的過程如何為分隔化的多組分系統提供一種控制機制。最后，在第5節，我們針對在 [14] 中開發的離散矩陣形式的主動推理中，TFE流動如何影響信息處理這一實際問題進行了探討。

2. “純粹物理”與實現的計算

我們考慮一個有限的系統 S 與一個有限的環境 E 相互作用，并假設聯合系統 U = SE 是有效隔離的。自由能量原理（FEP）描述了 S 和 E 在聯合系統 U 隨時間演化時保持彼此可區分的條件。它非正式地指出，只有當 S 和 E僅通過稀疏或弱耦合連接時，它們才能保持區分 [9]。這一條件可以用多種方式表述：可以要求從S(E) 開始的聯合空間中的幾乎所有路徑都保留在 S(E) 中 [11]，或者要求 S 和 E 之間的馬爾可夫毯（MB）上的狀態數遠小于 S 或 E 中的狀態數，或者要求相互作用哈密頓量（或總相互作用能量算符） 遠小于 S 和 E 的自相互作用 [13]。所有這些條件都確保了 S 和 E 都有“內部狀態”，這些狀態并未直接參與相互作用，因此彼此保持條件統計獨立。這些內部狀態隨后可以實現不同的、獨立的計算，從而使 S 和 E 能夠表現出不同的、具有主體性的行為。

然而，在實踐中，我們并不總是希望將系統視為“純粹物理”或“純粹計算”。我們通常希望將系統的一部分視為計算某個特定函數，而其余部分則為系統的物理體現提供基礎設施服務，包括結構完整性、足夠的能量供應和熱量耗散。這種將特定計算歸因于系統 S 的特定組成部分，或者只將 S 的馬爾可夫毯狀態的特定子集視為編碼“有趣的”輸入和輸出的情況非常普遍。這種“感興趣”的選擇實際上是一種語義映射 ψ，僅適用于 S 的某些組成部分。這種基于興趣的分解在生物學中無處不在，例如在細胞中區分信號轉導與代謝途徑，在神經計算中以突觸輸入和輸出為模型，或者將動物大腦的輸入/輸出與消化系統的輸入/輸出分開并視為不同。它在實際計算中也很常見，例如在指定軟件模塊的應用程序編程接口（API）時，將電源管理交給硬件，將內存管理交給操作系統。

將系統 S 的特定子系統解釋為計算特定函數，會忽略 S 的物理性所施加的基本約束，包括根據蘭道爾原理，產生輸出以作用于環境需要熱力學自由能量（TFE）。鑒于假設 是孤立的，能量必須從環境中作為輸入獲取。因此，提供一個完整描述AIA的描述，該AIA計算某些特定的輸入和輸出（或感覺和動作），還需要明確其“感興趣”的指定所假設的熱力學（或代謝）輸入和輸出。因此，需要將馬爾可夫毯上的某些狀態專門用于燃料和廢熱的流動。明確這些物理體現的要求，從而將關于軟件的思考與關于硬件或生物硬件的思考重新整合，是具身認知和有限計算框架的目標之一。

3. 信息與能量流的耦合

如果將計算功能和基礎設施功能視為由系統的不同組件執行，那么我們如何表示它們之間的耦合呢？在圖1的符號表示中，如果我們對ψ進行分解，那么這些分解因子之間的關系是什么？熱力學自由能（TFE）是如何被傳遞到需要它來進行計算的計算過程以計算變分自由能（VFE）的呢？這個問題很難精確表述，因為對系統S的任何分解都會在它們之間產生一個邊界（MB），并將每個組件視為其他組件的環境的一部分。因此，分解需要一個未分解的“原子”組件的底層，以避免無限回歸。在這個原子層面，計算和基礎設施之間的關系必須在沒有進一步分解的情況下得到回答。

關于“物理”TFE流如何與“計算”VFE流耦合的問題，無論是在經典還是量子形式主義中都存在。然而，使用量子形式主義最容易解決這個問題，它提供了一種簡單直觀的描述，適用于所有系統，無論其結構如何。使用這種形式主義，我們可以將TFE和VFE流視為通過一種沒有自然經典表述的對稱性破缺來區分。我們首先回顧一下通用物理相互作用的量子形式主義，然后展示它如何提供“原子”系統的自然定義以及復合系統中組件之間相互作用的精確描述。我們利用后者來理解熱力學組件（實際上是電源）如何為復合系統的計算組件提供受控的TFE流。

在量子形式主義中，復合系統U = SE的聯合狀態空間是一個有限維的希爾伯特空間HU = HS ? HE。對于任何系統X，希爾伯特空間HX是一個向量空間，可以通過為系統X可以回答的每一個獨立的“是/否”問題分配一個基向量來構建。這些基向量中的每一個都可以用量子比特（qubit）來表示，其可測量狀態（在狄拉克符號中）為|↑?和|↓?。因此，希爾伯特空間HU、HS和HE都可以被視為量子比特空間。我們用B表示由分解HU = HS ? HE隱含給出的S和E之間的邊界。只有當系統S和E具有不同的、相互條件獨立的狀態|S?和|E?時，它們才能被視為不同的系統。只有當它們的聯合狀態是可分離的，即|SE? = |S?|E?時，這種情況才會出現。在這種情況下，B上的糾纏熵為零。在這個表述中，自由能原理（FEP）指出，可區分的系統必須保持不糾纏。

S和E之間的相互作用在量子形式主義中由哈密頓量或總能量算符HSE表示。這個算符是線性的，因此可以寫成HSE = HU ? (HS + HE)，其中HU、HS和HE分別是U、S和E的內部或“自身”相互作用。相互作用HSE在邊界B上定義。我們可以通過使用全息原理來描述HSE和B。全息原理指出，外部觀察者可以獲得的關于任何系統X的信息僅限于穿過X的邊界BX的信息。如果X是有限的，這個信息量是有限的，可以寫成經典熵S(BX)。因此，我們可以將S和E之間的邊界B視為編碼了S(B) = N個量子比特，因此可以用一個輔助希爾伯特空間HB來描述，其維度為dim(HB) = dim(HSE) = 2^N。希爾伯特空間HB是輔助的，因為它不是U = SE的一部分，即HB ∩ HU = ?。這反映了B只是一個由分解HU = HS ? HE誘導的理論構造。

鑒于對B的這種描述，我們現在可以描述S的內部動態HS。形式上，HS是狀態空間HS上的一個線性算符，即我們可以寫成HS : HS → HS。由于HS是一個量子比特空間，我們可以將HS視為一個對量子比特進行操作以改變其狀態的算符，即作為一個量子計算過程。從外部（即從E）流入S的唯一信息是由構成B的N個量子比特編碼的信息；同樣，從S流出并進入E的信息也必須由這些相同的量子比特編碼。因此，邊界B是S的輸入/輸出（I/O）接口，也是由HS實現的量子計算的接口。

我們可以通過將B視為一個有限的非重疊量子比特子集的集合，這些子集我們稱之為“區域”Zi，并考慮HS中作用于每個Zi的組件，來進一步描述HS。我們可以將這些組件中的每一個表示為一個量子參考系（QRF）Qi，它測量并同時準備組成區域Zi的ni個量子比特的狀態。量子參考系是一個物理系統，能夠以可重復的方式測量或準備其他系統的狀態。米尺、時鐘和地球的引力場是實驗室中量子參考系的經典例子。然而，使用像米尺這樣的量子參考系需要在內部實現一個類似的量子參考系；一個沒有內部能力來表示或處理關于距離的信息的代理，將無法使用米尺。因此，任何觀察者都可以被認為實現了一組量子參考系，每個物理自由度的組合、每個物理可觀測量，觀察者可以檢測、賦予操作意義并處理信息的，都對應一個量子參考系。

在這里，我們遵循之前的慣例，將量子參考系的通常概念擴展到包括所有使用它的測量和準備過程。由于每個量子參考系Qi也可以被視為一個量子計算過程，因此它也可以用一個分層的交換圖——錐形-余錐形圖（Cone-CoCone Diagram，簡稱CCCD）來表示，該圖描繪了ni個單量子比特算符與一個算符Ci之間的信息流，Ci編碼了代表Qi的物理可觀測量的觀測結果。

我們可以像圖2那樣描繪B和相關的量子參考系Q。

作為數學對象，CCCDs是CCCD類別中的對象；這個類別的態射是將小的CCCD嵌入到更大的CCCD中，以及從小的CCCD中投影出更大的CCCD [30]；關于類別及其應用的教科書介紹可以參考[31]。由于CCCDs根據定義是交換圖，因此兩個不相互交換的CCCD不能組合成一個更大的CCCD。不交換的CCCD對對應于不交換的量子參考系對，即對于算符Qi和Qj，它們的對易子[Qi, Qj] = QiQj ? QjQi = 0。一個單一的量子過程不能同時實現兩個不交換的量子參考系。如果系統S實現了不交換的量子參考系Qi和Qj，它必須被劃分為兩個子系統Si和Sj，它們通過一個邊界相互作用。因此，這樣的系統必須具有可區分的組件，其組件必須有不同的環境。如果E是S的環境，那么Si的環境是Ej = ESj，反之亦然。因此，我們可以定義：

定義1：原子系統是一個可以表示為實現單一量子參考系（QRF）的系統。

不是原子系統的系統被稱為“復合”系統。根據定義1，原子系統所實現的量子參考系（QRFs）必須彼此對易；而復合系統可能實現不對等的QRFs。需要注意的是，定義1涉及對所討論系統的表示方式的引用。這反映了外部觀察者無法確定一個系統實現了什么量子參考系（QRFs）[32]。因此，系統的表示方式是一種理論選擇；事實上，正是語義映射ψ的選擇才促使我們首先定義原子系統。

我們設S為一個原子系統，E為其環境，Q為其單一（有效）量子參考系。我們現在可以這樣表述：

如果我們假設 是一個純量子過程，因此是完全可逆的，那么它僅在作用于其環境 E 的熱力學不可逆的最后一步才需要熱力學自由能（TFE），正如我們在圖2中所表示的那樣，即為其邊界編碼的量子比特準備特定的最終狀態 [33, 34]。任何額外的熱力學不可逆步驟都需要額外的 TFE，直至完全不可逆的經典計算的極限，對于后者，每一步所需的 TFE 都與被修改或寫入的比特數成正比。因此，我們可以寫出 Q 的 TFE 消耗為：

4. 測量與控制能量使用

與設計用于擁有幾乎無限能量資源環境的技術不同，生物系統常常面臨能量匱乏的問題。熱力學自由能（TFE）的可用性限制實際上是對計算吞吐量的限制，這使得能量分配成為計算的一個重要“控制旋鈕”。因此，對于建模人工智能系統（AIAs）來說，能量使用及其控制是重要的實際問題。

能量供應的限制可能會阻止一個擁有多個可用量子參考系（QRFs）的系統同時部署它們來測量和作用于其環境。順序部署多個 QRFs 需要一個控制系統，將 TFE 資源逐一分配給每個 QRF。在自由能原理（FEP）的背景下，注意力控制——無論是自上而下還是自下而上的信號被放大或衰減的程度——通常被建模為精度調整。低分辨率的信號可以被放大，從而具有高精度。例如，當反射性注意力由大細胞視覺通路驅動時，會犧牲物體識別的準確性以換取速度。識別具有高重要性的特定物體（例如必須正確識別的特定個體人類）需要同時具備高精度和高分辨率，因此需要更多的比特和更多的 TFE。因此，當需要高物體識別準確性時，注意力作為精度控制可以自動控制 TFE 的分配；功能性磁共振成像（fMRI）中血氧水平依賴（BOLD）信號用于指示增強的神經活動區域，為這一點提供了有力的證據。

將能量資源分配給一個 QRF 而犧牲其他 QRF，需要通過最小化相互作用的邊界將其與其他可能與之競爭的 QRF 隔離開來。換句話說，QRF 的序列化會誘導出一種分隔，即使這些 QRF 本身是可交換的。因此，受 TFE 限制而必須順序部署 QRFs 的系統必須是由多個原子系統組成的復合系統，每個順序可部署的 QRF 對應一個原子系統。反之亦然。

定理2：只有復合系統才能控制熱力學自由能的流動。

5. 矩陣表示中的資源使用

6 結論

系統 S 的“信息處理”是相對于觀察者的 [19]。自由能原理（FEP）提供了表示信息處理能量依賴性的形式化方法，這種能量依賴性是具身性的一個基本后果，但在實踐中通常被抽象化。將其保留在模型中可以解決那些無法明確表述的控制理論問題。

明確建模能量依賴性有助于強調任何人工智能系統（AIA）所面臨的四方權衡：需要平衡（1）對新信息的需求（即未預測到的環境行為），（2）對舊信息的記憶（即過去行動的預測結果），以及（3）為計算和編碼這些數據提供燃料，與（4）其邊界大小以及因此而與環境更強相互作用對邊界完整性構成的風險之間的關系。當一個 AIA 接近其與環境保持邊界完整的相互作用的上限時，就會出現“危險的”或“處于混沌邊緣”的行為。這種危險行為使 AIA 最大限度地暴露于環境中，以獲取數據和燃料的邊界空間，但也最大化了邊界崩潰、穩態失敗和死亡的風險。我們可以預期，那些燃料資源稀缺且難以獲取的系統（例如食肉動物）以及優先進行知識探索的系統（例如新領域的探險者）將被迫采用這種高風險的生活方式。而那些能量資源高度可預測的久坐系統（例如在穩定氣候中進行光合作用的植物）可以預期會采用更被動、低風險的生活方式。同樣，任何能夠識別并與大量環境對象進行特定互動的系統都需要一個大腦容量大且能量預算高的大腦，而那些對環境的許多細節不注意或不做出反應的系統則沒有這種需求。明確人工智能系統的熱力學成本不僅有助于我們理解單個 AIA，還為理解 AIA 的生態系統打開了大門。

在本文中使用了以下縮寫：

- AIA：主動推理智能體（Active Inference Agent）

- CCCD：錐-余錐圖（Cone-CoCone Diagram）

- FEP：自由能原理（Free Energy Principle）

- QRF：量子參考系（Quantum Reference Frame）

- TFE：熱力學自由能（Thermodynamic Free Energy）

- TQFT：拓撲量子場論（Topological Quantum Field Theory）

- VFE：變分自由能（Variational Free Energy）

原文鏈接： https://www.mdpi.com/1099-4300/26/8/622