摘要
復雜系統的多尺度建模對于理解其內在機理至關重要。近年來,數據驅動的多尺度建模已成為應對復雜系統挑戰的有效途徑。然而目前該領域更聚焦于特定領域的預測或控制問題,尚缺乏合適的理論框架來推動復雜系統建模理論的建立。另一方面,自相似性普遍存在于復雜系統中,這暗示著大規模復雜系統的建模成本可能得以降低。本文提出一種將自相似性作為先驗知識的多尺度神經網絡框架,可有效建模自相似動力系統。該框架不僅能判別確定性動力學是否具有自相似性,對于不確定性動力學,不僅能判定其是否自相似,還能通過比較確定哪組參數更接近自相似。通過從動力學中提取尺度不變核,我們的框架可實現任意尺度的建模。此外,該方法能準確識別自相似系統中的冪律指數,為復雜系統建模理論的建立提供了重要依據。
研究領域:自相似性(self-similarity),機器學習,動力學,復雜系統建模,多尺度神經網絡
論文題目:Data driven modeling for self-similar dynamics 發表時間:2024年12月28日 論文地址:https://doi.org/10.1016/j.physd.2024.134505 期刊名稱:Physica D: Nonlinear Phenomena
復雜系統的自相似性:從理論到數據驅動建模
復雜系統因其非線性、多尺度特性與涌現行為,始終是科學建模的難點。傳統方法如降階模型(ROM)和方程無關方法(EFM)雖能簡化問題,但常忽略物理意義或難以推廣。與此同時,自相似性(self-similarity)作為復雜系統的普遍特征,暗示了一種可能性:通過尺度不變的動力學核,以低成本建模大規模系統。然而,如何將自相似性融入數據驅動的建模框架,仍是一個開放問題。
近期,集智研究中心參與發表在 Physica D 的一篇研究提出了一種融合自相似性先驗的多尺度神經網絡框架,旨在通過機器學習揭示復雜系統的尺度不變規律。這一工作不僅為自相似動力學的識別提供了新工具,還首次實現了動力學重整化策略的自動化學習,為理解臨界現象和相變開辟了新路徑。
自相似動力學的定義:從微觀到宏觀的一致性
自相似動力學的核心在于跨尺度的一致性。研究團隊將其形式化定義為:若微觀狀態X經粗粒度映射$$P$$得到宏觀狀態Y,且兩者的動力學方程和參數在形式與數值上保持一致,則稱系統具有自相似性。這一過程通過一致性指標(consistency)量化:若微觀演化一步后的粗粒度結果Yt+1 與直接粗粒度微觀狀態 的均方誤差趨近于零,則系統滿足自相似性。該定義兼容確定性與隨機性系統,還可以比較不同參數組下的自相似程度。
框架設計:
動力學學習器與粗粒度學習器的協同
根據上述形式化定義,研究使用多尺度神經網絡方法,設計了雙模塊神經網絡架構,包括動力學學習器和粗粒度學習器兩個主要組成部分(圖 1)。
1. 動力學學習器(Dynamics Learner):通過卷積神經網絡(CNN)捕捉微觀態的演化規則,將神經網絡參數有效地作為動力學參數,優化的目標是最小化實際值和預測值之間的差異。考慮到微觀和宏觀尺度之間數據維度的差異,即宏觀變量通常較少,因此設計具有時空平移不變性的神經網絡非常重要。只有這樣,才有可能將在微觀動力學數據上訓練的動力學學習器應用到宏觀動力學中。
2. 粗粒度學習器(Coarse-graining Learner):學習從微觀態到宏觀態到映射,保證宏觀動力學的形式和參數應該與微觀動力學相同,并且可以據此實現宏觀動力學的準確預測。此外,通過解碼器防止映射坍縮為平凡解。
兩模塊分階段訓練:首先優化動力學預測誤差,再固定動力學參數,聯合優化粗粒度與解碼器的重建誤差。這種設計確保宏觀動力學與微觀規則同構,同時避免傳統方法中參數耦合導致的訓練不穩定。
圖 1.(a)二維晶格系統中動力學和粗粒化的示意圖。藍色區域表示動力學相互作用的范圍,此處以最近鄰相互作用為例。藍色虛線箭頭表示xi或yi在動力學fi或Fi下演進一步。紅色區域表示微觀狀態的基本單位,將是粗粒度的宏觀狀態,在上圖中顯示為紅點。動力學和粗粒化算子可以應用于任何其他狀態和區域,這意味著算子是均勻的。(b)該框架中使用了卷積神經網絡CNN模型,共有兩個層級的神經網絡框架。第一層級旨在利用圖中底部呈現為藍色的微觀狀態來捕捉微觀動力學f,而第二層級則代表宏觀狀態和動力學F,在圖中頂部顯示為紅色。兩個動力學都接收來自各自層級的時間序列數據作為輸入,并對未來結果進行預測。微觀和宏觀動力學共享相同的神經網絡結構和參數。鑒于微觀和宏觀層級之間數據維度的差異——通常宏觀變量較少——這就需要構建具有時空平移不變性的神經網絡。粗粒度學習器P(θ2)將兩者連接起來,促進微觀數據到宏觀數據的轉換。為防止在訓練過程中宏觀狀態陷入平凡狀態,我們在宏觀預測之后添加了一個解碼器P'(θ3)。該解碼器約束其輸出與微觀狀態極為相似。訓練完成后,解碼器可停用。
實驗驗證:從元胞自動機到活性物質系統
研究通過三類系統驗證框架的有效性:
1. 確定性的元胞自動機(CA):在256種規則中,框架成功識別出21種自相似規則(如Rule 60),并自動學習其粗粒度策略。例如,Rule 60在空間尺度 S = 2或4 時,宏觀規則與微觀一致;而Rule 85僅在 S = 3 時滿足自相似性(圖2)。
2. 隨機擴散過程:對連續時空的擴散方程,框架在Δt0→0時學習到高斯型動力學核,且宏觀擴散系數與微觀一致(圖3b)。
3. Vicsek模型:在臨界噪聲區域 η≈2,模型的重建誤差最低(圖4),表明自相似性在相變點附近最強。這與動力學重整化群理論預測的臨界指數z≈2一致,驗證了框架對復雜臨界行為的捕捉能力。
圖 2. 元胞自動機根據其自相似性質的動力學粗粒化(規則60和規則85)。第一行是規則 60 的結果。它們是真實值以及三個不同尺度(分別對應 S = T = 2、3、4)的粗粒度結果。第二行是規則 85 的結果,同樣也是真實值以及三個不同尺度(分別對應 S = T = 2、3、4)的粗粒度結果。我們可以看到,除了 S = T = 3 的情況,規則 60 在另外兩種情況都可以在宏觀層面重正化為相同的規則,而規則 85 只有在 S = T = 3 時才能重正化為自相似的動力學。
圖 3. 擴散過程動力學預測與一致性結果的可視化。(a)和(b)分別表示Δt0→0時微觀狀態的真實值和預測值。子圖是紅色方塊的放大版本,以便獲得更清晰的可視化。(c)為Δt0→0時的動力學一致性可視化,與之前的CA相同。我們設置= 2和= 4為例,而= 3和= 9也有類似的結果。(d)分別驗證了微觀狀態和宏觀狀態下時間與平均擴散長度的標度關系。
圖 4. vicsek模型結果。(a)為序參數Φ(左),其標準差(右)在= 32和64中隨噪聲強度η的變化。從圖中我們可以粗略估計臨界區域在η= 1.6 ~ 2.2的范圍內。(b)為五種不同動力學學習器的MSE。(c)為粗粒度學習器的解碼器MSE。
意義與展望:邁向自動化的動力學重整化
該框架的突破在于將自相似性作為顯式約束,首次實現了數據驅動的動力學重整化。其意義不僅在于跨尺度建模的效率提升,更揭示了復雜系統在參數空間中的固定點行為,為臨界現象研究提供了新工具。
未來,這一框架或可結合有效信息(Effective Information)理論,進一步量化動力學的因果涌現強度。此外,其在湍流、等離子體等非平衡系統中也具有一定的應用潛力,未來將推動物理與機器學習更深的交叉融合。
彭晨| 編譯
復雜網絡動力學讀書會
集智俱樂部聯合合肥工業大學物理系教授李明、同濟大學副教授張毅超、北京師范大學特聘副研究員史貴元與在讀博士生邱仲普、張章共同發起 。本次讀書會將探討:同步相變的臨界性、如何普適地刻畫多穩態與臨界點、如何識別并預測臨界轉變、如何通過局部干預來調控系統保持或回到期望穩態、爆炸逾滲臨界行為的關鍵特征、不同類型的級聯過程對逾滲相變的影響有何異同、高階相互作用的影響能否等效為若干簡單機制的疊加、如何有效地促進人類個體間的合作等問題。
讀書會計劃從3月7日開始,每周五晚19:30-21:30進行,持續8-10周。誠摯邀請領域內研究者、尋求跨領域融合的研究者加入,共同探討。
詳情請見:
集智科學研究中心
集智科學研究中心是門頭溝民政局批準成立、門頭溝科信局主管的民辦非企業,致力于營造跨學科探索小生境,催化復雜性科學新理論。集智研究中心長期關注復雜科學中的核心問題,如涌現、因果、自指、意識、生命起源等等,并充分結合人工智能機器學習技術嘗試解決這些問題。目前已有15篇文章發表于國際期刊,其中包括一篇因果涌現的綜述和一篇生命起源的綜述。這里的文章大部分產生于集智社區讀書會。
部分研究成果報道:
訪問集智科學研究中心網站了解詳情:www.research.swarma.org/research
1.
2.
3.
4.
5.
6.
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.