英國愛丁堡大學博士畢業生、沙特阿卜杜拉國王科技大學博士后研究員李南伯一直在研究世界模型，這種模型能夠根據事物的狀態和背后規律預測未來，這一顯著特征讓李南伯深深著迷。

圖 | 李南伯（來源：李南伯）

李南伯將預測理解為在時序上根據“背后規律”延展事物的“空間狀態”。從這個角度來看，時空建模確實是世界模型面臨的核心技術挑戰之一。尤其在復雜“狀態”描述（如通用高維向量表示）的場景下，研究其“時空規律”尤為復雜。這與傳統學科研究非常相似，只不過各學科關注的是它們獨有的“世界”。

在 AI 或機器學習領域，人們更關注如何讓模型高效學習這些“時空規律”，而非規律本身。這本質上是一個計算問題。然而，現有的通用架構如 Transformers 和循環神經網絡（RNN，Recurrent Neural Network）在計算上都有局限性。

Transformers 支持并行計算，但因其二次方復雜度問題難以擴展到無限長序列；而 RNNs 雖然可以用恒定內存擴展無限長序列，但并行能力不足（如訓練時需串行計算）且存在長距離遺忘問題。近期廣受關注的狀態空間模型 Mamba 架構通過線性遞歸在 Transformers 和 RNNs 之間取得了一種折衷：它在時間/順序軸上實現了高效壓縮，因此更適合“時空學習”。但由于缺乏對輸入數據的空間軸高效壓縮和狀態空間的充分利用，其時空學習潛力尚未完全釋放。

為此，李南伯和所在團隊提出一種簡稱為 FACTS 的新技術，針對這一問題重構了 Mamba 或通用結構狀態空間模型的狀態空間，將其結構化為一個圖表征。該文章已被機器學習頂會 ICLR2025 接收。

（來源：arXiv）

換言之，FACTS 可以看作一個“圖表征狀態空間”的結構化狀態空間模型，或一個“圖表征狀態空間”的 RNN。這種設計不僅顯著提升了時空學習性能，還引入了處理圖輸入及建模因果關系（因果圖）的能力。為了保留 Mamba 的并行計算特性，研究人員還提出了一種線性化的圖狀態機制。

（來源：arXiv）

對于相關論文審稿人表示：“本次論文提出了一種引入可置換內存結構的架構，能夠靈活處理無序或動態變化的輸入，同時通過高效壓縮歷史記錄捕獲長期依賴，從而在基線模型上實現了性能提升。這種架構采用內存輸入路由機制，動態分配輸入特征至潛在狀態空間因子，解決了輸入特征方差和動態關系建模的關鍵挑戰。其設計既簡單又高效，能夠穩健處理輸入順序變化，同時簡化高維數據的處理，并增強時空依賴的捕獲能力，適用于實際應用場景。”

還有審稿人表示：“本次論文在多變量時間序列預測、時空圖預測，以及以對象為中心的世界建模等任務中進行了廣泛實驗，結果表明 FACTS 在多項指標上始終優于或匹配當前最先進的模型。實驗不僅驗證了該方法在捕捉復雜時空動態方面的穩健性，還展示了其在不同數據集上的多功能性，進一步證明了其在現實世界中的應用潛力。”

作為一個通用時空模型的架構，除了傳統時序預測應用領域，如金融、能源、交通、醫療等領域外，在多媒體領域，如視頻，動畫生成應該也有著很好的前景。FACTS 作為世界模型架構，李南伯也很期待看到其在其他學科研究中的應用，如物理、化學、生物以及相關社會科學。

正如之前提到的，李南伯對世界模型有著深深的執著，而 FACTS 是他在這一領域探索中的一項重要工作。李南伯在時空建模方面的思考，深受其導師“遞歸神經網絡之父”、阿卜杜拉國王科技大學尤爾根·施密德胡伯（Jürgen Schmidhuber）教授提出的兩個關鍵原則的影響：歷史壓縮（history compression）和可預測性最小化（predictability minimisation）。

基于這兩條原則，李南伯對比了 LSTM、Transformers 和 Mamba 的優劣，并從中獲得了 FACTS 的靈感。這個階段的關鍵在于理論上的啟發和明確方向。

2024 年 5 月，李南伯首次通過實驗觀察到重構“狀態空間”后的“beta 版本”FACTS 在時間序列預測任務上的優越表現。不僅能夠與當時最強基準模型匹敵，甚至在部分實驗中有所超越。這一結果極大地增強了李南伯的信心，讓他確信自己的思路是正確的，剩下的工作就是將想法付諸實踐并優化模型。

模型迭代階段是一個不斷反思和完善的過程。從理論模型到實驗實現，李南伯反復修改了大約 8 個版本的理論模型，實驗實現更是多次推翻重來。汗水和咖啡因成為這段時間的主旋律，但因為方向明確，這段經歷更多是令人愉快的挑戰。這一階段最大的難點在于設計可并行的內存更新機制。盡管 2024 年 5 月末的 beta 模型已經在時間序列預測上表現出很高的精度，但他希望在計算效率上不做過多妥協，時間復雜度至少要與 Mamba 同量級。這一目標推動他和所在團隊最終開發出現有的可線性化的 FACTS，在性能與效率之間取得了平衡。

在這項研究的期間，李南伯收獲了愛情與友情。雖然這看似與研究本身并沒有直接的因果關系。但考慮到李南伯于 2024 年 3 月才剛剛加入施密德胡伯教授的實驗室，一切都是全新的——新的環境、新的同事、新的研究。在短時間內結識志同道合的新朋友和研究伙伴，還幸運地收獲了愛情，為李南伯能展開 FACTS 研究提供了堅實保障。其表示，每次趕截稿的過程都像被“扒了一層皮”，無比痛苦，但大家一起趕，在壓力之下還能互相開玩笑，這確實是一種慰藉。

除了繼續在世界模型方向上深入探索，他還計劃對當前的 FACTS 模型進行擴展（scale up），以開展基于 FACTS 的基礎模型（foundation model）應用研究。

參考資料：

1.https://arxiv.org/pdf/2410.20922

運營/排版：何晨龍