導語

本文介紹最新發表于 TKDE 上的評測 & 綜述文章: 《Exploring Progress in Multivariate Time Series Forecasting: Comprehensive Benchmarking and Heterogeneity Analysis》。本論文系統梳理了多元時間序列預測的發展脈絡，討論了目前領域內的爭議，通過公平且全面的評測，剖析了多元時間序列預測取得的進展。同時，文章也深入探討了該領域面臨的挑戰、核心瓶頸，以及未來可能的研究方向。

研究領域：多元時間序列預測，長序列預測，時空預測

邵澤志、王飛等| 作者

通訊作者：Fei Wang(王飛)、Yongjun Xu(徐勇軍)、Xueqi Cheng(程學旗) 作者列表：Zezhi Shao(邵澤志), Fei Wang(王飛), Yongjun Xu(徐勇軍), Wei Wei(魏巍), Chengqing Yu(余澄慶), Zhao Zhang(張釗), Di Yao(姚迪), Tao Sun(孫濤), Guangyin Jin(金廣垠), Xin Cao(曹欣), Gao Cong(叢高), Christian S.Jensen, Xueqi Cheng(程學旗)

Overview: 最近幾年多元時間序列預測非常之火，尤其是 長序列預測 和 時空預測 。 長序列預測從AAAI'21的Informer開始，到后來的Autoformer、FEDformer、DLinear、TimesNet、iTransformer等等等等，火的一塌糊涂。時空預測也是經久不衰，從DCRNN、GWNet，到后來的AGCRN、STEP、D2STGNN，以及最近的BigST、RPMixer，不乏高引論文和最佳論文提名。 然而，隨著研究的百花齊放，問題也接踵而至。不同于CV或NLP領域已經形成的統一Backbone和普遍共識， 時間序列預測研究似乎存在較大的分歧 。一方面，不同論文常常得出相反的結論；另一方面，盡管SOTA模型層出不窮，但實際預測效果的提升似乎并不顯著。在知乎上，你也可以看到不少相關的質疑與討論。 為了搞清楚領域目前發展到什么地步了、核心瓶頸是什么、下一步應該做什么，我們做了一些評估。 本文介紹我們最新發表于 TKDE 上的 評測 & 綜述 文章: 《Exploring Progress in Multivariate Time Series Forecasting: Comprehensive Benchmarking and Heterogeneity Analysis》。本論文系統梳理了多元時間序列預測的 發展脈絡，討論了目前領域內的 爭議，通過公平且全面的 評測，剖析了多元時間序列預測取得的 進展。同時，文章也深入探討了該領域面臨的 挑戰、核心 瓶頸，以及未來可能的研究 方向。 全篇沒什么理論，都是直觀的insights和詳盡的實驗結果，大家可以放心拿去用，也可以自行復現。本文實驗基于開源項目 BasicTS 實驗。BasicTS旨在提供 公平 、統一、可擴展的時序預測模型的開發和評測。已支持50+ Baseline，囊括經典方法、時空預測方法、長序列預測方法。BasicTS支持 20+ Benchmark，并且支持靈活地 自定義 數據集、損失函數、模型結構等部件。

代碼見（如果有用的話，請點個Star吧！）：

BasicTS: A Fair and Scalable Time Series Forecasting Benchmark and Toolkit.

代碼鏈接：https://github.com/GestaltCogTeam/BasicTS

論文鏈接：https://arxiv.org/abs/2310.06119

1. 多元時間序列預測背景

多元時間序列包含著一組時間序列，可以被看成一個 的矩陣。時間維度上，每條時間序列可能都有周期性、趨勢性等特點；空間維度上，時間序列之間可能存在相互關聯。多元時間序列預測，就是基于歷史數據 ，預測未來數據 。 和 分別是歷史數據和未來數據的長度。

下圖是一個直觀地例子，其中 , 。

多元時間序列預測

2. 最火的兩類任務

——時空預測和長序列預測

在多元時間序列預測中，有兩個非常熱門的任務：長序列預測和時空預測。這兩個任務近年來的研究成果頗具突破性。下面，我們來詳細探討這兩大任務的發展現狀和趨勢。

2.1 長序列預測：建模歷史，預測未來

目標：長序列預測的核心是通過對長期歷史數據的模式進行建模，進而進行長期預測。它主要聚焦于時間維度模式的建模，試圖找到時間序列中長期依賴的規律。

• 早期的統計與機器學習方法：最早的長序列預測工作采用了經典的統計方法（如ARIMA、ETS），以及一些機器學習模型（如GBRT、SVR）。但隨著數據復雜性的增加，這些方法顯得有些過時，逐漸被新的深度學習模型所取代。

• Transformer時代的到來：2021年，AAAI最佳論文之一的Informer模型橫空出世，開啟了基于Transformer的時間序列預測時代。這一模型以其優雅的架構和優異的表現引發了學術界的廣泛關注，催生了諸如Autoformer、FEDformer、Pyraformer等一系列新模型。這些模型探索了序列注意力、頻域增強、金字塔注意力等機制，試圖更好地建模時間序列中的長短期依賴。

• 線性模型的逆襲：2023年，一篇名為《Are Transformers Effective for Time Series Forecasting?》的論文引發了轟動。它展示了一個簡單的線性模型（沒有激活函數！），輕松擊敗了復雜的Transformer架構。這一結果不僅令人瞠目結舌，也引發了對Transformer在時間序列預測中有效性的深刻反思。

• Transformer的反擊：面對線性模型的挑戰，以Transformer為代表的復雜網絡陣營也沒有坐以待斃。PatchTST、iTransformer、TimesNet等模型迅速被提出，它們通過改進架構或結合其他創新方法，再次展示了Transformer的潛力。（TimesNet盡管不是Transformer，但也是復雜模型創新的代表之一）。

目標：與長序列預測不同，時空預測不僅需要處理時間動態，還要解決序列之間的空間依賴關系。一個典型的應用場景就是交通預測：分析未來交通狀況不僅依賴時間維度的數據，還需要捕捉不同傳感器之間的空間依賴。

主要研究進展：

• 早期的深度學習方法：早期的時空預測通常使用卷積神經網絡（CNN）處理空間信息，并與循環神經網絡（RNN）結合，來處理時間維度。這種結合為捕捉時空模式奠定了基礎。

• 時空圖神經網絡的崛起：隨著圖神經網絡（GCN）的發展，時空圖神經網絡（STGNN）迅速成為主流。STGNN通過預定義的圖結構，結合GCN和序列模型來捕捉空間和時間依賴。例如，DCRNN、Graph WaveNet等模型成功將GCN與RNN或門控TCN結合，提升了時空數據的處理效率。

• 自學習圖結構：然而，依賴預定義的圖結構存在固有問題，圖結構可能有偏差或者難以獲取。因此，許多研究開始探索如何共同學習圖結構并優化STGNN的性能，典型代表如AGCRN、MTGNN、STEP等。

• 非圖模型的崛起：盡管STGNN在時空預測中表現優異，但其計算復雜度較高。因此，出現了一些舍棄圖結構的創新模型。例如，STNorm通過時空正則化來簡化模型，STID則引入了一種簡單有效的時空身份附加方法。這些模型在降低計算復雜度的同時，也展現了強大的預測能力。

• 高效STGNN的出現：盡管非圖結構模型顯示出優越的效率，最近一些高效的STGNN模型也開始嶄露頭角，例如BigST，聲稱實現了線性復雜度。這一進展意味著，時空圖神經網絡有望繼續在時空預測領域占據重要地位。

3. 你是否被這些問題困惑過

——領域內存在的爭議

顯然，時序預測領域的發展是“螺旋向上”的。我們對領域內存在的爭議做了一些簡要的總結，包括技術路線爭議以及評估結果爭議，來看看你是否也有其中的某些疑問吧！

3.1 技術路線爭議：時間維度，Transformer和Linear模型哪種更好？

以Transformer為代表的復雜網絡可擴展性強，仍是目前新論文發力的主要方向；然而，以Linear模型為代表的簡單網絡參數量小、性能也不比最新的Transformer差多少。考慮到兩者之間體量的差距，到底哪種模型結構才是最好的解決方案？現有的長序列預測算法的提升看起來好像是比較小，每年都是很多SOTA論文，但精度似乎沒有太大的提升？

3.2 技術路線爭議：空間維度，如何理解空間依賴，GCN是必須的嗎？

在大多數的研究論文中，GCN通常被描繪成了一種能夠捕捉時間序列之間”依賴“關系的網絡。然而，這種”依賴“是什么，如何理解它，它是否真的就是因果級別的依賴？實現大規模時空預測用非圖網絡好，還是圖網絡好？應該什么時候使用GCN，為什么有的時候它好像會起到一些反作用？

除了上述技術路線的爭議，我們也發現了一些評測方面存在的爭議：不一致的性能表現和具有迷惑性的評價指標。

3.3 評測結果爭議：不一致的性能表現

不一致的性能表現是指，同一個模型、同一個數據集，同樣的實驗設置，在不同論文中的性能差距巨大。以時空預測中的DCRNN和GWNet這兩個分別來自于2018和2019年的“老”baseline為例，我們統計了他們在不同論文中的結果，以及我們自己復現的結果?？梢钥吹叫阅懿罹嗍诛@著，幾乎是SOTA和不Work的區別！

同一個模型、同一個數據集、同樣的實驗設置，在不同論文中的性能差距是巨大的

3.4 評測結果爭議：具有迷惑性的評價指標

具有迷惑性的評價指標是指采用不夠全面的評價指標，導致誤差看起來非常小。這對于一些新手朋友或者想要單純用一下時間序列預測算法的人來說，具有一定的迷惑性。以長序列預測為例，相關工作通常在歸一化之后的數據上計算MAE、MSE，其誤差非常之小，通常只有零點幾！然而，當我們把預測結果反歸一化回原來的尺度上，并計算MAPE、WAPE等更直觀的相對指標的時候，我們發現他們能達到百分之幾十！——這幾乎是不可用的狀態。

更合理的選擇是，在報告上述指標的同時，計算MAPE、WAPE等相對誤差指標，甚至同時計算反歸一化之后的MAE和MSE，可以讓讀者直觀地從數值中理解預測結果的好壞。

需要注意的是，”在歸一化之后的數據集上計算MAE、MSE“這個做法本身是正確的：它可以消除由于不同變量單位不同、取值范圍不同帶來的影響。然而，僅用這一種方式可能是不合理的，這可能會造成誤解。更合理的選擇是，在報告上述指標的同時，計算MAPE、WAPE等相對誤差指標，甚至同時計算反歸一化之后的MAE和MSE，可以讓讀者直觀地從數值中理解到預測結果的好壞。

反歸一化之后再計算相對誤差，可以更直觀地體現模型的準確程度

考慮到上述因素，我們不由得有下面的疑問：我們到底在時間序列預測方面走到了哪里了，取得了多少進步？實際落地過程中的核心瓶頸是什么？如果我是工業界的人，我應該如何選擇合適的模型結構？如何做出合理的分析？

在本文中，我們將會通過對現有工作的進行全面的基準評估，以及新穎的異質性分析，來解答上述疑問。

4. 全面的基準評估——公平、可擴展的

時序預測模型開發&評測庫BasicTS

評估的基石是可信、可復現的實驗結果。

為了解決不一致的性能表現，我們對現有代碼庫進行了全面分析，并確定了三個導致不一致性能表現的核心原因：數據處理、訓練流程和評估方式。這些方面常常被忽略，但它們對評估結果有著重要影響。

• 數據處理：深度學習模型訓練過程中的一個關鍵步驟是對原始時間序列數據進行歸一化。常見的歸一化方法包括Min-Max歸一化和Z-Score歸一化，每種方法對預測性能的影響不同。例如，一些研究使用了Min-Max歸一化，而大多數研究通常采用Z-Score歸一化。

• 訓練流程：訓練配置包括優化策略和各種訓練技巧，而不同的設置對優化有著顯著影響。這一方面隱藏著最多的錯誤。例如，許多研究使用了帶掩碼的MAE損失函數進行模型訓練，這種方法排除了異常值，避免了異常值對正常值預測的不利影響。相反，一些研究卻采用了簡單的MAE作為優化函數，通常會導致較差的結果。此外，訓練技巧的加入，如梯度剪裁和課程學習，也會顯著影響性能。然而，這些配置卻經常不會在論文中提及。

• 評估方式：雖然評估指標有明確的定義，但它們的實際實現方式在不同研究中可能有所不同，涉及處理異常值和小批量計算等方面。這種差異導致測試結果與實際性能之間存在顯著偏差。

BasicTS的整體設計

為了實現可信的評測，我們提出了一個公平、可擴展的時序預測模型 開發&評測的庫，BasicTS。

BasicTS+ 引入了統一的訓練管道，主要包括統一的數據加載器、數據縮放器、評估指標、訓練流程，從而避免由于非模型結構因素引起的性能差異。具體的實現方式見論文。BasicTS確保其所復現的論文的性能，不弱于原始論文中report的值（如果原始代碼沒有bug的話）。

此外，BasicTS還提供了許多擴展功能，例如自定義數據集、損失函數、評價指標、日志系統、分布式訓練等等，并且兼容多種設備（例如CPU、英偉達GPU、寒武紀MLU，華為昇騰正在適配中）。BasicTS目前支持50多種Baseline、20多個Benchmark，包含了最新流行的大部分算法和數據集，可以一鍵復現并快速開發。你可以在這里找到BasicTS的上手教程：中文 ｜ 英文 。

在評估指標方面，BasicTS選擇在反歸一化之后的數據上，計算相對誤差（MAE、MAPE）和絕對誤差（MAPE、WAPE）兩種、四個指標。

評估指標

BasicTS的建立解決了在評測結果上的爭議，為后續的評測奠定了基礎。

然而，技術路線上的爭議仍然存在。他們因何產生，又如何解釋？

5. 異質性分析——被忽略了的核心問題

技術路線的爭議主要是在探討模型結構是否有效。

每一篇研究都有非常堅實的證據來證明自己的論據，看起來大家都是對的（也可能都是錯的）。但如果拋開模型不談，有沒有可能問題出在數據上，而不是模型？

下面我們聚焦于多變量時間序列（MTS）數據集的異質性，并深入探討如何用它來解釋看似矛盾的實驗結果。

首先，MTS數據往往來自于其背后的一個時空系統，例如電力、能源、交通、金融等。由于這些系統特點的差異，采集出的MTS數據往往呈現出完全不同的模式，即異質性。

這和CV或者NLP完全不同，這兩者通常共享某些常見的模式，例如ImageNet和CoCo數據集的視覺模式是相似的，不同文本數據集的模式也是相似的，并且這些數據集的模式通常是豐富且封閉的：數據的語義信息通常是固有的，不隨未知的外部因素變化。

而時間序列完全相反。一方面，不同數據集（Domain）的數據模式可能完全不同，另一方面，時間序列收到外部未知因素的影響太大。

本文基于數據的時間和空間異質性對數據集進行了分類。我們主張，不同類型的模式意味著不同的核心瓶頸，也就對應著不同的解決方案。

這也意味著特定的技術方法僅適用于某些特定類型的數據。忽視這種數據異質性可能導致看似矛盾的實驗結果，并且無法選擇正確的技術方法。

5.1 時間維度：分布漂移或許才是核心的挑戰

本文根據時間維度的異質性將數據集分為三類：具備穩定模式、顯著分布漂移和模式不明確的數據集。我們選取了三個代表性數據集——PEMS03、ETTh2和ExchangeRate，進行分析并展示了它們的原始時間序列。此外，我們通過 t-SNE 算法對數據進行降維，并使用核密度估計展示了訓練集與測試集的分布：

• PEMS03（城市交通流量數據）具備清晰且穩定的周期性模式，符合城市交通的規律性；

• ETTh2（變壓器傳感器數據）雖然有周期性，但受外部因素影響，周期和均值發生漂移，呈現顯著分布變化；

• ExchangeRate（貨幣匯率數據）幾乎沒有可辨識的模式，因其受復雜的經濟政策和不可預測因素影響。

PEMS03、ETTh2、ExchangeRate三個數據集部分數據的可視化

基于t-SNE和核密度估計的數據分布可視化

通過對這些數據集的分布分析，我們發現，PEMS03 的訓練集和測試集分布相似，然而 ETTh2 和 ExchangeRate 的分布相對不一致。

這樣的異質性可以解釋為何常見的先進神經網絡（如Transformer模型）與基礎網絡（如Linear模型）表現出矛盾的結果：Transformer模型雖然強大，但它們往往基于較強的Bias，在存在分布漂移或模式不明確的數據集上容易過擬合。而線性模型因其簡單性，雖然欠擬合復雜模式，但在面對這些數據集時卻能保持較好的魯棒性。

因此，我們得出假設：

• 在穩定且周期性強的數據集上，復雜模型（如Transformer）能有效捕捉模式，即Transformer > Linear;

• 而在模式不明確或分布漂移明顯的數據集上，簡單的模型反而可能表現更優，即Linear > Transformer

這提醒我們，選擇模型時應考慮數據的本質特征，避免盲目追求復雜性。

5.2 空間維度：所謂的“依賴“或許是數據的不可區分性

相比時間維度，空間依賴關系更難以理解和量化。雖然許多研究通過圖卷積網絡（GCN）來建模時間序列之間的相互作用，但對空間模式的理解和量化仍然不足。幸運地是，最近的兩項研究，ST-Norm和STID，提出了一個重要概念——空間不可區分性，揭示了空間依賴的核心問題。

基于這一思路，我們首次設計了量化指標，幫助區分不同類型的多元時間序列（MTS）數據集。我們將數據集分為兩類：具有顯著空間不可區分性和無顯著空間不可區分性。

空間不可區分性意味著在某個時刻，歷史數據相似但未來數據不同，普通的回歸模型（如MLP或更復雜的Transformer）無法通過相似的歷史數據準確預測出不同的未來——即不可區分。

不可區分性的衡量指標

為了量化這一現象，我們提出了兩個關鍵指標： 和 。其中， 衡量不可區分樣本在所有樣本中的比例，而 則精細衡量不可區分樣本在歷史相似數據中的比例。

不同數據集中，樣本不可區分性的比例

通過計算這兩個指標，我們發現了一些有趣的現象：例如，ETT、Electricity、ExchangeRate 和 Weather 數據集的 和 值較低，說明它們的空間不可區分性較弱，空間依賴對預測性能影響不大；METR-LA、PEMS-BAY、PEMS04和PEMS08數據集的 和 值顯著更高，表明這些數據集的空間不可區分性較強，空間依賴對于預測至關重要。這些發現為我們提供了啟示：

• 對于空間不可區分性弱的數據集，建?？臻g依賴可能并非必要，甚至可能影響模型性能(如無必要，勿增實體）。

• 對于空間不可區分性強的數據集，解決這一問題就能顯著提升預測效果，無論是利用圖卷積、正則化、還是時空身份附加。

即，空間依賴的建模效果與數據集的空間不可區分性密切相關，針對不同數據集，應選擇合適的空間建模策略。

總結一下，通過異質性分析，我們提出了下面的兩個假設：

基于數據異質性的兩個假設

6. 如何根據數據特點選擇合適的模型？

我們到底取得了多少進展？

6.1 時間維度：分布漂移確實是核心的挑戰

為了驗證上述假設1，我們在兩組、四個數據集上做了實驗：

• PEMS04、PEMS08：具備清晰、穩定的模式

• ETTh2、ETTm2：具備顯著的分布漂移

Transformer v.s. Linear on Heterogeneous MTS Datasets.

如上表所示，顯然不同的模型在不同性質的數據集上模式的表現完全不同。

FEDformer、DLinear分別在PEMS08、ETTh2上的損失變化曲線

Tensorboard中損失指標的變化也應證了我們的結論：在PEMS08上，FEDformer表現正常，而DLinear出現了欠擬合問題；在ETTh2上，DLinear表現正常，而FEDformer則出現了嚴重的過擬合。

6.2 空間維度：樣本的不可區分性是重要議題

同理，為了驗證假設2，我們也在另外兩組、四個數據集上做了實驗：

• LA、BAY：具備顯著的空間樣本不可區分性

• ER、ETTm1：不具備顯著的樣本不可區分性

我們選擇了STID、AGCRN兩個用不同方式建?？臻g依賴的模型，并將其空間依賴建模模塊刪除，得到了STID* 和 ACGRN*。實驗結果如下所示：

空間建模的有效性

顯然，空間不可區分性就是所謂的“空間依賴”的本質之一。在具備該特點的數據集上，使用任意的“空間依賴”建模手段，都會提升性能。但在不具備該特點的數據集上，簡單地使用上述模型會引起性能的下降。此時，需要更精細地挖掘變量之間的關聯。

6.3 給定數據集，如何選擇和設計一個MTS預測模型？

基于上述發現，我們就可以有在目前的技術框架下，選擇和設計MTS預測模型的路線圖。

• 給定一個MTS數據集，檢查它在時間維度上是否具備清晰、穩定的模式

• • 模型結構：采用一些“弱偏”模型，例如Linear、MLP、原生的Transformer

  • 動態分布漂移建模：在這種情況下，建模動態的數據分布是更重要的選擇，例如采用遷移學習、持續學習等方式。

  • 特征工程：獲取更多的信息，比如文本、圖像、事件數據，來輔助做出更好的預測。

  • 不確定性估計：不強求準確預測，而是采用更實用的概率預測、區間預測

  • 假如是：使用一些序列模型+空間依賴建模方法，例如STGNN、STNorm、STID等

  • 假如否：使用序列模型即可，例如CNN、RNN、Transformer等

  • 假如是：檢查它在空間維度上是否具備顯著地樣本不可區分性。

  • 假如否（很不幸，現實場景下大多會走到這個分支）：

設計和選擇MTS模型的路線圖

另外，為了更好地理解我們目前去的了多少進展，我們集中做了一波評測?？梢钥吹降氖?，無論是時空預測還是長序列預測，其實SOTA之間的差距并不是特別的明顯。

時空預測的STID、長序列預測的LTSF，這兩個模型其實性能已經不錯了。他們很適合作為一個backbone，來檢驗其他工作是否有效——因為他們已經是最簡單的模型了。一個復雜的模型應當顯著地超越他們，或者有其他的閃光點，或許才能cover住復雜度帶來的負面影響。

另外，不同數據集的特點顯然是完全不同的，這些工作很難被放在一起比較。如果您是做時空預測（或者長序列預測）的，但審稿人非讓您對比長序列預測（或者時空預測）的工作，現在您就可以用本文為依據進行回應了～

在METR-LA、PEMS-BAY、PEMS03、PEMS04、PEMS07、PEMS08上的時空預測結果

在PEMS04、PEMS08、ETTh1、ETTm1、Electricity、Weather、ER數據集上的長序列預測結果

7. 開放討論：時間序列預測的困境

以及有價值的研究方向

7.1時序預測的悖論和核心瓶頸：

顯然，時間序列預測（無論是長序列還是時空預測）已經陷入了一定程度的“內卷”。其中很大原因在于時間序列數據本身的特性。筆者一直認為，時間序列預測存在一個悖論：那些可預測的時間序列往往具備穩定、清晰的模式，這種情況下，使用一些簡單的方法即可實現良好的預測效果，并不需要復雜的模型。而對于那些不具備清晰、穩定模式的時間序列，即便設計出復雜的模型，效果也未必顯著，反而容易因數據的分布漂移導致過擬合。

因此，真正具有挑戰性、且值得深入研究的部分在于時間序列的分布漂移。分布漂移通常由外部因素引發，這意味著時間序列數據并不完全由歷史數據決定，未來的變化往往依賴于許多未知的外部協變量。每個應用領域（Domain）中的外部因素各不相同，增加了預測的難度和不確定性。

7.2 有價值的研究方向

上述發現并不是對時序預測的悲觀評價，恰恰相反，它們揭示了這個領域尚有許多值得探索的方向，且已有許多前沿研究正在快速發展（大佬們太卷了）。以下是筆者認為目前較有前景的幾大趨勢：

• 數據處理的趨勢：由于模型復雜性并不是預測效果的核心瓶頸，普通的時序預測設置下，SOTA模型趨向于簡化結構。相比復雜的網絡，研究重點轉向對數據的合理分解與變換，甚至采用一些簡單、樸素的方法，找到數據中“不漂移”的部分，從而實現更穩健的預測性能。例如，SSCNN、FOIL.

  SSCNN: [NeurIPS‘24] Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting FOIL: [ICML’24]Time-Series Forecasting for Out-of-Distribution Generalization Using Invariant Learning

• 模型發展的趨勢：受自然語言處理（NLP）大模型的影響，時序大模型正成為一個熱門方向。通過擴展數據規模和模型規模，時序大模型能夠更深入地理解歷史數據的波動，從而提供更準確的預測，甚至零樣本預測。然而，與NLP大模型相比，時序大模型的訓練成本和效率仍需提高，推理速度相對較慢。例如，Chronos、UniTS、MOIRAI等模型在這一領域表現出色。此外，多模態融合的嘗試也令人矚目，尤其是時間序列和NLP、CV的碰撞，如VisionTS與TimeLLM，展示了極具潛力的效果。

  Chronos: Chronos: Learning the Language of Time Series UNITS: [NeurIPS‘24] UNITS: A Unified Multi-Task Time Series Model MOIRAI: [ICML’24]Unified Training of Universal Time Series Forecasting Transformers VisionTS: VisionTS: Visual Masked Autoencoders Are Free-Lunch Zero-Shot Time Series Forecasters Time-LLM: [ICLR‘24]Time-LLM: Time Series Forecasting by Reprogramming Large Language Models

• 策略創新的趨勢：一些研究通過引入分布漂移檢測機制，使模型能夠在在線環境下自動適應漂移，從而提高模型的有效性。例如，Saleforce的Chenghao Liu老師開發的SOLID框架就是這類創新工作的代表之一。

  SOLID: [KDD’24]Calibration of Time-Series Forecasting: Detecting and Adapting Context-Driven Distribution Shift

• 因果關系挖掘：雖然目前許多使用圖神經網絡（GNN）的研究試圖捕捉變量之間的因果關系，但大多仍停留在解決數據層面的不可區分性問題上。實現真正的因果關系挖掘，是一個非常有吸引力且極具潛力的研究方向。

8. 總結

總的來說，在本研究中，我們針對多元時間序列（MTS）預測領域中實驗結果不一致以及技術方向選擇困難的問題進行了分析，揭示了實際取得的進展。

首先，我們引入了一個新的基準框架——BasicTS，該框架旨在實現MTS預測解決方案的公平和合理的比較。通過采用統一的訓練流程，BasicTS解決了性能不一致的問題，并提供了更為合理的評估程序。

其次，我們深入探討了MTS數據集的異質性。在時間維度上，我們根據數據集是否呈現出清晰穩定的模式、顯著的分布漂移或不明確的模式進行分類；在空間維度上，我們設計了衡量空間依賴性的指標，將數據集劃分為具有顯著空間不可區分性和不具有顯著空間不可區分性兩類。

我們結論是，許多先前研究得出的結論僅適用于某些特定類型的數據，將這些結論泛化會導致研究人員得出適得其反的推論。

此外，借助BasicTS及其相關的MTS數據集，我們對當前流行的解決方案進行了廣泛的分析與比較。這些研究成果為MTS預測領域的進展提供了寶貴的見解，幫助研究人員選擇合適的解決方案或數據集，并得出更可靠的結論。

時序時空大模型讀書會

現代生活產生了大量的時序數據和時空數據，分析這些數據對于深入理解現實世界系統的復雜性和演化規律至關重要。近期，受到大語言模型（LLM）在通用智能領域的啟發，"大模型+時序/時空數據”這個新方向迸發出了許多相關進展。當前的LLM有潛力徹底改變時空數據挖掘方式，從而促進城市、交通、遙感等典型復雜系統的決策高效制定，并朝著更普遍的時空分析智能形式邁進。

集智俱樂部聯合美國佐治亞理工學院博士&松鼠AI首席科學家文青松、香港科技大學（廣州）助理教授梁宇軒、中國科學院計算技術研究所副研究員姚迪、澳大利亞新南威爾士大學講師薛昊、莫納什大學博士生金明等五位發起人，共同發起以，鼓勵研究人員和實踐者認識到LLM在推進時序及時空數據挖掘方面的潛力，共學共研相關文獻。讀書會已完結，現在報名可加入社群并解鎖回放視頻權限。

詳情請見：

1.

2.

3.

4.

5.

6.