時序Pattern提取+語義對齊增強(qiáng)基于LLM的時序預(yù)測效果
今天給大家介紹一篇時間序列大模型研究工作。這項工作基于預(yù)訓(xùn)練的語言模型，增強(qiáng)時間序列預(yù)測效果，文中提出了多層次、多頻率表征抽取和語義對齊模塊，實現(xiàn)LLM在時間序列數(shù)據(jù)形式上更好的應(yīng)用。
論文標(biāo)題：LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics
下載地址：??https://arxiv.org/pdf/2503.09656??
1.研究背景
使用大模型進(jìn)行時間序列預(yù)測已經(jīng)成為一個目前的熱點研究方向。然而，目前借助預(yù)訓(xùn)練大語言模型進(jìn)行時序預(yù)測，存在2個核心難點。首先是時間序列的多樣化的pattern，和文本差異比較大，文本的含義都是穩(wěn)定的，而時間序列數(shù)據(jù)經(jīng)常出現(xiàn)各種各樣的不同變化，給語言模型適配時間序列數(shù)據(jù)帶來難度。其次，相比文本token的確定性含義，時間序列需要相對較長的序列長度才能具有明確的含義，比如是上漲趨勢還是下降趨勢，這給如何將時間序列轉(zhuǎn)換成文本token帶來難度。
為了解決上述問題，本文提出了LLM-PS方法，通過多層次的卷積網(wǎng)絡(luò)提取不同類型的序列信息，并通過序列表征和token embedding的對齊實現(xiàn)將時間序列映射到文本表征的作用。LLM-PS在多個數(shù)據(jù)集上取得了效果提升，下面給大家展開介紹一些具體實現(xiàn)方法。
2.建模方法
本文的核心模型結(jié)構(gòu)如下圖所示，整體的工作流程如下。對于原始時間序列，使用多層次的卷積和小波變換，提取局部/全域信息以及高頻/低頻信息。同時，構(gòu)建Time-Text模塊進(jìn)行時間序列和LLM詞向量空間的對齊關(guān)系。最后通過時序表征和對齊后的文本表征聯(lián)合優(yōu)化，基于LoRA進(jìn)行大模型的微調(diào)。
首先介紹第一個核心模塊MSCNN。這個模塊用來從原始時間序列中提取長短周期等信息，解決時間序列pattern多樣性的問題。MSCNN通過多層的卷積進(jìn)行表征提取，每層卷積為3*3的卷積核，通過多層嵌套逐步擴(kuò)展感受野，得到從局部到全局的多組時序表征F。
這些表征，分別使用小波變化，分界處低頻和高頻信號，對低頻和高頻部分分別使用逆向小波變換，還原出對應(yīng)的低頻和高頻表征。同時，使用從全局到局部和從局部到全局的各個F對應(yīng)低頻和高頻信號進(jìn)行逐層加和，得到高頻部分從局部到全局的表征，以及低頻部分從局部到全局的標(biāo)注。MSCNN模塊可以說起到了從多個維度相對全面將時間序列表征進(jìn)行解耦抽取的作用。
接下來介紹第二個模塊，Time-Text模塊。這個模塊的核心是將時序表征映射到LLM的詞向量空間，實現(xiàn)時間序列到文本的轉(zhuǎn)換。其核心是通過patch對原始時間序列進(jìn)行處理，并進(jìn)行75%的大比例隨機(jī)mask，通過Encoder生成中間表征，Decoder還原，類似于一個自編碼器。其中Encoder的中間表征和LLM的embedding計算相似度，根據(jù)相似度將每個patch映射到對應(yīng)的文本上。
最后，這兩部分表征會進(jìn)行融合，作為LLM的輸入進(jìn)行時序預(yù)測，使用LoRA進(jìn)行LLM的微調(diào)，以MSE作為損失函數(shù)進(jìn)行訓(xùn)練。
3.實驗效果
文中對比了多元長周期時序預(yù)測、短期時序預(yù)測，LLM-PS取得了顯著效果提升。
本文轉(zhuǎn)載自??圓圓的算法筆記??
