今天給大家介紹一篇阿里巴巴在WWW2025上發表的搜索場景CTR預估模型的工作，將相關性和CTR預估聯合建模，提升搜索場景下的推薦效果。論文標題：PRECTR:ASynergisticFrameworkforIntegratingPersonalizedSearchRelevanceMatchingandCTRPrediction下載地址：https:arxiv.orgpdf2503.183951.研究背景在搜索場景中，不僅需要做好如CTR等點擊率的預估，也需要做好相關性的預估，保證推薦出的結果和用戶搜索詞的相關性滿足要求，否則會...

在之前的文章中，我們在文章??DeepSeek簡明解析，10分鐘速通DeepSeekV1V3核心技術點！??中介紹了從DeepSeekv1到DeepSeekv3的模型升級之路。那么目前在國內外大火的DeepSeekR1和之前的DeepSeek是什么關系呢？今天這篇文章就用簡明的語言給大家介紹一下DeepSeekR1的核心技術點。DeepSeekR1是基于DeepSeekV3模型進一步進行訓練得到的，其核心優化在于訓練方式上。通過深度思維鏈文本進行強化學習、并讓模型自己生成高質量的SFT...

今天給大家介紹一篇關于如何在深度模型中引入外部變量的時間序列預測工作，通過crossattention靈活引入多種類型的外部變量補充信息，提升時序預測效果。論文標題：CITRAS:CovariateInformedTransformerforTimeSeriesForecasting下載地址：https:arxiv.orgpdf2503.240071.研究背景現有的時間序列預測模型，大多數都是在優化待預測變量的關系建模方式上。例如一些transformer模型，核心都是通過不同的attention方式建模每個時間步...

今天給大家介紹一篇ICML2025中比較有意思的論文，這篇文章深入研究了Transformer在時間序列中為什么有效，以及什么情況下效果比較差，Transformer中的哪些結構對于時間序列預測最有效。論文標題：ACloserLookatTransformersforTimeSeriesForecasting:UnderstandingWhyTheyWorkandWhereTheyStruggle下載地址：??https:papers.coolvenuekHEVCfES4QOpenReview??1.研究背景基于Transformer的時間序列預測是目前的主流方法，具體...

今天給大家介紹一篇ICML2025的時間序列預測工作，提出了一個輕量級、兼容不同類型數據的周期性差異的時間序列基礎模型，在Zeroshotlearning、Fullshotlearning等場景中都取得了顯著效果提升。論文標題：LightGTS:ALightweightGeneralTimeSeriesForecastingModel下載地址：??https:arxiv.orgpdf2506.06005??1.研究背景時間序列基礎模型希望構建類似LLM的時序領域通用模型，在大量多樣性的數據集上預訓練，訓練好的模型在下游...

今天給大家介紹一篇中科大、騰訊聯合發表的CTR預估模型優化工作，探索了多專家網絡多樣性對于模型效果的影響。論文標題：EnhancingCTRPredictionwithDecorrelatedExpertNetworks下載地址：??https:arxiv.orgpdf2505.17925??1.研究背景最近兩年，隨著ScalingLaw在各個領域的研究，推薦系統領域也開始逐漸引入這種思想進一步提升模型能力。其中，一種常見的思路是利用MoE擴大參數空間，并結合多種類型的網絡結構構建預估模型...

今天給大家介紹的這篇文章來自KDD2025，提出了一種適用于時間序列的數據增強方法，核心思路是在頻域進行重要成分的保留和非重要成分的變換，使得增強后的數據既能保證和原始數據語義相同，又能提升數據的多樣性。論文標題：FreRA:AFrequencyRefinedAugmentationforContrastiveLearningonTimeSeriesClassification下載地址：??https:arxiv.orgpdf2505.23181v1??1.研究背景數據增強是深度學習中常用的一種方法，特別是在對比...

今天給大家介紹一篇針對多變量預測單變量場景的時間序列預測優化工作。本文的核心是構建了一種基于卷積的輕量級變量間關系學習模塊，提升變量間關系學習效率和緩解過擬合問題，提升多變量預測單變量的效果。論文標題：CrossLinear:PlugandPlayCrossCorrelationEmbeddingforTimeSeriesForecastingwithExogenousVariables下載地址：??https:arxiv.orgpdf2505.23116v1??1.研究背景時間序列預測有多種問題類型。單變量時間序列...

今天給大家介紹一篇最近東南大學發表的長周期時間序列預測工作。這篇文章的側重點也是多尺度建模，但和以往工作側重對輸入進行多尺度處理不同，本文的核心是引入多尺度的預測，并對不同尺度預測結果進行變量粒度個性化的加權融合。論文標題：AMultiscaleRepresentationLearningFrameworkforLongTermTimeSeriesForecasting下載地址：??https:arxiv.orgpdf2505.08199??1、研究背景多元長周期時序預測是時間序列預測中比較有挑...

今天給大家介紹一篇使用大語言模型結合知識蒸餾方法，構建高效輕量級時間序列預測模型的方法。文中基于大語言模型通過多模態建模優化適配到時間序列數據，并進一步通過優勢知識蒸餾將大模型信息蒸餾到小模型中，實現模型尺寸不變而具備大模型知識的目的，提升時序預測效果。論文標題：EfficientMultivariateTimeSeriesForecastingviaCalibratedLanguageModelswithPrivilegedKnowledgeDistillation下載地址：??https:arxiv.org...

今天給大家介紹一篇ICLR2025中關于時間序列異常檢測的工作。這篇文章采用基于MemoryBank和Prototype的異常檢測方法，提出在此基礎上引入多尺度patch和多周期性的建模方法，進一步提升時間序列異常檢測效果。論文標題：LEARNHYBRIDPROTOTYPESFORMULTIVARIATETIMESERIESANOMALYDETECTION下載地址：??https:openreview.netpdfid8TBGdH3t6a??1.研究背景時間序列異常檢測的主流方法，是使用正常的時間序列訓練一個自編碼器，序列...

在這一節，重點展開為大家梳理在大模型之前的GPT、BERT等深度語言模型的發展過程。在大模型之前，預訓練語言模型是NLP中的核心，在pretrainfinetune這一階段的NLP發展中發揮著舉足輕重的作用。預訓練語言模型的無監督訓練屬性，使其非常容易獲取海量訓練樣本，并且訓練好的語言模型包含很多語義語法知識，對于下游任務的效果會有非常明顯的提升。本文首先介紹預訓練語言模型的里程碑方法，然后進一步介紹針對預訓練語言模型中的...

今天給大家介紹一篇時間序列大模型研究工作。這項工作基于預訓練的語言模型，增強時間序列預測效果，文中提出了多層次、多頻率表征抽取和語義對齊模塊，實現LLM在時間序列數據形式上更好的應用。論文標題：LLMPS:EmpoweringLargeLanguageModelsforTimeSeriesForecastingwithTemporalPatternsandSemantics下載地址：??https:arxiv.orgpdf2503.09656??1.研究背景使用大模型進行時間序列預測已經成為一個目前的熱點研究方向。...

在這個系列文章中，我會用通俗的語言，為大家介紹學習大模型的核心知識點。讀完這個系列的文章，你會深入理解語言大模型、多模態大模型的核心技術點，包括模型結構、訓練方式、數據處理、多模態融合等。大模型的前身是語言模型，圓圓是很早就開始在工業界研究和應用語言模型的一批人，因此對整個深度學習時代語言模型的發展歷程都有見證。當時還沒有Transformer、BERT，只有LSTM、Attention這種結構。工業界效果最好、應用最穩...

今天給大家介紹一篇華為最近發表的時間序列分類大模型工作，填補了專門用于時間序列分類的大模型工作空白，借鑒了VisionTransformer的訓練方式和模型結構，遷移到時間序列分類任務中，在多種類型的數據集上取得了不錯的效果。推薦閱讀：???2024時序預測都有哪些經典工作——匯總篇??，2024時間序列預測相關最新SOTA工作匯總，涉及模型結構、表示學習、頻域信息、擴散模型10余個專題。論文標題：Mantis:LightweightCalibrat...

今天給大家介紹一片最新的多模態時間序列預測工作。這篇文章采用了時間序列、圖像、文本三種模態的數據形式，進行時間序列預測，增強底層信息的輸入，提升時序預測效果。論文標題：TimeVLM:ExploringMultimodalVisionLanguageModelsforAugmentedTimeSeriesForecasting下載地址：??https:arxiv.orgpdf2502.04395??1.研究背景傳統的時間序列預測方法，都是最基礎的時間序列形式數據進行建模的。然而，最近一些工作將文本信息...

今天給大家介紹一篇視頻多模態大模型工作，這篇文章的核心是探索了在現有的SOTA視頻多模態大模型中，引入顯示的視頻時序建模提升模型的視頻理解能力。論文標題：ExploringtheRoleofExplicitTemporalModelinginMultimodalLargeLanguageModelsforVideoUnderstanding下載地址：??https:arxiv.orgpdf2501.16786??1.研究背景傳統的時間序列預測方法，都是最基礎的時間序列形式數據進行建模的。然而，最近一些工作將文本信息、圖...

LLaMA是目前很多SOTA開源大模型的基礎，包括DeepSeek、千問等在內的很多大模型的模型機構大體上都沿用了LLaMA。因此，LLaMA在模型結構的設計上可以說是目前大模型的一種最佳實踐。這篇文章就給大家匯總一下LLaMA的核心模型結構。LLaMA的主體結構仍然基于Transformer，本文主要介紹LLaMA各個版本相比于Transformer的改進部分，包括PreNormalization、RMSNorm、SwiGLU激活函數、RotrayEmbedding等部分。1.PreNormalization基礎的T...

最近，DeepSeek在國際上很火，一方面其效果比肩非開源模型ChatGPT，另一方面其運行成本很低。可以說，DeepSeek是目前為止最先進的大模型之一。今天這篇文章，就帶大家梳理一下從2024年至今DeepSeek發布的V1版本到V3版本的核心技術點，看看DeepSeek采用了哪些技術構建了最先進的大模型，每一次的升級基本都伴隨著訓練數據的優化、模型結構的升級、優化方式的更新。為了方便大家閱讀，本文會用比較簡潔的語言進行主要技術的介紹，...

今天這篇文章給大家匯總市面上的各類LargeLanguageModel，從模型角結構的角度、模型類型的角度進行劃分，涵蓋了目前市面上主流的LLM，一文了解各個LLM的基本實現方法和關系。從基礎模型結構的角度，預訓練語言模型可以分為Encoderonly、Decoderonly、EncoderDecoder三種類型。從市面上的LLM類型來看，可以分為GPT、LLaMA、PaLM等3個最主要的類型。下面，將這6個類別的模型，以及其中各個模型之間的關系給大家詳細介紹一下。1.模...