本文對基于適配器的可遷移推薦系統(tǒng)進行了實驗探索和深入研究。發(fā)現(xiàn)在文本推薦方面，基于適配器的可遷移推薦取得了有競爭力的結果；在圖像推薦方面，基于適配器的可遷移推薦略落后于全量微調(diào)。后續(xù)本文對四種著名的適配器微調(diào)方法進行了基準測試，并深入研究了可能影響適配器微調(diào)在推薦任務中的幾個關鍵因素。

論文題目：Exploring Adapter-based Transfer Learning for Recommender Systems: Empirical Studies and Practical Insights

論文鏈接：https://arxiv.org/abs/2305.15036

代碼鏈接：https://github.com/westlake-repl/Adapter4Rec/

一、研究動機

可遷移的推薦系統(tǒng) (TransRec) 通常包含一個用戶編碼器和一個或多個基于模態(tài)的物品編碼器，其中基于模態(tài)的物品編碼器通常是經(jīng)過預訓練的 ViT, BERT, RoBERTA, 與 GPT 等模型，他們往往包含很大的參數(shù)量。常見使用 TransRec 的范式是先經(jīng)過一個源域數(shù)據(jù)集的預訓練之后再遷移到目標域，遷移的過程往往都需要再進行微調(diào)。

傳統(tǒng)的全參數(shù)微調(diào) (Fine-tune All, FTA) 是很有效的方式，但它存在如下幾個問題： 

• 如上圖所示，推薦系統(tǒng)往往都包含一個主頻道和多個垂直頻道，如果想利用主頻道預訓練過的模型遷移至每個垂直頻道，則每個垂直通道的模型更新、維護和存儲都需要很多額外成本；
• 全參數(shù)微調(diào)往往存在過擬合問題；
• 昂貴的訓練成本，往往微調(diào)越大的模型所需要的 GPU 顯存越高。

這促使研究者們在 TransRec 中探索基于適配器 (Adapter) 的高效微調(diào)范式 (Adapter tuning, AdaT) 。AdaT 與傳統(tǒng) FTA 的比較如下圖所示，AdaT 僅僅微調(diào)新插入的適配器和對應的 layer-normalization 層：

適配器是一種在 NLP 和 CV 中廣泛采用的參數(shù)高效方法用于解決高效遷移大規(guī)模基礎模型，然而在當前 TransRec 范式的推薦系統(tǒng)領域并沒有被系統(tǒng)的探究過該方法的有效性。針對于該有效性的探究，論文提出如下幾個關鍵研究問題： 

• RQ1: 基于適配器的 TransRec 性能上能否與典型的基于微調(diào)的 TransRec 相當？該結論適用于不同模態(tài)的場景嗎？
• RQ2: 如果 RQ1 為正確或部分正確，那么這些 NLP 和 CV 社區(qū)當中流行的適配器性能又如何呢？
• RQ3: 是否有因素影響這些基于適配器的 TransRec 模型的性能？

針對于 RQ1, 論文在兩種物品模態(tài)（即文本和圖像）上對基于適配器和基于全參數(shù)微調(diào)的 TransRec 進行了嚴格的比較研究。其中包括采用兩種流行的推薦架構（即 SASRec 和 CPC）以及四種強大的模態(tài)編碼（即 BERT、RoBERTa、ViT 和 MAE）。 

針對于 RQ2, 論文對 NLP 和 CV 中廣泛采用的四種適配器進行了基準測試。還加入了 LoRA、Prompt-tuning 和 layer-normalization tuning 的結果，以進行綜合比較。 

針對于 RQ3, 該文章進行了不同策略的性能比較，這些策略包括插入適配器的方式和位置，以及是否調(diào)整相應的 layer-normalization 等。除此之外，論文還研究了 TransRec 在源域和目標域中的數(shù)據(jù)縮放效應，以考察在使用較大數(shù)據(jù)集預訓練 TransRec 時 AdaT 的有效性。

二、網(wǎng)絡架構

TransRec 架構包含兩個子模塊，即物品編碼器和用戶編碼器，這兩個模塊都基于 Transformer 模塊。論文采用插入適配器到物品和用戶編碼器當中。基于適配器的 TransRec 架構如下圖所示。論文采用 SASRec 和 CPC 框架對 TransRec 進行二元交叉熵 (BCE) 損失訓練。

三、實驗設置

數(shù)據(jù)集：論文用兩種模式對基于適配器的 TransRec 進行了評估。對于具有文本模態(tài)的物品，使用 MIND 英語新聞推薦數(shù)據(jù)集作為源域，并使用 Adressa 挪威語新聞推薦數(shù)據(jù)集作為目標域。對于視覺模態(tài)，使用亞馬遜用于服裝和鞋類的評論數(shù)據(jù)集作為目標域，并使用 H&M 個性化時尚推薦數(shù)據(jù)集作為源域。

預訓練模型的使用：文本模態(tài)采用 bert-base-uncased 和 roberta-base 模型；圖片模態(tài)采用 vit-base-patch16-224 和 vit-mae-base 模型。 

評價標準：論文采用 "leave-one-out"的策略來分割數(shù)據(jù)集：交互序列中的最后一項用于評估，最后一項之前的一項用于驗證，其余的用于訓練。評估指標采用 HR@10（命中率）和 NDCG@10（歸一化累計收益）。所有實驗結果均為測試集的結果。

四、主要發(fā)現(xiàn)

RQ1: 在文本內(nèi)容中，使用 AdaT 的 TransRec 可獲得與 FTA 相當?shù)男阅埽谝曈X場景中性能有所下降。

對比 FTA 和 AdaT 在文本和圖片場景下的實驗結果如下表所示：

RQ2: 與其他流行的參數(shù)高效微調(diào)的方法相比，經(jīng)典的Houlsby 適配器在 TransRec 中取得了最佳效果。

對比常用不同的參數(shù)高效微調(diào)方法的基準測試：

RQ3: 該文章認為，TransRec 應為用戶和物品編碼器放置適配器，以獲得最佳效果。插入位置同樣也很重要，Transformer當中的FFN (Feed-Forward Network) 和 MHA (Multi-Head Attentions) 的后面一層都需要單獨的適配器模塊。其次插入方式 (串行或并行) 和 LayerNorm 優(yōu)化等其他因素對于推薦任務的性能上并不重要。

插入適配器的位置到物品 (Ei) 或用戶編碼器 (Eu) 的性能對比：

插入適配器到 MHA 和 FFN 之后的位置的性能對比：

采用序列和并行插入的性能對比：

除此之外，該文章還進行了充分的數(shù)據(jù)縮放實驗，發(fā)現(xiàn) TransRec 的遷移學習中如果有更多預訓練的源領域數(shù)據(jù)，目標域性能會有更大的提升：

總結

文章發(fā)現(xiàn)了兩個事實：

• 在文本推薦方面，與微調(diào)所有參數(shù) (FTA) 相比，AdaT 取得了有競爭力的結果；
• 在圖像推薦方面，AdaT 性能良好，但略落后于 FTA。

論文對四種著名的 AdaT 方法進行了基準測試，發(fā)現(xiàn)經(jīng)典的 Houlsby 適配器性能最佳。隨后，該文章深入研究了可能影響 AdaT 在推薦任務中的結果的幾個關鍵因素。最后，論文發(fā)現(xiàn) TransRec 的 AdaT 和 FTA 符合理想的數(shù)據(jù)縮放效應——TransRec 在增大源領域數(shù)據(jù)時能提升性能。

該工作為模態(tài)推薦模型的參數(shù)高效遷移學習提供了重要指導。它對推薦系統(tǒng)社區(qū)的基礎模型也有重要的實際意義，是實現(xiàn)推薦系統(tǒng)社區(qū)“one model for all”的目標上重要的一環(huán)。該方向未來的工作包括探究圖片推薦當中如何提升 AdaT 的性能以及引入更多不同的模態(tài)等。

本文轉(zhuǎn)載自PaperWeekly

原文鏈接：??https://mp.weixin.qq.com/s/U9KM_XdbTrKGco8fzuXBbA??