Transformer模型自發布后，很快就成了自然語言處理和計算機視覺領域在有監督學習設置下的主流神經架構。

雖然Transformer的熱潮已經開始席卷強化學習領域，但由于RL本身的特性，例如需要進行獨特的特征、架構設計等，當前Transformer與強化學習的結合并不順利，其發展路線也缺乏相關論文進行貫穿性地總結。

最近來自清華大學、北京大學、騰訊的研究人員聯手發表了一篇關于Transformer與強化學習結合的調研論文，系統性地回顧了在強化學習中使用Transformer的動機和發展歷程。

論文鏈接：https://arxiv.org/pdf/2301.03044.pdf

文章中對現有的相關工作成果進行分類，并對每個子領域進行深入討論，最后還總結了該研究方向的未來前景。

Transformer配RL

強化學習（RL）為序列決策（sequential decision-making）提供了一個數學化的形式，可以讓模型自動獲得智能行為。

RL為基于學習的控制提供了一個通用框架，隨著深度神經網絡的引入，深度強化學習（DRL）的通用性在近年來也取得了巨大的進展，但樣本效率問題阻礙了DRL在現實世界中的廣泛應用。

為了解決這個問題，一個有效的機制是在DRL框架中引入inductive bias，其中比較重要的是函數近似器架構的選擇（the choice of function approximator architectures），例如DRL智能體的神經網絡的參數化。

然而，與監督學習（SL）中的架構設計相比，在DRL中選擇架構設計的問題仍然沒有得到充分的探討，大多數現有的關于RL架構的工作是由（半）監督學習社區的成功所激發的。

例如，處理DRL中基于圖像的高維輸入的常見做法是引入卷積神經網絡（CNN）；處理部分可觀察性的另一種常見做法是引入遞歸神經網絡（RNN）。

近年來，Transformer架構在廣泛的SL任務中徹底改變了學習范式，并表現出比CNN和RNN更優越的性能，比如Transformer架構能夠對較長的依賴關系進行建模，并具有出色的可擴展性。

受SL成功啟發，行業內對在強化學習中應用Transformer的興趣激增，最早可以追溯到2018年的一篇論文，其中自注意機制被用于結構化狀態表示的關系推理。

之后，許多研究人員開始試圖將自注意力應用于表示學習，以提取實體之間的關系，從而可以更好地進行策略學習。

除了狀態表示學習外，先前的工作還用Transformer來捕捉多步驟的時間依賴性，以處理部分可觀察性問題。

最近，離線RL由于其利用離線大規模數據集的能力而受到關注，相關研究結果也表明，Transformer架構可以直接作為序列決策的模型，并可推廣到多個任務和領域。

這篇調研論文的目的是介紹Transformers in Reinforcement Learning領域（TransformRL）。

盡管Transformer已經被認為是目前大多數SL研究的基礎模型，但它在RL社區的探索仍然較少。事實上，與SL領域相比，在RL中使用Transformer作為函數近似器需要解決一些不同的問題：

1. RL智能體的訓練數據通常是當前策略的函數，這在Transformer學習的過程中會引起不平穩性（non-stationarity）。

2. 現有的RL算法通常對訓練過程中的設計選擇高度敏感，包括網絡架構和容量等。

3. 基于Transformer的架構經常受到高計算和內存成本的影響，也就是說訓練和推理起來既慢又貴。

比如在一些游戲中的人工智能案例中，樣本生成的效率在很大程度上影響了訓練性能，取決于RL策略網絡和價值網絡的計算成本。

TransformRL的未來

論文中簡要回顧了Transformers for RL的進展情況，其優勢主要包括：

1. Transformers可以作為RL中的一個powerful模塊，比如作為一個表示模塊或世界模型；

2. Transformer可以作為一個序列決策器；

3. Transformer可以提升跨任務和領域的泛化性能。

鑒于Transformer在更廣泛的人工智能社區都表現出強大的性能，研究人員認為將Transformer和RL結合起來是一個有前途的研究方向，下面是一些關于該方向的未來前景和開放性問題。

結合強化學習和（自）監督學習

追溯TransformRL的發展，可以發現其訓練方法同時涵蓋了RL和（自）監督學習。

當作為一個在傳統RL框架下訓練的表示模塊時，Transformer架構的優化通常是不穩定的。當使用Transformer通過序列建模來解決決策問題時，（自）監督學習范式可以消除deadly triad problem。

在（自）監督學習的框架下，策略的性能深受離線數據質量的約束，利用（exploitation）和探索（exploration）之間的明確權衡不復存在，因此在Transformer學習中結合RL和（自）監督學習時，可能會學到更好的策略。

一些工作已經嘗試了監督預訓練和RL參與的微調方案，但在相對固定的策略下，探索會受到限制，這也是有待解決的瓶頸問題之一。

另外，沿著這條路線，用于性能評估的任務也相對簡單，Transfomer是否可以將這種（自）監督學習擴展到更大的數據集、更復雜的環境和現實世界的應用也值得進一步探索。

此外，研究人員希望未來的工作能夠提供更多的理論和經驗見解，以確定在哪些條件下這種（自）監督學習有望表現良好。

通過Transformer連接在線和離線學習

踏入離線RL是TransformRL的一個里程碑，但實際上，利用Transformer來捕捉決策序列中的依賴關系并抽象出策略，主要是與所使用的相當多的離線數據的支持分不開的。

然而，對于一些決策任務來說，在實際應用中擺脫在線框架是不可行的。

一方面，在某些任務中獲得專家數據并不那么容易；另一方面，有些環境是開放式的（如Minecraft），這意味著策略必須不斷調整，以處理在線互動過程中未見的任務。

因此，研究人員認為把在線學習和離線學習連接在一起是必要的。

Decision Transformer之后的大多數研究進展都集中在離線學習框架上，一些工作試圖采用離線預訓練和在線微調的范式。然而，在線微調中的分布轉變仍然存在于離線RL算法中，研究人員期望通過對Decision Transformer進行一些特殊設計來解決這個問題。

此外，如何從頭開始訓練一個在線Decision Transformer是一個有趣的開放性問題。

為Decision-making問題量身定做的Transformer結構

目前Decision Transformer系列方法中的Transformer結構主要是vanilla Transformer，它最初是為文本序列設計的，可能具有一些不適合決策問題的性質。

例如，對軌跡序列采用vanilla的自注意力機制是否合適？決策序列中的不同元素或同一元素的不同部分是否需要在位置embedding中加以區分？

此外，由于在不同的Decision Transformer算法中，將軌跡表示為序列的變體有很多，如何從中選擇，仍缺乏系統的研究。

例如，在行業中部署此類算法時，如何選擇穩健的hindsight信息？

并且vanilla Transformer也是一個計算成本巨大的結構，這使得它在訓練和推理階段都很昂貴，而且內存占用率很高，也限制了它捕獲依賴關系的長度。

為了緩解這些問題，NLP中的一些工作改進了Transformer的結構，但類似的結構是否可以用于決策問題也值得探討。

用Transformer實現更多的通用智能體

論文中對通用智能體（generalist agents）Transformers的回顧已經顯示了Transformers作為一種通用策略的潛力。

事實上，Transformer的設計允許使用類似處理blocks的方式來處理多種模態（如圖像、視頻、文本和語音），并展示了對超大容量網絡和巨大數據集的出色可擴展性。

最近的工作也在訓練能夠執行多模態和跨領域任務的智能體上取得了重大進展。

不過，鑒于這些智能體是在大規模的數據集上進行訓練的，目前還不能確定它們是否只是記住了數據集，以及它們是否能進行有效的泛化。

因此，如何學習到一個能夠在沒有強假設（strong assumption）的情況下對未見過的任務進行泛化的智能體仍然是一個值得研究的問題。

此外，研究人員也很好奇，Transformer是否足夠強大到可以用來學習一個可用于不同任務和場景的通用世界模型。

RL for Transformers

雖然文章中已經討論了RL如何從Transformer模型中受益，但反過來說，用RL來提升Transformer訓練仍然是一個有趣的開放性問題，還沒有被很好地探索過。

可以看到，最近來自人類反饋的強化學習（RLHF）可以學習到一個獎勵模型，并使用RL算法對Transformer進行微調，以使語言模型與人類意圖相一致。

在未來，研究人員認為RL可以成為一個有用的工具，進一步完善Transformer在其他領域的表現。