目前，工業中通常使用AI系統執行各類模式識別與預測分析任務。例如，AI系統可以識別圖像中的模式以檢測人臉(人臉識別)，或者發現銷售數據中的模式以預測需求變化等等。而在另一方面，強化學習方法能夠在具備反饋循環的應用中做出最佳決策或采取最佳行動。通過兩個直觀用例，相信大家已經對AI與強化學習之間的區別與聯系建立起初步了解。

[[392924]]

假定我們使用AI技術運營一家制造工廠。AI提供的模式識別功能可用于質量保證，包括通過掃描圖像及最終產品以檢測設計乃至制造層面的缺陷。另一方面，強化學習系統則可以對制造流程所遵循的策略(例如確定需要運行的生產線、控制機器/機器人、確定要制造的產品類型等)進行計算與執行，不斷結合反饋信息發現現有策略中的改進空間，在保證一定產品質量水平的同時最大程度提升特定指標(例如產量)。以往，這類問題由于涉及大量影響因素而難以被常規AI系統所解決，但強化學習的出現無疑帶來了希望的曙光。

在使用強化學習計算最佳策略或政策時，相關算法面臨的主要挑戰在于“時間信用分配”問題。具體來講，在特定系統狀態之下(例如「機器的當前輸出水平，每條流水線的繁忙程度」等)，行為(例如「星期三運行1號生產線」)對整體效能(例如「總產量」)產生的影響往往需要一段時間后才能確定。更讓人頭痛的是，總體效能還會受到具體操作方式的左右?？偠灾?，我們在預先制定策略與評估效果時，往往很難判斷哪些是好選擇、哪些是壞想法。在這類復雜問題中，大量潛在的系統狀態還會引發恐怖的“維度詛咒”，進一步加劇結果的不確定性。但好消息是，強化學習近年來在實驗室中的出色表現為解決這類難題帶來了值得期待的希望。

之前，強化學習的卓越性能主要表現在棋類游戲與電子游戲領域。單憑對屏幕上圖像及游戲得分這兩項輸入信息，強化學習系統就很快在各類雅達利游戲中橫掃人類玩家，給整個AI社區留下了深刻印象。而這套出色的系統，是由倫敦AI研究實驗室DeepMind于2013年所一手創造。后來，DeepMind又從AlphaGo代理起步構建起一系列強化學習系統(也稱代理)，能夠在圍棋對抗中輕松擊敗世界頂尖玩家。憑借著2015年至2017年之間的這一系列壯舉，強化學習之名席卷全球。而在圍棋這一擁有無數擁躉、且向來以高復雜度與中遠期戰略思考著稱的腦力運動中拔得頭籌，也讓人們對于強化學習的未來應用充滿好奇。

在此之后，DeepMind以與AI研究實驗室OpenAI發布了面向《星際爭霸》與《DOTA 2》游戲的系統，其同樣與全球頂尖人類玩家打得有來有往。看起來，強化學習在這類要求嚴謹戰略思考、資源管理與游戲內多單位操控/協調的場景下仍然擁有不俗的表現。

通過讓強化學習算法完成數百萬盤游戲，系統一步步摸索出哪些策略真實有效，而哪些策略更適用于針對不同類型的對手及玩家。以強大的算力為基礎，強化學習算法往往會采用多種思路，并一一嘗試不同策略的具體效果。該系統會嘗試策略空間窮舉、自我對抗、多策略聯動以及學習人類玩家策略等多種方式，快速在策略空間探索與沿用現有良好策略之間取得平衡點。簡單來講，大量的試驗使得系統得以探索出多種不同游戲狀態，而復雜的評估方法則讓AI系統摸索出在合理的游戲形勢下、哪些策略或操作能夠實現良好的中長期收益。

但在現實世界中使用這些算法的主要障礙，在于我們不太可能逐一完成這數百萬次試驗。好消息是，有新的解決方案能夠解決這個難題：首先為應用場景創建起計算機模擬環境(制造工廠或市場模擬環境等)，而后使用強化學習算法從中整理出最佳策略，最后再將總結出的最佳策略納入實際場景、通過進一步調參反映現實世界。OpenAI就曾在2019年進行過一輪引人注目的演示，通過訓練機器人手臂單手解開魔方來證明這種模擬訓練方法的有效性。

但要讓這種方法切實起效，模擬環境必須能夠準確表達潛在問題。從某種意義上說，待解決的問題在模擬環境中就已經得到某種形式的“解決”，不可有任何影響系統性能的外部因素。例如，如果模擬的機器人手臂與真實機器人手臂相差太大，那么實際操作時手臂就沒辦法拿穩小小的魔方。在這種情況下，就算模型本身得到了正確訓練、也擁有了良好的抗干擾能力，仍然不可能達到預期目標。

這種種限制給強化學習的實際應用帶來了巨大的挑戰，甚至有可能帶來令人不快的意外。在早期制造工廠示例中，如果將其中某臺設備替換為速度更快或更慢的機器，則可能改變廠內的整體生產動態，導致我們不得不重新訓練強化學習模型。雖然同樣的情況也會影響到一切強化控制系統，但人們對于強化學習方案的期望明顯更高，所以必須想辦法消除這些不符合預期的問題。

無論如何，強化學習在現實場景中的應用確實展現了光明的未來，也已經有眾多初創企業在嘗試使用強化學習技術控制制造機器人(Covariant、Osaro、Luffy)、管理生產規劃(Instadeep)、企業決策(Secondmind)、物流(Dorabot)、電路設計(Instadeep)、控制自動駕駛汽車(Wayve、Waymo、Five AI)、控制無人機(Amazon)、運營對沖基金(Piit.ai)乃至更多模式識別型AI系統無法輕松應對的現實場景。

另外，各大高科技企業也已經在強化學習研究方面投入大量資金。谷歌就在2015年以4億英鎊(約合5.25億美元)收購了DeepMind。但為了保持競爭優勢，雙方均未公布更多交易細節。

也許當前的強化學習應用還顯得有些笨拙且步履蹣跚，但在強大算力與雄厚財力的雙重加持之下，其很可能在不久的將來成為市場上不容忽視的核心技術成果。