本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

現在，讓機械狗自己打滾一個小時，它就能學會走路了！

步態看著相當有模有樣：

還能扛住大棍子的一通狂懟：

就算是摔了個四仰八叉，翻個身自己又站起來了：

如此看來，訓機械狗和普通訓狗真是要沒什么兩樣了啊。

這就是UC伯克利大學帶來的最新成果，讓機器人直接在實際環境中訓練學習，不再依賴于模擬器。

應用這一方法，研究人員在短時間內訓練出了4個機器人。

比如開頭看到的1小時學會走路的機械狗；

還有2個機械臂，在8-10小時實戰抓取后，表現接近于人類水平；

以及一個擁有計算機視覺的小機器人，在自己摸索2小時后，能絲滑地滾動到指定位置。

該研究由Pieter Abbeel等人提出，Pieter Abbeel是吳恩達的第一位博士生，前不久他剛剛獲得2021 ACM 計算獎（ACM Prize in Computing）。

目前，該方法的所有軟件基礎架構已經開源。

一個叫做“空想家”的算法

本文方法的pipeline大致可分為4步：

第一步，是先把機器人放在真實環境里，收集數據。

第二步，把這些數據傳輸到Replay Buffer。這一步驟就是利用歷史數據進行訓練、“總結經驗”，高效利用收集到的樣本。

第三步，World Model會對已有經驗進行學習，然后“腦補”出策略。

第四步，再用演員評論家（Actor Critic）算法來提升策略梯度法的性能。

然后循環往復，將已經提煉出的辦法再使用到機器人身上，最后達到一種“自己摸索學習”的感覺。

具體來看，這里的核心環節是World Model。

World Models是2018年由DAVID HA等人提出的一種快速無監督學習方式，獲得了NIPS 2018的Oral Presentation。

它的核心理念是認為人類是基于已有經驗，形成了一個心理世界模型，我們所做的決定和行動都是基于這個內部模型。

比如人類在打棒球時，做出反應的速度遠比視覺信息傳達到大腦中的快，那么在這種情況下還能正確回球的原因，就是因為大腦已經做出了本能的預測。

此前，基于World Model這種“腦補”的學習方法，谷歌提出了Dreamer這種可擴展的強化學習方法。

這一次提出的方法是在此基礎上，叫做DayDreamer。

（貌似可以叫做空想家？）

具體來看，World Model就是一個智能體模型。

它包括一個視覺感知組件，能將看到的圖像壓縮成一個低維的表征向量作為模型輸入。

同時還有一個記憶組件，可以基于歷史信息，對未來的表征向量做出預測。

最后，還包括一個決策組件，它能基于視覺感知組件、決策組件的表征向量，決定采取怎樣的動作。

現在，我們回到本次UC伯克利學者提出的方法。

不難發現，其中World Model Learning部分的邏輯就是一個經驗積累的過程，Behavior Learning部分則是一個動作輸出的過程。

本篇論文方法的提出，主要解決了機器人訓練中兩方面的問題：

效率和準確率。

一般來說，訓練機器人的常規方法是強化學習，通過反復實驗來調整機器人的運作。

不過這種方法往往需要非常大量的測試，才能達到很好的效果。

不僅效率低下，而且訓練需要付出的成本也不低。

后來，不少人提出在模擬器中對機器人進行訓練，可以很好增效降本。

但是本文作者認為，模擬器訓練方法在準確性方面的表現還是不夠好，只有真實的環境才能讓機器人達到最好的效果。

從結果來看，在訓練機器狗的過程中，只花10分鐘時間，機器狗就能適應自己的行為了。

和SAC方法對比來看，效果有明顯提升。

在機械臂訓練過程中，這一新方法還克服了視覺定位和稀疏獎勵的挑戰，幾小時內的訓練成果明顯優于其他方法。

研究團隊

值得一提的是，本次帶來新成果的研究團隊成員，也非常令人矚目。

其中，Pieter Abbeel是吳恩達的開山大弟子。

他現在是UC伯克利電氣工程和計算機科學教授，伯克利機器人學習實驗室主任，伯克利AI研究院共同主任，曾加入過OpenAI。

前不久，他還獲得了2021 ACM 計算獎（ACM Prize in Computing），以表彰其在機器人學習方面的貢獻。

與此同時，他還是AI機器人公司Covariant的聯合創始人。

另一位Ken Goldberg，也是AI領域的頂級專家。

他現在是UC伯克利工程教授，研究方向為強化學習、人機交互等。

2005年，他被評選為IEEE院士。

與此同時，Goldberg還是一位藝術家，是UC伯克利藝術、科技文化研討會的奠基人。

此外，Philipp Wu、Alejandro Escontrela、Danijar Hafner三人為共同一作。

其中Philipp Wu還只是UC伯克利一位大四的學生。

One More Thing

在觀看機械狗訓練的視頻時，我們發現研究人員使用的是Unitree機械狗。

這個品牌來自中國企業宇樹科技，之前登上過春晚的機器小牛，也來自它家。

而且，最近宇樹機器狗集體進行Go1測試的視頻曝光，還在國外火了一波。

論文地址：

https://danijar.com/project/daydreamer/