用Mac訓(xùn)練個(gè)機(jī)器人疊衣服，HuggingFace開(kāi)源全套教程，開(kāi)源AI機(jī)器人革命要來(lái)了？

作者：機(jī)器之心 2024-09-02 10:00:00

Remi Cadene 之前是特斯拉人形機(jī)器人 Optimus（擎天柱）項(xiàng)目的成員，3 月份被挖去 HuggingFace，領(lǐng)導(dǎo)一個(gè)新的開(kāi)源機(jī)器人項(xiàng)目 ——LeRobot，當(dāng)時(shí)引發(fā)了一些轟動(dòng)。

靠 100 條軌跡數(shù)據(jù)，在 Mac 上訓(xùn)練幾個(gè)小時(shí)，就能擁有一個(gè)可以抓取樂(lè)高積木的機(jī)械臂，這是 HuggingFace 機(jī)器人科學(xué)家 Remi Cadene 曬出的一個(gè)實(shí)例。機(jī)器人的門(mén)檻可能并沒(méi)有想象中那么高。

LeRobot 基于有史以來(lái)最大規(guī)模的眾包機(jī)器人數(shù)據(jù)集，它的代碼庫(kù)堪稱(chēng)機(jī)器人領(lǐng)域的「Transformers」。Cadene 在 X 上表示：「人工智能發(fā)展的下一步是將其應(yīng)用于我們的物理世界。因此，我們正在推動(dòng)社區(qū)共同努力構(gòu)建 AI 機(jī)器人，這對(duì)所有人開(kāi)放！」

如今，Cadene 和他的新同事正在兌現(xiàn)這一承諾。前段時(shí)間，他們發(fā)布了 DIY 機(jī)器人的深入教程，從硬件 DIY 手冊(cè)到 Jupyter 筆記本應(yīng)有盡有。

教程鏈接：https://github.com/huggingface/lerobot/blob/main/examples/7_get_started_with_real_robot.md

youtube 上還有大量的視頻教程可供參考：

視頻鏈接：https://www.youtube.com/@HuggingFace/videos

可以說(shuō)，只要按照教程操作，你在 Mac 或 PC 上訓(xùn)練幾個(gè)小時(shí)，也能擁有一個(gè)可以抓取樂(lè)高積木的機(jī)械臂。

或者，讓它給你疊衣服：

具體來(lái)說(shuō)，這個(gè)教程主要解答了以下問(wèn)題：

1、如何訂購(gòu)和組裝你的機(jī)器人；

2、如何連接、配置和校準(zhǔn)你的機(jī)器人；

3、如何記錄和可視化你的數(shù)據(jù)集；

4、如何使用你的數(shù)據(jù)來(lái)訓(xùn)練策略并準(zhǔn)備評(píng)估；

5、如何評(píng)估你的策略并可視化結(jié)果。

該教程主要基于一種開(kāi)源、價(jià)格友好的機(jī)器人套件 Koch v1.1 編寫(xiě)，不過(guò)也可以通過(guò)改變配置輕松適應(yīng)各種類(lèi)型的機(jī)器人。

Koch v1.1 由一個(gè)主導(dǎo)臂和一個(gè)從動(dòng)臂組成，每個(gè)臂有 6 個(gè)電機(jī)。它可以和一個(gè)或多個(gè)攝像頭一起工作來(lái)記錄場(chǎng)景，這些攝像頭被用作機(jī)器人的視覺(jué)傳感器。在數(shù)據(jù)采集階段，你將通過(guò)移動(dòng)主導(dǎo)臂來(lái)控制從動(dòng)臂。這個(gè)過(guò)程被稱(chēng)為「遙操作」。這種技術(shù)用于收集機(jī)器人軌跡。之后，你將訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)模仿這些軌跡，并部署網(wǎng)絡(luò)以使你的機(jī)器人能夠自主操作。

訂購(gòu)、組裝你的 Koch v1.1

第一步是采購(gòu)零件和組裝，這步有一個(gè) Koch v1.1 Github 頁(yè)面可以參考。

Github 鏈接：https://github.com/huggingface/lerobot/blob/main/examples/7_get_started_with_real_robot.md

這個(gè)頁(yè)面上包含一個(gè)詳細(xì)的零件采購(gòu)清單（作者表示，目前他們只找到了美國(guó)、歐盟和英國(guó)的購(gòu)買(mǎi)鏈接，如果讀者可以找到中國(guó)、印度等其他國(guó)家的購(gòu)買(mǎi)鏈接，歡迎補(bǔ)充進(jìn)去）：

主導(dǎo)臂零件采購(gòu)參考清單。

從動(dòng)臂零件采購(gòu)參考清單。

有些零件可能需要 3D 打印，該頁(yè)面也給出了詳細(xì)的操作指南。

在零件全部到位后，你可以按照以下視頻的指引進(jìn)行安裝。

視頻鏈接：https://www.youtube.com/watch?v=8nQIg9BwwTk

組裝完的兩個(gè)機(jī)械臂長(zhǎng)這樣：

接下來(lái)，使用 5V 電源為主導(dǎo)臂供電，使用 12V 電源為從動(dòng)臂供電。此外，使用 USB-C 電纜將每個(gè)臂連入計(jì)算機(jī)。

配置電機(jī)，校準(zhǔn)機(jī)械臂，遠(yuǎn)程操控你的 Koch v1.1

Koch v1.1 的配置可以參考以下視頻：

視頻鏈接：https://www.youtube.com/watch?v=U78QQ9wCdpY

校準(zhǔn)則參考另一個(gè)視頻：

視頻鏈接：https://www.youtube.com/watch?v=8drnU9uRY24

Github 頁(yè)面也介紹了 Koch v1.1 所需的附加依賴(lài)項(xiàng)的安裝以及機(jī)械臂的連接、校準(zhǔn)方法。控制部分則分為以下步驟介紹：

1、使用 DynamixelMotorsBus 控制電機(jī)；

2、使用 DynamixelMotorsBus 遠(yuǎn)程操作 Koch v1.1；

3、使用 OpenCVCamera 添加相機(jī)；

4、使用 koch. yaml 和 teleoperate 函數(shù)

每部分都有詳細(xì)的說(shuō)明和代碼可以參考。

記錄你的數(shù)據(jù)集并將其可視化

這一步旨在錄制你的第一個(gè)訓(xùn)練集。作者建議從簡(jiǎn)單的動(dòng)作開(kāi)始來(lái)驗(yàn)證你的設(shè)置，例如在五個(gè)位置抓取物體，并為每個(gè)位置記錄 10 條軌跡。

這一步同樣有視頻可以參考：

視頻地址：https://www.youtube.com/watch?v=n_Ljp_xuFEM

作者表示，你還可以使用以下自定義工具在本地或在線(xiàn)可視化任何數(shù)據(jù)集：

工具地址：https://huggingface.co/spaces/cadene/visualize_dataset_train

Github 教程涉及以下內(nèi)容：

1、使用 koch. yaml 和 record 函數(shù)；

2、對(duì)于記錄數(shù)據(jù)集的建議；

3、可視化所有 episode；

4、使用 replay 函數(shù)在你的機(jī)器人上 replay episode。

用你的數(shù)據(jù)訓(xùn)練一個(gè)策略

這部分主要介紹了如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)控制機(jī)器人。主要步驟如下：

1、使用訓(xùn)練腳本；

2、將策略檢查點(diǎn)上傳到 hub。

值得慶幸的是，策略的訓(xùn)練不需要特別昂貴的設(shè)備，在 PC 或 Mac 上跑幾個(gè)小時(shí)就能訓(xùn)練出來(lái)。而且無(wú)需模擬。

評(píng)估策略

在評(píng)估部分，作者也給出了完整的視頻教程：

視頻地址：https://www.youtube.com/watch?v=Il3Kt8vqpI8

作者表示，這個(gè)項(xiàng)目的精妙之處在于，如果每個(gè)人都能記錄下自己的數(shù)據(jù)集并在 hub 上共享，那么大家都將能夠訓(xùn)練出具有無(wú)與倫比的感知世界以及采取行動(dòng)能力的 AI！這項(xiàng)新技術(shù)將推動(dòng)下一次社會(huì)和工業(yè)革命。