DeepMind果蠅登Nature，強(qiáng)化學(xué)習(xí)再立功！AI模擬飛行，逼真到腿毛顫抖

作者：新智元 2025-04-25 09:08:00

谷歌DeepMind與HHMI Janelia研究所的科學(xué)家們，用AI打造了一個(gè)栩栩如生的虛擬果蠅模型。這個(gè)模型不僅能精準(zhǔn)模擬果蠅的飛行與行走，還通過深度強(qiáng)化學(xué)習(xí)模仿真實(shí)果蠅的行為。

一只小小的果蠅是如何在空中優(yōu)雅地飛舞，或者在地面上靈活地爬行的？

這些看似簡單的動(dòng)作背后，隱藏著復(fù)雜的生物機(jī)制和神經(jīng)控制。

為了揭開這些秘密，谷歌DeepMind團(tuán)隊(duì)聯(lián)合HHMI Janelia研究所，利用AI和物理模擬技術(shù)，打造了一個(gè)逼真的虛擬果蠅模型。

論文鏈接：https://www.nature.com/articles/s41586-025-09029-4

項(xiàng)目鏈接：https://github.com/TuragaLab/flybody

這個(gè)模型不僅能模擬果蠅的行走和飛行，還能通過觀察真實(shí)果蠅的行為，學(xué)習(xí)如何控制動(dòng)作。

研究團(tuán)隊(duì)用高分辨率的體視顯微鏡，詳細(xì)掃描了一只雌性果蠅的身體，精確地記錄下它的每一條腿、每一片翅膀，甚至每一個(gè)關(guān)節(jié)的細(xì)節(jié)。

他們?cè)贛uJoCo物理引擎中構(gòu)建了一個(gè)精確的三維果蠅模型。

MuJoCo是一個(gè)由谷歌DeepMind開發(fā)的開源物理模擬器，用來模擬機(jī)器人和生物力學(xué)場景。

但光有模型還不夠，果蠅的運(yùn)動(dòng)離不開空氣和地面的相互作用。

研究人員在MuJoCo中加入了新的功能：模擬翅膀扇動(dòng)時(shí)與空氣的流體相互作用。

他們還設(shè)計(jì)了黏附執(zhí)行器，用來模仿果蠅腳部與地面接觸時(shí)的抓握力。

這些改進(jìn)讓虛擬果蠅不僅能站在地面上，還能像真實(shí)果蠅一樣飛起來。

這個(gè)數(shù)字果蠅看起來就像一只真正的果蠅：橙色的身體、透明的翅膀，還有那對(duì)標(biāo)志性的紅色大眼睛。

有了逼真的身體模型，下一步就是讓果蠅學(xué)會(huì)運(yùn)動(dòng)。研究團(tuán)隊(duì)訓(xùn)練了一個(gè)人工神經(jīng)網(wǎng)絡(luò)。

他們收集了大量真實(shí)果蠅行為的視頻，比如果蠅如何行走、如何起飛、如何調(diào)整方向。

通過深度強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)逐漸掌握了果蠅的運(yùn)動(dòng)模式。

在模擬中，虛擬果蠅展現(xiàn)出了驚艷的真實(shí)感。

它能沿著復(fù)雜的自然飛行軌跡移動(dòng)，比如研究人員設(shè)置的藍(lán)色軌跡點(diǎn)，果蠅會(huì)精準(zhǔn)地跟隨這些點(diǎn)飛行，翅膀拍動(dòng)的頻率和角度都與真實(shí)果蠅無異。

它甚至能模仿真實(shí)果蠅的視覺導(dǎo)航能力。虛擬果蠅能看到周圍的環(huán)境，并根據(jù)視覺信息調(diào)整自己的行為。

為了讓更多研究人員受益，谷歌DeepMind和HHMI Janelia研究所決定將這個(gè)果蠅模型開源。他們不僅發(fā)布了模型的代碼，還提供了詳細(xì)的技術(shù)文檔。

深度強(qiáng)化學(xué)習(xí)模擬行為

構(gòu)建好果蠅身體模型和物理模擬環(huán)境后，模型如何產(chǎn)生逼真的運(yùn)動(dòng)行為？

研究團(tuán)隊(duì)采用深度強(qiáng)化學(xué)習(xí)（RL）技術(shù)解決這一難題。

他們訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)，讓它扮演果蠅神經(jīng)系統(tǒng)的角色，形成閉環(huán)感覺運(yùn)動(dòng)控制器。

訓(xùn)練時(shí)，MuJoCo模擬感覺系統(tǒng)產(chǎn)生的信號(hào)輸入到神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)據(jù)此計(jì)算控制信號(hào)，驅(qū)動(dòng)模型執(zhí)行器動(dòng)作。

為讓模型學(xué)習(xí)真實(shí)運(yùn)動(dòng)行為，研究團(tuán)隊(duì)采用模仿學(xué)習(xí)法。

他們收集大量真實(shí)果蠅飛行和行走的軌跡數(shù)據(jù)，以此讓模型學(xué)習(xí)模仿真實(shí)果蠅的運(yùn)動(dòng)模式。

在飛行任務(wù)中，研究團(tuán)隊(duì)利用之前收集的海德氏果蠅自由飛行的高速視頻數(shù)據(jù)，訓(xùn)練可轉(zhuǎn)向的飛行控制器。

該控制器由固定的翅膀拍打模式生成器（WPG）和可訓(xùn)練的全連接多層感知器（MLP）組成。

WPG能產(chǎn)生接近真實(shí)果蠅懸停時(shí)的翅膀拍打模式，為模型提供穩(wěn)定基礎(chǔ)；

MLP則通過學(xué)習(xí)微調(diào)WPG輸出，使模型能根據(jù)不同飛行需求，如轉(zhuǎn)彎、加速、減速等，做出相應(yīng)翅膀運(yùn)動(dòng)。

其中飛行模型的網(wǎng)絡(luò)運(yùn)動(dòng)命令，是MLP和WPG輸出的總和。

為提高訓(xùn)練效率，研究團(tuán)隊(duì)還采用分布式強(qiáng)化學(xué)習(xí)方法，借助Ray分布式計(jì)算框架，在多個(gè)CPU和GPU上并行訓(xùn)練模型，大幅縮短了訓(xùn)練時(shí)間。

分布式RL訓(xùn)練架構(gòu)

多個(gè)MuJoCo環(huán)境中的演員副本收集經(jīng)驗(yàn)，并將其輸入到單一的重放緩沖區(qū)。

DMPO學(xué)習(xí)器從重放緩沖區(qū)中抽取經(jīng)驗(yàn)，更新策略和評(píng)論家網(wǎng)絡(luò)的權(quán)重，并將更新后的權(quán)重發(fā)送到演員的策略副本。

為了讓訓(xùn)練軌跡泛化到新的運(yùn)動(dòng)軌跡，還訓(xùn)練了「可轉(zhuǎn)向」的低層控制器。

這些神經(jīng)網(wǎng)絡(luò)類似于果蠅中樞神經(jīng)系統(tǒng)的腹神經(jīng)索（ventral nerve cord，VNC），負(fù)責(zé)將來自中央大腦的高層（下行）命令信號(hào)轉(zhuǎn)化為低層次的運(yùn)動(dòng)控制信號(hào)。

下圖左為果蠅中樞神經(jīng)系統(tǒng)的示意圖，包括大腦和腹神經(jīng)索。下圖右為腹神經(jīng)索的橫截面，粉色為傳出信號(hào)的運(yùn)動(dòng)神經(jīng)元，綠色為傳入信號(hào)的感覺神經(jīng)元。

研究者訓(xùn)練了兩個(gè)可轉(zhuǎn)向神經(jīng)網(wǎng)絡(luò)控制器（策略網(wǎng)絡(luò)）：分別控制飛行（圖2）與行走（圖3）。

在行走任務(wù)中，鑒于果蠅步態(tài)模式復(fù)雜多樣，研究團(tuán)隊(duì)直接用一個(gè)全連接的MLP作為控制器。

通過學(xué)習(xí)大量行走軌跡數(shù)據(jù)，模型學(xué)會(huì)根據(jù)不同環(huán)境和目標(biāo)調(diào)整腿部運(yùn)動(dòng)，實(shí)現(xiàn)穩(wěn)定行走和靈活轉(zhuǎn)向。

模擬飛行

利用之前收集的高速視頻數(shù)據(jù)，研究者使用模仿學(xué)習(xí)訓(xùn)練了一個(gè)可轉(zhuǎn)向的飛行控制器（圖2a）。

這些數(shù)據(jù)集包含了272條單獨(dú)的軌跡（約53秒的實(shí)際飛行時(shí)間），記錄了飛行過程中身體質(zhì)心（CoM）和翅膀運(yùn)動(dòng)學(xué)，涵蓋了轉(zhuǎn)彎、速度和高度變化、直飛、側(cè)飛、倒飛和懸停等行。

研究者還訓(xùn)練了一個(gè)單一的控制器網(wǎng)絡(luò)，模仿訓(xùn)練數(shù)據(jù)集中所有216條飛行軌跡。

這個(gè)可轉(zhuǎn)向的控制器能夠保持穩(wěn)定的飛行，并推動(dòng)果蠅穿越新的飛行軌跡。

圖片

圖2：飛行模擬

具體方法與細(xì)節(jié)，請(qǐng)參閱原文。

模擬爬行

同樣采用了模仿學(xué)習(xí)，研究者訓(xùn)練了一個(gè)用于行走的可轉(zhuǎn)向閉環(huán)控制器（圖3a）。

研究者對(duì)一組自由爬行并在圓形競技場中相互作用的果蠅進(jìn)行了高速俯視視頻拍攝（150 fps）。

使用自動(dòng)化姿態(tài)追蹤技術(shù)，追蹤了雌性果蠅的2D位置，標(biāo)記了13個(gè)關(guān)鍵點(diǎn)，分別位于頭部、胸部、腹部和6個(gè)腿部尖端的位置。

由于僅憑這些2D關(guān)鍵點(diǎn)的位置，無法明確推斷出所有身體自由度（DoFs）的3D姿態(tài)，因此研究者采用了一種正則化的逆運(yùn)動(dòng)學(xué)方法，推斷出所有自由度的完整3D飛行器姿態(tài)軌跡的近似值。

由于步態(tài)的顯著變異性，研究者無法像飛行模仿那樣使用簡單的模式生成器來進(jìn)行行走模仿。

因此，控制器由一個(gè)單一的全連接MLP（圖3a）組成，且在訓(xùn)練時(shí)沒有強(qiáng)制執(zhí)行任何特定結(jié)構(gòu)，如模式生成器。

研究者在所有約13,000條訓(xùn)練集的行走軌跡上訓(xùn)練了一個(gè)單一的MLP策略網(wǎng)絡(luò)。

圖片

圖3：爬行模擬

通過展示沿著復(fù)雜自然軌跡的真實(shí)運(yùn)動(dòng)，研究者驗(yàn)證了身體模型和物理模擬的準(zhǔn)確性。

逼真的全身模型

研究者使用高分辨率共聚焦顯微鏡成像，構(gòu)建了雌性果蠅的模型（圖1）。

熒光染色幾丁質(zhì)的方法便于分割體節(jié)形狀并識(shí)別所有關(guān)節(jié)的樞軸點(diǎn)（圖1b）。

為實(shí)現(xiàn)全身無像差的高分辨率成像，需將樣本分解為多個(gè)部分，通過化學(xué)方法清除軟組織并進(jìn)行色素脫色處理。

圖1：從共聚焦數(shù)據(jù)構(gòu)建雌性果蠅的3D模型

(a) 整合代表單只果蠅的6組數(shù)據(jù)集：共聚焦圖像最大強(qiáng)度投影顯示頭部、胸腹聯(lián)合體及腿部結(jié)構(gòu)。

(b) 中腿共聚焦圖像局部投影（左，紅色三角標(biāo)記腿節(jié)-脛節(jié)與跗節(jié)間關(guān)節(jié)），從中提取的三維網(wǎng)格（中）及低多邊形腿部模型（右）。

(d) 靜息姿態(tài)下的完整解剖模型。

(e) MuJoCo環(huán)境中身體模型的側(cè)視圖。

(f，g) 用于高效碰撞檢測與物理模擬的體節(jié)幾何基元近似：藍(lán)色為常規(guī)碰撞幾何體，淡紫色為帶黏附驅(qū)動(dòng)器的幾何體，赭石色為高級(jí)流體模型中實(shí)現(xiàn)飛行的翼橢球體。

(h) 模型倒掛時(shí)驅(qū)動(dòng)器力場可視化：前右腿、中左腿、后右腿的黏附驅(qū)動(dòng)器（橙色）與唇瓣黏附器處于激活狀態(tài)，其余驅(qū)動(dòng)器未激活（白色）；箭頭表示與施加黏附力（扣除重力影響后）成比例反向的接觸力。

(i) 夸張姿態(tài)展示腹節(jié)外展與右后跗節(jié)屈曲驅(qū)動(dòng)器激活效果：腹關(guān)節(jié)與跗關(guān)節(jié)均通過單一驅(qū)動(dòng)器（「肌腱」）耦合驅(qū)動(dòng)多自由度。

(j) 腿部收攏的飛行姿態(tài)模型。

(k) 半透明可視化幾何體的底視圖，淺藍(lán)箭頭指示關(guān)節(jié)：立方體為6自由度自由關(guān)節(jié)（模擬器中自由質(zhì)心運(yùn)動(dòng)所需，非果蠅內(nèi)在自由度），箭頭為鉸鏈關(guān)節(jié)（指向正向旋轉(zhuǎn)方向），三鉸鏈關(guān)節(jié)組等效形成球關(guān)節(jié)。