本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

原標題：MotionLM: Multi-Agent Motion Forecasting as Language Modeling

論文鏈接：https://arxiv.org/pdf/2309.16534.pdf

作者單位：Waymo

會議：ICCV 2023

論文思路：

對道路代理未來行為的可靠預測是自動駕駛車輛安全規(guī)劃的關(guān)鍵組成部分。在這里，本文將連續(xù)軌跡表示為離散運動tokens序列，并將多智能體運動預測作為該領(lǐng)域的語言建模任務。本文的模型 MotionLM 提供了幾個優(yōu)點：首先，它不需要anchors或顯式潛變量(explicit latent variable)優(yōu)化來學習多模態(tài)分布。相反，本文利用單一標準語言建模目標，最大化序列tokens的平均對數(shù)概率。其次，本文的方法繞過了 post-hoc 交互啟發(fā)法，其中個體代理軌跡生成是在交互評分之前進行的。相反，MotionLM 在單個自回歸解碼過程中生成交互式代理未來的聯(lián)合分布。此外，模型的順序分解可以實現(xiàn)時間上的因果條件的推出。所提出的方法在 Waymo Open Motion Dataset 上為多智能體運動預測建立了新的最先進性能，在交互式挑戰(zhàn)排行榜上排名第一。

主要貢獻：

本文將多智能體運動預測作為一種語言建模任務，在經(jīng)過因果語言建模損失訓練的離散運動tokens上引入時間因果解碼器。

本文將模型中的采樣與簡單的 rollout 聚合方案配對，該方案有助于聯(lián)合軌跡的加權(quán)模式識別，在 Waymo Open Motion Dataset 交互預測挑戰(zhàn)中建立新的最先進性能（在排名聯(lián)合 mAP 指標上提高6% ）。

本文對本文的方法進行了廣泛的消融實驗，并對它的時間因果條件預測進行了分析，這在很大程度上是目前的聯(lián)合預測模型所不支持的。

網(wǎng)絡設計：

本文的目標是以一種通用的方式對多智能體交互上的分布建模，這種分布可以應用于不同的下游任務，包括最低限度的、聯(lián)合的和條件預測。這需要一個有表現(xiàn)力的生成框架，能夠捕捉到駕駛場景中的多種形態(tài)。此外，本文在這里考慮保存時間依賴性; 即，在本文的模型中，推理遵循一個有向無環(huán)圖，每個節(jié)點的父節(jié)點在時間上較早，子節(jié)點在時間上較晚，這使得條件預測更接近于因果干預[34]，因為它消除了某些虛假的相關(guān)性，否則就會導致不服從時間因果關(guān)系。本文觀察到，不保留時間依賴關(guān)系的聯(lián)合模型可能在預測實際agent反應方面的能力有限——這是規(guī)劃中的一個關(guān)鍵用途。為此，本文利用了未來解碼器的自回歸分解，其中代理的運動tokens有條件地依賴于所有先前采樣的tokens，并且軌跡按順序推出(rolled out)(圖2)。

圖1。本文的模型自回歸地為一組代理生成離散運動tokens序列，以產(chǎn)生一致的交互式軌跡預測。

圖2。MotionLM架構(gòu)。

本文首先將與每個建模代理相關(guān)的異構(gòu)場景特征(左)編碼為形狀R、N、·、H的場景嵌入。其中，R為首次推出(rollouts)的數(shù)量，N為聯(lián)合建模的代理數(shù)量，H為每次嵌入的維數(shù)。在推理過程中，為了并行采樣，本文在批量維度上重復嵌入R次。接下來，一個軌跡解碼器以一種時間因果的方式(中心)為多個代理推出(rolls out) T 個離散運動tokens。最后，通過使用非最大抑制初始化的k-means聚類的簡單聚合，可以恢復 rollouts 典型模式(右圖)。

圖3。展示了三個WOMD場景的前兩種預測聯(lián)合推出(joint rollout)模式。

顏色梯度表示從t = 0s到t = 8s的時間推移，聯(lián)合模式由綠色過渡到藍色，次聯(lián)合模式由橙色過渡到紫色的概率最大。觀察到三種類型的交互：相鄰車道中的智能體根據(jù)變道時間向變道智能體讓行（左），行人根據(jù)車輛的進度走在過往車輛后面（中），轉(zhuǎn)彎車輛要么給過路的騎車人讓路（最可能的模式），要么在騎車人接近之前轉(zhuǎn)彎（次要模式）（右）。

圖4。對于聯(lián)合推出(joint rollout)(左)、干預后因果貝葉斯網(wǎng)絡(中)和因果條件反射(右)的因果貝葉斯網(wǎng)絡表示。

實線表示時間上的因果相關(guān)性，而虛線表示因果信息流。沒有時間依賴約束的模型將支持因果條件作用，但不支持時間因果條件作用，這在試圖預測agent反應時可能是有問題的。

實驗結(jié)果：

引用：

Seff, A., Cera, B., Chen, D., Ng, M., Zhou, A., Nayakanti, N., Refaat, K. S., & Sapp, B. (2023). MotionLM: Multi-Agent Motion Forecasting as Language Modeling. ArXiv. /abs/2309.16534

原文鏈接：https://mp.weixin.qq.com/s/MTai0rA8PeNFuj7UjCfd6A