本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

最近，新論文推陳出新的速度著實太快有點讀不過來的感覺?？梢钥吹降氖?，語言視覺多模態大模型融合已經是業界共識了，UniPad 這篇文章就比較有代表性，多模態的輸入，類世界模型的預訓練基座模型，同時又方便擴展到多個傳統視覺應用。并且還解決了將大語言模型的預訓練方法用到 3D 場景的問題，所以給統一的感知基座大模型提供了可能。

UniPAD 是一種基于 MAE 和 3D rendering 的自監督學習方法，可以訓練一個性能優秀的基座模型，繼而可以在該模型上微調訓練下游諸如深度估計、目標檢測、分割等諸多任務。因為該工作設計了一個統一的 3D 空間表示方法，使得它可以輕松地融入到 2D 和 3D 框架中，體現了較大的靈活性，這是很符合基座模型應該的定位的。

閱讀時的思考與疑問點：

掩碼自編碼技術 和 3D 可微分渲染技術的關系是什么？簡單說：掩碼自編碼是為了利用 Autoencoder 的自監督訓練能力，渲染技術是為了生成圖片后和原始圖片之間進行損失函數計算并進行監督訓練。所以邏輯還是很清晰的。

這篇文章在使用基座模型預訓練的方法，再微調下游的檢測方法和分割方法。這個方法也可以幫助理解當下的大模型與下游任務的配合方法。

看起來是沒有結合時序信息的。畢竟純視覺 50.2 的 NuScenes NDS 目前在帶時序的檢測方法（StreamPETR、Sparse4D 等）比較中還是弱了一些。所以 4D 的 MAE 方法，也是值得一試的，其實 GAIA-1 已經提到了類似的思路。

運算量與內存使用量如何？

具體方法：

UniPAD 隱式地編碼了 3D 空間信息，這里主要受到了掩碼自編碼（MAE、VoxelMAE 等）的啟發，本文利用了生成式的 mask 來完成體素特征的加強，用來重建場景中連續的 3D 形狀結構以及它們在 2D 平面上的復雜外觀特征。

在我們的實驗中，UniPAD的優越性得到了充分體現。相較于傳統的激光雷達、攝像頭，以及激光雷達-攝像頭融合基線，UniPAD 分別提高了 9.1、7.7 和 6.9 的 NDS 。值得一提的是，在nuScenes驗證集上，我們的預訓練流程為3D目標檢測實現了73.2的NDS，并在3D語義分割任務上取得了79.4的 mIoU 分數，與之前的方法相比，取得了最好的成績。

整體架構：

整體架構。該框架 LiDar 和多鏡頭圖片作為輸入，這些多模態數據會通過掩蔽生成器（Mask Generator）被填充為零。被掩碼遮蔽的 embedding 會被轉換到體素空間，在這樣的 3D 空間中通過渲染技術生成RGB或深度預測結果。這時沒有被掩碼遮蔽的原始圖像就可以做為生成數據進行監督學習了。

Mask Generator

這里的 Masked AutoEncoder 的 mask 是通過 Mask Generator 來生成的?？梢岳斫鉃橥ㄟ^數據增量的方式來提高了訓練難度，以寄希望于增強模型的表示能力和泛化能力。引入了一個 Mask 生成器，通過有選擇性地遮擋某些區域，同時還區分了點云數據和圖像數據。在點云數據中，采用了分塊遮罩（block-wise masking）的策略；對于圖像，采用了稀疏卷積（sparse convolution）的方法，只在可見區域進行計算。當輸入數據被 mask 掉后，后續的編碼特征在對應的被 mask 區域會被設置為 0，從而在模型的處理中被忽略，同時也為后續的監督學習提供了可以用來預測目標以及其對應的 groundtruth 。

統一的表示形式

為了使預訓練方法適用于各種不同的數據模態，尋找一個統一的表示形式就很重要。過往 BEV 和 OCC 等方法都在尋找一個統一的標識形式，將3D點投影到圖像平面中會導致深度信息的丟失，而將它們合并到 BEV 鳥瞰圖中則會遺漏與高度相關的細節。所以本文提出將兩種模態都轉換為3D體積空間，也就是類似 OCC 類似的 3D 體素空間。

渲染方法：

可微分渲染技術應該是作者認為論文最大的亮點了，本文通過類似 NERF 的采樣射線穿過多視圖圖像或點云，通過神經網絡結構預測每個 3D 點的顏色或深度，最后再通過射線穿過的路徑獲取 2D 的映射。這樣可以更好地利用圖像中的幾何或紋理線索，提高模型的學習能力和應用范圍。

我們將場景表示為 SDF（implicit signed distance function field），當輸入是采樣點的 3D 坐標 P（沿射線的相應深度 D）與 F（the feature embedding can be extracted from the volumetric representation by trilinear interpolation）時，SDF 可以看做一個 MLP ，來預測采樣點的 SDF 值。這里 F 可以理解為 P 點所在的 encode 編碼。繼而得到輸出：N（condition the color field on the surface normal）和 H（geometry feature vector），這時就可以通過一個以 P、D、F、N、H 為輸入的 MLP 獲取到 3D 采樣點的 RGB 值和深度值，再通過射線疊加 3D 采樣點到 2D 空間就得到了渲染結果。而這里射線 Ray 的采用方法，和 Nerf 的方法基本相同。

渲染方法還需要進行內存開支的優化工作，這里先按下不表。不過這個問題是個比較關鍵的落地問題。

Mask 與渲染方法的本質是訓練一個 pretrain 模型，pretrain 是可以沒有后續分支的就可以根據預測 mask 來完成訓練。pretrain 的后續工作會分別通過不同的分支產生 rgb 和 depth 預測，也就是后續可以再通過 det/seg 等任務結合的時候去微調，也就實現了一種即插即用的能力。

Loss 損失函數：

Loss 函數并不復雜。

實驗結果：

和近期其他工作對比：

其實 GAIA-1 已經在用時序上的 Mask AutoEncoder 思路，只不過作為監督數據的是不同時刻的一整幀數據，但是 UniPAD 則是在 3D 空間中去隨機摳出一部分 mask 來監督預測。倒是蠻期待能看到兩者結合的方法的。

另外，UniPAD 完全可以看成是一種多模態大模型的嘗試，也可以看做是一種世界模型。雖然文章中沒有非常強調這些。

總結：

本文應該算是 3D 領域較為新穎的 Masked Autoencoder 方法了。因為 MAE 方法是用在了基座模型預訓練階段，所以支持了多個不同模態的信息，所以自然而然的可以擴展到微調下游很多任務，這和 LLM 的設計思路非常的接近，都注重于在預訓練階段捕捉多模態信息，為各種任務提供統一的基礎。這種方法為3D領域的研究提供了新的思路和可能性。

該方法不僅在3D領域具有潛力，還可以擴展到 4D 時序領域，以及優化其內存與計算量等方面還可以產生很多新的工作，為未來的研究提供了新的思路和可能性。

原文鏈接：https://mp.weixin.qq.com/s/e_reCS-Lwr-KVF80z56_ow