本文經AIGC Studio公眾號授權轉載，轉載請聯系出處。

Stability AI 聯合 UIUC 提出一種簡單而有效的單視圖 3D 重建方法 SPAR3D，這是一款最先進的 3D 重建器，可以從單視圖圖像重建高質量的 3D 網格。SPAR3D 的重建速度很快，只需 0.7 秒，并支持交互式用戶編輯。

unsetunset相關鏈接unsetunset

• 論文：http://arxiv.org/abs/2501.04689v1
• 主頁：https://spar3d.github.io
• 代碼：https://github.com/Stability-AI/stable-point-aware-3d

unsetunset論文介紹unsetunset

我們研究單圖像 3D 物體重建問題。最近的研究分為兩個方向：基于回歸的建模和生成建模。回歸方法可以有效地推斷可見表面，但在處理遮擋區域時會遇到困難。生成方法通過建模分布可以更好地處理不確定區域，但計算成本高，并且生成通常與可見表面不一致。在本文中，我們提出了 SPAR3D，這是一種新穎的兩階段方法，旨在兼顧兩個方向的優點。

SPAR3D 的第一階段使用輕量級點擴散模型生成稀疏 3D 點云，該模型具有快速的采樣速度。第二階段使用采樣點云和輸入圖像來創建高度詳細的網格。我們的兩階段設計能夠對不適定的單圖像 3D 任務進行概率建模，同時保持高計算效率和出色的輸出保真度。使用點云作為中間表示進一步允許交互式用戶編輯。經過在不同數據集上的評估，SPAR3D 表現出比以前最先進的方法更優異的性能，推理速度為 0.7 秒。

unsetunset方法unsetunset

SPAR3D 概述。 根據輸入圖像，SPAR3D 首先利用點擴散模型生成稀疏點云。然后，三平面變換器使用采樣點云和圖像特征來生成高分辨率三平面特征。然后查詢三平面特征以重建圖像中對象的幾何形狀、紋理和照明。

可微分渲染器概述。 我們從三平面估計幾何、反照率、照明和法線貼圖，并從圖像中估計金屬/粗糙度值。我們將這些值柵格化并插值作為著色器的輸入（此處為簡單起見省略）。我們的著色器使用 Disney BRDF并執行蒙特卡洛積分。我們進一步執行可見性測試以改進陰影建模。最后，我們將渲染圖像與 GT 圖像進行比較，并盡量減少渲染損失。

陰影建模。 我們通過沿采樣光線行進在屏幕空間中執行可見性測試。如果光線上的任何點的光線深度比深度圖更遠，我們將整個光線視為陰影。

unsetunset結果unsetunset

定性比較

更多結果

unsetunset結論unsetunset

SPAR3D是一種簡單而有效的單視圖 3D 重建方法。模型的核心是基于點采樣的兩階段設計。首先通過點擴散生成稀疏點云，然后從點云和圖像重建高度詳細的網格。這種設計能夠充分利用基于回歸和生成建模的優勢。根據標準基準和野外圖像進行評估，SPAR3D 的表現明顯優于之前最先進的方法，推理速度快。