論文介紹了一種從單幅圖像合成 360° 3D 場景的新方法。該方法以連貫的方式生成全景圖及其相應的深度，解決了現有最先進方法（如 LucidDreamer 和 WonderJourney 的局限性。這些方法按照生成軌跡依次添加細節，通常在循環回輸入圖像時導致可見的接縫。相比之下，該方法可確保整個 360° 場景的一致性，如圖所示。黃色條顯示每個結果中與輸入相對應的區域。

相關鏈接

• 論文：http://arxiv.org/abs/2412.04827v1
• 主頁：https://people.engr.tamu.edu/nimak/Papers/PanoDreamer
• 代碼：https://github.com/avinashpaliwal/PanoDreamer

論文介紹

PanoDreamer：從單個圖像合成 3D 全景

論文提出一種從單個輸入圖像生成連貫 360° 3D 場景的新穎方法PanoDreamer。與順序生成場景的現有方法不同，該方法將問題描述為單圖像全景和深度估計。一旦獲得連貫的全景圖像及其相應的深度，就可以通過修復小的遮擋區域并將其投影到 3D 空間來重建場景。論文主要貢獻是將單圖像全景和深度估計制定為兩個優化任務，并引入交替最小化策略來有效解決其目標。該方法在一致性和整體質量方面優于單圖像 360° 場景重建的現有技術。

單圖像全景生成

論文使用修復擴散模型解決單圖像全景生成問題，將其框架為通過交替最小化策略解決的優化任務。在迭代過程中，中心的輸入紋理逐漸向外傳播。

全景與多重擴散的比較

全景深度估計

與全景圖生成類似，使用交替最小化來對齊圓柱形全景圖的重疊單眼深度圖塊，從而能夠估計一致的 360° 深度圖。

3D 場景與其他方法的比較

將該方法 PanoDreamer（右）與基線方法（左）的渲染進行比較。嘗試選擇不同的方法和場景！

結論

論文提出了一種從單個輸入圖像生成 360° 3D 場景的新方法。該方法首先生成全景圖及其相應的深度圖。在修復遮擋區域后，這些圖像用于優化 3DGS 表示，從中可以渲染新視圖。為了創建一個連貫且全局一致的全景圖，論文將任務設計為具有兩個項的優化問題，并通過交替最小化策略有效地解決它。此外，論文提出使用現有單目深度估計方法估計全景圖深度的問題作為優化，并使用交替最小化來解決它。大量實驗表明，該方法在全景圖生成和重建 3D 場景方面都優于最先進的方法。