理想汽車提出3DRealCar：首個大規模3D真實汽車數據集!
本文經AIGC Studio公眾號授權轉載，轉載請聯系出處。
理想提出3DRealCar，這是第一個大規模 3D 實車數據集，包含 2500 輛在真實場景中拍攝的汽車。3DRealCar的目標是可以成為促進汽車相關任務的寶貴資源。3DRealcar包含各種顏色、汽車類型、品牌的詳細注釋，甚至汽車解析圖。特別是，數據集包含三種汽車表面的照明條件，并對現有方法提出了挑戰。
3D汽車常用于自動駕駛系統、虛擬/增強現實和游戲。然而，現有的3D汽車數據集要么是合成的，要么質量較差，與高質量的真實世界3D汽車數據集存在很大差距，限制了它們在實際場景中的應用。
3DRealCar是第一個大規模 3D 實車數據集，它具有三個獨特功能。（1）高容量：2,500 輛汽車經過 3D 掃描儀的精心掃描，獲得具有真實世界尺寸的汽車圖像和點云；（2）高質量：每輛汽車平均在 200 個密集的高分辨率 360 度 RGB-D 視圖中捕獲，從而實現高保真 3D 重建；（3）高多樣性：該數據集包含來自 100 多個品牌的各種汽車，在三種不同的照明條件下收集，包括反光、標準和黑暗。此外，為每個實例提供詳細的汽車解析圖，以促進汽車解析任務的研究。
相關鏈接
論文地址：https://arxiv.org/abs/2406.04875
項目主頁：xiaobiaodu.github.io/3drealcar
分布
我們的數據集主要包含六種不同的車型。我們還統計了汽車在各種光照條件下的表現。標準條件意味著汽車光照充足，沒有強烈的鏡面高光。反射條件意味著汽車有鏡面高光。光澤材料給最近的 3D 重建方法帶來了巨大的挑戰。黑暗條件意味著汽車是在地下停車場拍攝的，光照不太好。每輛車拍攝的圖像數量平均為 200 張。視圖數量從 50 到 400 不等。我們的數據集包含二十多種顏色，但白色和黑色仍然占據了數據集的大部分。此外，我們還展示了汽車尺寸的分布，包括長度、寬度和高度。
支持的任務
由于我們的數據集提供了 RGB-D 圖像、點云、汽車解析地圖和詳細注釋，我們可以在其中執行各種 2D 和 3D 任務。具體來說，我們提供汽車解析地圖，表明我們的數據集可用于汽車檢測、分割和解析任務。此外，我們捕獲的 RGB-D 圖像支持深度估計任務。由于我們收集了外觀各異的各種車型，研究人員可以使用我們的數據集進行不同車型的領域遷移學習。對于 3D 任務，我們捕獲的密集視圖和點云可用于 3D 重建、3D 生成、新穎視圖合成、車輛點云完成和車輛點云解析。利用重建的 3D 汽車，我們可以使用它們來模擬極端情況，以訓練強大的自動駕駛感知系統。
3DRealCar數據集的分布。我們展示了汽車類型的分布，照明條件、捕獲的視圖、汽車顏色和汽車大小。我們盡力捕捉各種各樣的汽車顏色和類型的多樣性，我們的數據集。
3D 汽車解析
我們的數據集是第一個提供 3D 汽車解析注釋的數據集，用于解析 3D 空間中的汽車組件。由于我們為 3DRealCar 數據集中的每個實例提供了 2D 汽車解析圖，我們可以將 2D 解析圖提升到 3D，并將每個組件分割為點云和網格。這些 3D 汽車解析圖的主要目的是實現對車輛結構的精確和全面分析，這對于自動駕駛、車輛設計、車輛編輯和虛擬現實模擬等應用至關重要。通過使用這些詳細的 3D 解析圖，開發人員和研究人員可以改進對象識別算法并增強碰撞檢測系統。此外，該數據集有助于訓練機器學習模型，以更好地理解汽車部件的空間關系和物理屬性，從而實現更先進、更可靠的汽車技術。
論文閱讀
3DRealCar:一個野外RGB-D汽車數據集360度視圖
摘要
3D 汽車通常用于自動駕駛系統、虛擬/增強現實和游戲。然而，現有的 3D 汽車數據集要么是合成的，要么是低質量的，與高質量的真實世界 3D 汽車數據集存在很大差距，限制了它們在實際場景中的應用。在本文中，我們提出了第一個大規模 3D 真實汽車數據集，稱為 3DRealCar，它具有三個獨特的特點。
- 高容量：2,500 輛汽車經過 3D 掃描儀的精心掃描，獲得具有真實世界尺寸的汽車圖像和點云；
- 高質量：每輛汽車平均在 200 個密集的高分辨率 360 度 RGB-D 視圖中捕獲，從而實現高保真 3D 重建；
- 高多樣性：數據集包含來自 100 多個品牌的各種汽車，在三種不同的光照條件下收集，包括反光、標準和黑暗。
此外，我們為每個實例提供了詳細的汽車解析圖，以促進汽車解析任務的研究。此外，我們刪除背景點云并將汽車方向標準化為統一軸，僅在沒有背景和可控渲染的汽車上進行重建。我們在 3DRealCar 中的每個照明條件下使用最先進的方法對 3D 重建結果進行基準測試。大量實驗表明，3DRealCar 的標準照明條件部分可用于生成大量高質量的 3D 汽車，從而改進與汽車相關的各種 2D 和 3D 任務。值得注意的是，我們的數據集讓我們了解到，最近的 3D 重建方法在反射和暗光條件下重建高質量 3D 汽車時面臨挑戰。我們的數據集可在此處獲得。
方法
數據收集和預處理。我們先繞一輛車轉三圈 同時用3D掃描儀掃描汽車以獲得RGB-D圖像及其點云。然后我們使用Colmap和SAM獲取姿態并去除背景點云。最后，我們使用經過處理數據訓練的3DGS來獲得3D汽車模型。
我們精心策劃的高質量3DRealCar數據集的特征。3 drealcar包含 各種顏色、汽車類型、品牌的詳細注釋，甚至汽車解析圖。特別是，我們的 數據集包含三種汽車表面的照明條件，對現有方法提出了挑戰
效果展示
定性比較
近年來先進圖像分割方法的定性比較。我們 從我們的圖像測試集中選擇輸入，并評估汽車部件的容量對每種方法的理解。
可視化
新視圖合成(左)和圖像到3d生成(右)的可視化。我們比較最近最先進的方法的結果，Zero123-XL，Dreamcraft3D，和他們通過在我們的數據集上訓練而得到的改進。
重建結果
我們利用最新最先進的 3D 重建方法 3DGS（高斯濺射）在我們的數據集中展示可視化效果。在標準照明條件下，3DGS 能夠從我們的數據集中重建相對高質量的 3D 汽車。請注意，這種級別的重建質量足以用于下游任務并進行渲染。然而，在反光和黑暗條件下的結果并不理想。因此，我們的 3DRealCar 的這兩個部分給最近的 3D 方法帶來了兩個挑戰。
第一個挑戰是鏡面高光的重建，由于汽車的特殊性，汽車表面的材質一般都是有光澤的，也就是說汽車在陽光或者強光照射下會產生大量的鏡面高光。
第二個挑戰是黑暗環境下的重建。在黑暗環境下拍攝的訓練圖像丟失了大量重建細節。因此，如何在這兩種極端光照條件下實現高質量的重建結果是對近期方法的挑戰。
我們希望這些結果能夠鼓勵后續在惡劣條件下進行3D重建的研究。
結論
在本文中，我們提出了第一個大規模高質量 3D 實車數據集，名為3DRealCar。收集到的每輛汽車的密集高分辨率 360 度視圖可用于重建高質量的3D汽車。大量實驗證明了我們的3DRealCar在3D重建方面的有效性和挑戰。得益于從我們的數據集和汽車零件級注釋中重建的高質量3D汽車，我們的數據集可用于支持與汽車相關的各種任務。此外，基準測試結果可以作為未來研究的基線。雖然3DRealCar目前只有汽車外部視圖，但我們打算在未來提供外部和內部視圖，以進一步促進更完整的3D汽車的重建。
