Gaussian-LIC：首個多傳感器融合3DGS-SLAM系統（浙大&TUM）
本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。
多傳感器與3DGS的結合
NeRF-based SLAM的隱式神經表示法需要基于3D空間中的采樣進行計算密集型的體積渲染，從而削弱了SLAM應用所必需的實時能力。3DGS以其快速的渲染速度和優越的視覺質量而引人注目。作為一種明確且可解釋的表示法，3DGS使得場景編輯變得簡單，有利于眾多下游任務。
現有的基于輻射場的SLAM系統，主要在光照良好的小規模室內環境中進行測試，并使用順序RGB-D或RGB輸入獲得令人滿意的結果。當這些方法擴展到具有挑戰性的大規模不受控制的室外場景時將會遇到困難，例如具有挑戰性的光照條件、雜亂的背景和高度動態的自身運動。
Gaussian-LIC 通過融合來自多個傳感器的數據，包括3D激光雷達、IMU和相機（稱為LIC），在不受控制的室外場景中實現了魯棒的姿態估計，并基于3DGS生成了逼真的地圖：
- 首個基于激光雷達慣性相機融合的3DGS-SLAM系統，實現了高度精確的姿態跟蹤和逼真的在線地圖構建。
- 利用順序著色激光雷達點云作為先驗，以在線方式重建高斯地圖。利用精心設計的一系列策略，逐步擴展高斯地圖并自適應地控制其密度，以實現高效率和準確性。
- 在室內外場景中經過廣泛驗證，展示了在逼真地圖制作方面的最新性能。在惡劣條件下表現出魯棒性，包括高度動態運動、低照明和缺乏幾何結構和視覺紋理。
具體方法
如圖1所示是LIC-SLAM系統流程。
3DGS的表示
將場景表示為各向異性的3D高斯集合，每個高斯的方差：
將3D高斯投影到圖像平面上，獲得2D高斯分布：
投影獲得的2D高斯通過不透明度加權方程影響像素：
渲染輪廓圖像以確定像素是否包含了足夠的來自高斯地圖的信息：
LiDAR-IMU-Camera里程計
里程計采用了先前的工作Coco-LIC作為跟蹤前端，一個連續時間緊密耦合的激光雷達慣性攝像頭測距系統。通過集成三種互補的傳感器，Gaussian-LIC實現了強大、實時和高精度的姿態估計，從而促進了整個SLAM系統的運行。
每當最新的 （本文中為0.1秒）內的激光雷達慣性攝像頭數據被累積時，會基于因子圖高效地優化該時間間隔內的軌跡：
- 激光雷達點云到地圖
- 圖像到地圖的視覺因子
- IMU因子
- 偏差因子
在時間間隔內我們僅利用最新的圖像進行優化。
Gaussian-LIC維護一個以0.1米分辨率存儲在體素中的全局激光雷達地圖。在優化當前時間間隔內的軌跡后，為了提高效率，僅將該時間段內四分之一的激光雷達點轉換為世界坐標并附加到體素中，以確保每個體素中的激光雷達點之間的距離應大于0.05米，以減少冗余。對于成功附加的激光雷達點，將它們投影到最新的圖像上，并通過查詢像素值為其著色。隨后，它們與估計的相機姿態的最新圖像一起發送到映射線程，被視為一幀。
基于3DGS的逼真建圖
隨著持續輸入：估計的相機姿態、無畸變圖像、著色的激光雷達點，建圖模塊逐步構建和優化高斯地圖，主要分4步：
- 初始化：利用在第一個時間間隔內接收到的所有激光雷達點來創建新的高斯分布。為了減輕混疊偽影，我們為距離更近的高斯分布分配較小的尺度，而對于遠離圖像平面的高斯分布則分配較大的尺度：
- 擴展：通常情況下，接收到的每幀畫面都會捕捉到新觀察區域的幾何和外觀。為了避免重復或極其相似的信息冗余，首先根據方程(6)從當前圖像視圖中渲染出一個輪廓圖像，并生成一個掩碼，以選擇當前高斯地圖中不可靠的像素，并傾向于觀察新區域，只有能夠投影到所選像素上的激光雷達點才會被利用：
- 優化：使用所有接收到的圖像進行優化對于我們的在線增量映射系統來說在計算上是不可行的，因此將每五幀圖像視為一個關鍵幀。為了保持有界的計算復雜度以提高效率，我們選擇 個活躍的關鍵幀來優化高斯地圖，包括第一個和最后一個關鍵幀，以及其他隨機選擇的 個關鍵幀，避免了災難性遺忘問題，并保持了全局地圖的幾何一致性。我們隨機打亂所選的 個關鍵幀，并逐個迭代每個關鍵幀，通過最小化重新渲染損失來優化地圖：
- 自適應控制：激光雷達掃描可能無法覆蓋整個場景，特別是在無邊界的室外環境中。因此需要執行自適應控制以在單位體積內密集化高斯地圖。原始策略在固定間隔處理具有較大梯度的高斯分布，而在增量模式下，由于它們通常尚未收斂，最近添加的高斯分布可能會由于具有較大梯度而被錯誤地克隆或分裂。解決方法是將現有的高斯分布分類為穩定和不穩定兩類，并只對穩定的高斯分布進行密集化。
實驗
總結和討論
Gaussian-LIC 是一種新穎的LiDAR-慣性-相機輻射場SLAM系統，實現了高度準確的跟蹤、具有3D高斯噴濺的逼真在線重建的雙重功能。由高效的LiDAR-慣性-相機里程計產生的世界坐標中的著色LiDAR點被用作良好的先驗，以輔助高斯地圖的增量建立，在室內和室外場景中具有顯著更好的泛化能力。
改進的空間：
- 嘗試去除地圖中非必要的高斯分布。
- 支持各種激光雷達，目前只嘗試用固態激光雷達。
- 相機的自動曝光和運動模糊，影響逼真地圖的視覺質量。
