3D模型分割現在也解放雙手了！

香港大學和字節夢幻聯動，搞出了個新方法：

不需要人工標注，只需要一次訓練，就能讓3D模型理解語言并識別未標注過的類別。

比如看下面這個例子，未標注的（unannotated）黑板和顯示器，3D模型經過這個方法訓練之后，就能很快“抓準”目標進行劃分。

再比如，給它分別輸入sofa、cough這類同義詞刁難一下，也是輕松拿下。

甚至連浴室（bathroom）這類抽象分類也能搞定。

這個新方法名叫PLA （Point-Language Assocation），是一種結合點云（目標表面特性的海量點集合）和?然語?的方法。

目前，該論文已經被CVPR 2023接收。

不過話說回來，不需要??標注，只進行?次訓練，同義詞抽象分類也能識別……這可是重重buff疊加。

要知道一般方法使用的3D數據和?然語?并不能夠直接從?上免費獲取，往往需要昂貴的??標注，而且一般方法也?法根據單詞之間的語義聯系識別新類別。

那PLA又是如何做到的呢？一起來看～

具體原理

其實說白了，要成功實現3D模型劃分，最重要的一步就是讓3D數據也能理解?然語?。

專業點來說，就是要給3D點云引??然語?的描述。

那怎么引入？

鑒于目前2D圖像的劃分已經有比較成功的方法，研究團隊決定從2D圖像入手。

首先，把3D點云轉換為對應的2D圖像，然后作為2D多模態?模型的輸?，并從中提取對于圖像的語?描述。

緊接著，利?圖?和點云之間的投影關系，圖?的語言描述也就自然能夠關聯到3D點云數據了。

并且，為了兼容不同粒度的3D物體，PLA還提出了多粒度的3D點云-?然語?關聯方法。

對于整個3D場景??，PLA將場景對應所有圖?提取的語?描述進?總結，并?這個總結后的語?關聯整個3D場景。

對于每個圖像視?對應的部分3D場景??，PLA直接利?圖像作為橋梁來關聯對應的3D點云和語?。

對于更加細粒度的3D物體??，PLA通過?較不同圖像對應點云之間的交集和并集，以及語?描述部分的交集和并集，提供了?種更加細粒度的3D-語?關聯?式。

這樣一來，研究團隊就能夠得到成對的3D點云-?然語?，這一把直接解決了人工標注的問題。

PLA用得到的“3D點云-?然語?”對和已有的數據集監督來讓3D模型理解檢測和分割問題定義。

具體來說，就是利?對?學習來拉近每對3D點云-?然語?在特征空間的距離，并推遠不匹配的3D點云和?然語?描述。

講了這么多原理，那PLA在具體分割任務中表現到底如何？

語義分割任務超越基準65%

研究?員通過測試3D開放世界模型在未標注類別的性能作為主要衡量標準。

先是在ScanNet和S3DIS的語義分割任務上，PLA超過以前的基線?法35%～65%。

在實例分割任務中，PLA也有提升，對比之前的方法，PLA提升幅度15%～50%不等。

研究團隊

這個項目的研究團隊來自香港大學的CVMI Lab和字節跳動。

CVMI Lab是香港大學的一個人工智能實驗室，實驗室2020年2月1日成立。

研究范圍涵蓋了計算機視覺與模式識別，機器學習/深度學習，圖像/視頻內容分析以及基于機器智能的工業大數據分析。

論?地址:??https://arxiv.org/pdf/2211.16312.pdf???
項?主?:???https://github.com/CVMI-Lab/PLA??