AI 3D生成天花板再拉升！清華團隊煉成3D Scaling Law
《黑神話·悟空》的火爆，帶火的不僅是3D游戲本身，還有背后暗潮洶涌的AI 3D生成技術。
一直以來，外界對3D大模型賽道的關注度都稍遜于語言模型和視頻模型。然而，全球3D大模型選手們則都在暗中較量、默默發力，從a16z押注的Yellow，到李飛飛的World Labs，3D大模型的迭代速度是沒落下一點。
就在剛剛，國內3D大模型頭部玩家VAST更新了旗下的大模型Tripo，是基于千萬級高質量原生自有數據庫訓出來的那種超強版本。
而3D生成新工具的玩法也更進一步，文字、單圖、多圖都能作為輸入。
至于幾何精細度和圖片還原度等方面的效果嘛，先小放一段用新工具生成3D模型的視頻，大家直觀感受一下：
，時長00:19
在官宣新品之余，VAST又帶來另一則重磅消息，即公司連續完成了數億元融資，這也是3D大模型賽道的最大融資金額。
當然，融資方面的引領，也只是技術實力的展現。因為VAST的技術和應用場景，確實夠頂。
快速生成無瑕疵，效果驚艷
再次拉升AI 3D天花板的模型叫做Tripo 2.0。
Tripo 2.0先在幾秒內生成形狀幾何預覽，再接著幾秒內為其“貼上皮膚”，?成紋理及PBR。
目前Tripo 2.0已正式上線，大批網友已經開啟了實測。
Tripo 2.0支持文生3D、單圖生3D；Tripo 1.4版本也支持多圖生3D。
輸入一個prompt，一次能生成4個3D模型。
根據輸入的不同，量子位的上手實測結果在下面分為兩個部分，即：
- 文生3D模型
- 圖生3D模型
Tripo 2.0文生3D模型實測
話不多說，直接先來看一波文生3D效果。
第一步，生成幾何形狀「動漫少女的半身形象」。
就復雜結構生成效果來看，細節還是很足的：
接下來給它貼好皮膚。
在不超過20秒的生成時間里獲得精細的紋理和層次；普通水平的人工建模要達到這種細節，耗時可能要上千倍。
換一道題！用Tripo 2.0生成卡通形象的全身形象試試看。
先生成個卡通小矮人試試～
出來的效果，那是相當可愛（發出宋丹丹的聲音），belike：
我們又生成了一個小怪物，并且把單個生成的模型放大來看。
360度旋轉，肉眼沒有發現bug和瑕疵。要知道，怪物后背密密麻麻的尖刺細節，是人工建模師的噩夢，一般都會規避這種繁復的設計，但是對tripo來說毫無壓力。
加大難度，再復雜一些3D模型生成任務也同樣能駕馭。
透視結構理解過去一直是生成式AI的卡點，以生圖模型的手指問題為代表。3D模型空間結構極為重要，我們可以看到Tripo強大的透視結構理解能力，完美生成了復雜結構的模型任務。
最后再放個厲害的，下面這個購物車什么難度都不用多說了：
Tripo 2.0圖生3D模型實測
再來看一波圖生3D的效果。
單圖生3D模型的算法最考察對圖片的空間信息理解和還原度，這次我們橫向對比一些市場的其他玩家效果。
友情提示，下面每張展示圖中的最后一個3D模型，都由Tripo 2.0生成。
來，上一支玫瑰花的圖生模型對比展示！
對比可以清晰看到，只有它生成的幾何形狀360度無死角，花朵和枝葉完整度最高：
貼圖之后，在還原原圖的顏色、質感這一塊，也是效果最好的：
測完植物生成效果，我們又測試了無生命物體的圖生模型。
丟給模型一個俄羅斯復活節彩蛋圖片作為輸入，Tripo 2.0的輸出效果最有“浮雕感”，對比來看，紋理細節都是最精致的：
進行多次測試后，不難發現Tripo 2.0在全方位的生成表現上都有顯著差異。
比如生成的PBR材質具有?保真度，保留了原圖表?屬性和視覺效果：
再比如，不管側面、背面，每個面都能捕捉復雜的原圖特征：
Tripo 2.0不僅生成質量讓人眼前一亮，更高的可控性也是一大特點。
輸入不僅支持多模態，當選擇文生3D模型模式時，還支持輸入負向prompt（就是不讓生成模型中帶有什么元素）。
對輸出模型姿態的控制性也很絕。
既能自定義所生成3D模型頭、腿、手臂等比例。
還能“A-pose”“T-pose”兩個姿勢隨便選，秒秒鐘設定大長腿：
生成好的3D模型還可以一鍵綁定骨骼、風格化。
3D模型人擁有自己的樂高！
更多玩法大家可以慢慢探索，歡迎大家評論區共創～
Tripo 2.0效果如此哇塞，所以——
Tripo 2.0如何煉成？
從技術上層層解剖，Tripo 2.0在實現過程中打滿了一個詞：3D Scaling Law。
首先，Tripo 2.0基于海量千萬級3D?質量數據庫，采?概率性的?成式建模?法，通過學習捕捉?規模數據中的?何和材質分布。
由此，Tripo 2.0更好地保證了輸出的質量、增強了模型的魯棒性和泛化能?。
其次，它采用了DiT和U-Net模型的復雜混合架構。
DiT擅?捕捉3D結構中的全局上下?和?距離依賴關系，而U-Net精于保留精細的細節和局部特征，Tripo 2.0正是融合了這兩種架構的優勢。
再者，采?最先進的訓練算法，Tripo 2.0?何和材質?成模型均基于最先進的?規模流模型，擁有數?億參數。
同時采?了guidance distillation和step distillation，通過蒸餾提?效率，在不犧牲質量的前提下?幅優化了性能。
種種技術加持下，在3D生成形狀、紋理質量、細節表現、輸?條件的遵循性以及輸出多樣性??，Tripo 2.0拿下新SOTA，成為新晉“五邊形”戰士：
之前，Tripo 2.0背后團隊還與其他團隊合作，推出了一籮筐學術成果，被Siggraph、CVPR、ICLR、ECCV等頂會接收。
比如Wonder3D，通過一個跨域擴散模型生成一致性的多視圖法線貼圖和相應的彩色圖像，然后利用一種新穎的法線融合算法快速、高質量地重建3D幾何體。
與現有的基于分數蒸餾采樣（SDS）的方法相比，Wonder3D在效率、一致性和細節上都有顯著提升，能夠在2-3分鐘內完成重建。
再比如TGS：Triplane Meets Gaussian Splatting，同樣被CVPR 2024收錄。
這項技術利用Transformer網絡和一種新穎的Triplane-Gaussian混合表示，使得從單張圖片中重建3D模型變得更加高效和精確。
更多細節，感興趣的童鞋可以自行查閱。
總之，Tripo 2.0并非一蹴而就，背后有眾多技術積累。
3D世界的Scaling Law
最后，我們來正式認識一下Tripo 2.0背后的公司。
VAST，去年3月成立，是一家專注于在3D大模型研發的AI公司。
公司目標是“通過打造?眾級別的3D內容創作?具，建?3D的UGC內容平臺，讓基于3D的空間成為用戶體驗、內容表達、提升新質?產?的關鍵要素。”
公開資料顯示，該公司的CEO、CTO都是商湯出身：
創始人兼CEO宋亞宸，曾在商湯落地過多個從零到一的AI項目，曾參與大模型六小強之一MiniMax的創立；CTO梁鼎，清華本碩博，師從戴瓊海院士，曾任商湯通用模型負責人。
成立一年半以來，這家公司動作頻頻。
首先在今年年初，亮相了自家首個3D大模型Tripo 1.0。
Tripo 1.0參數量數十億，用上它，從單圖/文字生成3D網格模型僅需要8秒。
△3D建模經典之「牛油果扶手椅」，Tripo 1.0生成
上線半年內，Tripo 1.0全球用戶生成的3D模型超過了500萬個。
500萬個是什么概念呢？約為全球前三大3D模型數據庫總和。
到了今年3月初，VAST又聯合Stable Diffusion背后的Stability AI，共同推出了開源的3D基礎模型TripoSR。
因其能夠達成“0.5秒完成單圖生成3D模型”的成就，在3D生成領域的開源屆廣受歡迎，至今GitHub上攬星4.3k。
現在，Tripo 2.0又問世了，已經在線可玩。
得益于3D Scaling Law帶來的效果提升，Tripo的這三次更新時間跨度僅僅有9個月。
而且有速度也有質量，效果在業內外頗受認可。
拿一則新消息來佐證一下：不久前，世界最大在線游戲開發平臺Roblox官宣入局AI 3D生成，但截至目前，Tripo都是Roblox玩家最風靡的3D建模的趁手工具。
接下來的VAST會帶著Tripo去向什么方向？
量子位尋回的答案是，至少在技術方面，VAST會持續追尋3D生成式AI的Scaling Law研究模型規模、數據量和生成質量之間關系的基本原理，同時尋找數據、表征和模型架構的可擴展范式。
既致力于推動3D生成式AI的邊界，也會不斷探索更整體的（Holistic）3D生成。
就還挺令人期待的。
在語言模型和視頻模型帶給這個世界一點小小震撼過后，人們也希望3D生成賽道能滋養出屬于自己的ChatGPT時刻。
畢竟3D的AI生成與其它AI生成賽道相比，情況比較特殊，不僅AI生成后人工二改技術難度大，如果模型效果表現不好，想要僅憑增加抽卡次數來達到滿意度，不如趁早自己畫（不是）。
好在3D生成行業深孚眾望，一路前行著——
回顧過去的兩年時間，尤其在2023年末到2024年間，3D生成技術得到了快速發展。
不僅在效果、速度方面均有提升，還實現了“效率高、成本低、創新性強和可定制性強”的特點。
技術飛快進步的同時，整個行業的人才密度都在不斷增大。
國內，以VAST為代表，初創公司多來自全球知名高校和科研機構；放眼國外，AI教母李飛飛首次創業成立的空間智能公司World Labs，也著眼于3D生成世界，宣布長期目標是構建大世界模型（LWM）來感知、生成3D世界并與之交互。
眾人拾柴火焰高嘛。
可以說，因為人才與技術、效果與場景的清晰和進步，現在AI 3D生成這個賽道，漸漸走進了更多人的視野之中。
而3D Scaling Law或將帶來的突破性進展，似乎已經預示了人工智能領域下一個焦點的方向。
