將一幅圖像轉換為3D的方法通常采用Score Distillation Sampling（SDS）的方法，盡管結果令人印象深刻，但仍然存在多個不足之處，包括多視角不一致、過度飽和、過度平滑的紋理，以及生成速度緩慢等問題。
為了解決這些問題，北京大學、新加坡國立大學、武漢大學等機構的研究人員提出了Repaint123，以減輕多視角偏差、紋理退化，并加速生成過程。

論文地址：https://arxiv.org/pdf/2312.13271.pdf

GitHub：https://github.com/PKU-YuanGroup/repaint123

項目地址：https://pku-yuangroup.github.io/repaint123/

核心思想是將2D擴散模型的強大圖像生成能力與再繪策略的紋理對齊能力結合起來，以生成具有一致性的高質量多視角圖像。

作者進一步提出了針對重疊區域的可見性感知自適應再繪強度，以提高再繪過程中生成圖像的質量。

生成的高質量、多視角一致的圖像使得可以使用簡單的均方誤差（MSE）損失進行快速的3D內容生成。

作者進行了大量實驗證明，Repaint123能夠在2分鐘內從零開始生成具有多視角一致性和精細紋理的高質量3D內容。

文章的主要貢獻點如下：

1. Repaint123全面考慮了圖像到3D生成的可控重繪過程，能夠生成多視角一致的高質量圖片序列。

2. Repaint123提出了一個簡單的單視圖3D生成的baseline，粗模階段采用Zero123作為3D prior與SDS損失快速優化Gaussian Splatting幾何（1分鐘），細模階段采用Stable Diffusion作為2D prior與MSE損失快速細化Mesh紋理（1分鐘）。

3. 大量的實驗驗證了Repaint123方法的有效性，可以在短短2分鐘內從單一圖像中生成匹配2D生成的質量的3D內容。

圖1：論文動機：快速、一致、高質量的單視角3D生成

具體方法：

Repaint123主要改進集中于mesh細化階段，包含兩個部分：多視角一致的高質量圖像序列生成，快速高質量的3D重建。

在粗模階段，作者采用3D Gaussian Splatting作為3D表征，通過SDS損失優化的粗模幾何和紋理。

在細化階段，作者將粗模模型轉換為網格表示，并提出一種漸進的、可控的紋理細化重繪方案。

首先，作者通過幾何控制和參考圖像的指導逐步重新繪制相對于先前優化視圖的不可見區域，從而獲得新穎視圖的視圖一致性圖像。

然后，作者采用圖像提示進行無分類器指導，并設計自適應重繪策略，以進一步提高重疊區域的生成質量。

最后，通過生成視圖一致的高質量圖像，作者利用簡單的MSE損失來快速生成3D內容。

多視角一致的高質量圖像序列生成：

如圖2所示，多視角一致的高質量圖像序列生成分為以下四個部分：

圖2：多視角一致的圖像生成流程

DDIM Inversion

為了保存粗模階段生成的3D一致的低頻紋理信息，作者使用DDIM Inversion將圖像反演到確定的latent, 為后續去噪生成忠實一致的圖片做基礎。

Controllable Denoising

為了控制幾何一致與長程紋理一致，在去噪階段作者使用ControlNet引入粗模渲染的深度圖作為幾何先驗, 注入參考圖的Attention特征進行紋理遷移。

同時，為了執行Classifier-free guidance提升圖像質量，論文使用CLIP將參考圖編碼為image prompt提示去噪網絡。

Obtain Occlusion Mask

為了從渲染出來的圖像In和深度圖--Dn的新穎視圖中獲得遮擋掩碼Mn，在給定Ir和Dr的重繪參考視圖Vr條件下，作者首先通過使用深度Dr縮放來自Vr的2D像素點至3D點云，然后從新視角Vn渲染3D點云Pr，得到深度圖Dn'。

作者認為兩個新穎視圖深度圖（Dn和Dn'）之間具有不同深度值的區域是遮擋掩碼中的遮擋區域。

Progressively Repainting both Occlusions and Overlaps

為了保證圖像序列重相鄰圖像的重疊區域像素級別對齊，作者使用了漸進式局部重繪的策略，在保持重疊區域不變的情況下生成和諧一致的臨近區域，從參考視角依次類推到360°。

但是如圖3所示，作者發現重疊區域同樣需要進行細化，因為一個之前斜視的區域在正視時其可視分辨率變大，需要補充更多的高頻信息。

為了選擇合適的細化強度使得在提升質量的同時保證忠實度，作者借鑒投影定理與圖像超分的思想，提出了一種簡單直接的能見度可感知的重繪策略來細化重疊區域，另細化強度等于1-cosθ*（其中θ*為之前所有相機視角與所視表面法向量夾角的最大值），從而自適應地重繪重疊區域。

圖3：相機視角與細化強度的關系

快速高質量的3D重建：

如圖4所示，作者采用了兩階段方法，先使用Gaussian Splatting表示來快速生成合理的幾何和粗糙的紋理，同時借助上述生成的多視角一致的高質量圖像序列, 作者得以使用簡單的MSE loss進行快速的3D紋理重建。

圖4：Repaint123兩階段單視角3D生成框架

實驗結果

作者比較了多個單視圖生成任務方法，在RealFusion15和Test-alpha數據集上取得了一致性、質量、速度三方面最先進的效果。

單視圖3D生成可視化比較

單視圖3D生成定量比較

消融實驗

同時，作者也對論文使用的每個模塊的有效性以及視角轉動增量進行了消融實驗：