Idea撞車何愷明「分形生成模型」！速度領(lǐng)先10倍，性能更強
前不久，大神何愷明剛剛放出新作「分形生成模型」，遞歸調(diào)用原子生成模塊，構(gòu)建了新型的生成模型，形成了自相似的分形架構(gòu)，將GenAI模型的模塊化層次提升到全新的高度。
論文地址：https://arxiv.org/pdf/2502.17437v1
GitHub 地址：https://github.com/LTH14/fractalgen
最近，澳大利亞國立大學(xué)的研究人員提出了一個全新的圖像生成模型ARINAR，在思想上與分形生成模型不謀而合，但是在性能和速度上都顯著提升，base模型的FID從11.8提升到2.75，生成時間從2分鐘降低到12秒！ARINAR不僅超越了之前的擴散模型，與目前表現(xiàn)最好的自回歸模型MAR相比，ARINAR生成質(zhì)量相當(dāng)，速度是MAR的5倍。
論文鏈接：https://arxiv.org/abs/2503.02883
GitHub地址：https://github.com/Qinyu-Allen-Zhao/Arinar
ARINAR全稱是雙層自回歸逐特征生成模型（Bi-Level Autoregressive Feature-by-Feature Generative Models），核心思想在于：通過逐特征生成的方式生成tokens，從而提高整體圖像生成的質(zhì)量和速度。
設(shè)計動機
現(xiàn)有的自回歸（AR）圖像生成模型通常采用逐token生成的方式。具體來說，模型會首先預(yù)測第一個token的分布，根據(jù)這個分布采樣出第一個token，然后基于這個token生成下一個token的分布，再采樣出第二個token，依此類推，直到生成完整的圖像。
這里的token可以理解為圖像的某種表示形式，通常是使用自編碼器（如VAE）實現(xiàn)圖像與一系列tokens之間的轉(zhuǎn)換。每個token可以看作圖像的一個局部區(qū)域或特征的編碼。
研究人員指出，逐token生成的核心挑戰(zhàn)在于如何建模高維token的復(fù)雜分布。每個token通常是一個高維向量（例如16維）。當(dāng)模型需要預(yù)測下一個token的分布時，如何準確地表達和預(yù)測該token的分布一直是一個難題。
現(xiàn)有的方法主要有兩種思路：
- 離散token生成：一些方法使用特殊的自編碼器（如VQVAE）將圖像轉(zhuǎn)換為離散的token，然后使用多項式分布來建模token的分布。這種方法的問題在于，離散化會引入量化誤差，導(dǎo)致生成圖像的質(zhì)量下降。
- 連續(xù)token生成：另一些模型嘗試直接建模連續(xù)token的分布。
例如，GIVT模型使用高斯混合模型（GMM）來預(yù)測token的分布，并從GMM中采樣生成token。然而，實踐中GMM難以準確擬合復(fù)雜的高維token分布；
另一種方法是MAR模型，使用輕量級的擴散模型來生成token。雖然擴散模型能夠更好地擬合分布，但擴散過程通常需要上百次迭代，導(dǎo)致整個模型生成速度較慢。
這些方法的局限性在于，要么過于簡單，無法很好地擬合復(fù)雜的token分布，要么生成速度較慢。
因此，研究人員提出了一個新的思路：逐特征生成。
具體來說，模型每次不再一次性生成整個token，而是逐特征生成。每個token由多個特征組成（例如16維），模型會先生成第一個特征的分布并采樣出第一個特征，然后基于這個特征生成第二個特征的分布，再采樣出第二個特征，依此類推，直到生成整個token。
方法設(shè)計
ARINAR模型的設(shè)計分為兩層自回歸結(jié)構(gòu)：
- 外層自回歸層：這一層負責(zé)生成token的條件向量。具體來說，它基于已經(jīng)生成的token，預(yù)測下一個token的條件向量。這里外層可以是任意之前的自回歸模型，例如使用MAR。
- 內(nèi)層自回歸層：這一層基于外層生成的條件向量，逐特征生成下一個token。具體來說，內(nèi)層會先生成第一個特征，然后基于這個特征生成第二個特征，依此類推，直到生成整個token。
假如一個圖像被轉(zhuǎn)換成256個16維的tokens，那么外層自回歸模型就會運行256次，每次預(yù)測下一個token的條件向量。每次外層自回歸模型生成條件向量后，內(nèi)層自回歸模型就會運行16次來逐特征生成相應(yīng)的token。
這種雙層結(jié)構(gòu)的好處是，內(nèi)層自回歸只需專注于單個特征的生成，而不需要一次性建模整個token的分布。因此，內(nèi)層可以使用簡單的高斯混合模型（GMM）來建模單個特征的分布，從而大大簡化了預(yù)測token分布的難度。
與FractalMAR的關(guān)系
在論文中，研究人員提到了一個與之類似的工作FractalMAR，也是一個多層自回歸模型，但它是在像素空間中逐像素生成圖像的。
也就是說，F(xiàn)ractalMAR的每一層都負責(zé)生成圖像的不同部分，從大塊區(qū)域到單個像素。例如使用一個四層自回歸模型：
- 最外層生成整個圖像的大塊區(qū)域；
- 第二層生成每個大塊區(qū)域中的小塊區(qū)域；
- 第三層生成每個小塊區(qū)域中的像素；
- 最內(nèi)層生成每個像素的RGB值。
相比之下，ARINAR是在特征空間中逐特征生成圖像的。ARINAR使用了自編碼器將圖像轉(zhuǎn)換為連續(xù)的特征表示，然后在這些特征上依賴GMM進行逐特征生成。
研究人員強調(diào)，雖然ARINAR和FractalMAR的設(shè)計思路相似，但ARINAR在性能和速度上都優(yōu)于FractalMAR。ARINAR可以看作是FractalMAR在潛在空間中的版本。
實驗結(jié)果
研究人員在ImageNet 256×256圖像生成任務(wù)上對ARINAR進行了測試，使用了213M參數(shù)的模型（ARINAR-B）。實驗結(jié)果顯示：
生成質(zhì)量上，ARINAR-B在沒有使用CFG（classifier-free guidance）的情況下，F(xiàn)ID（Frechet Inception Distance）得分為9.17，使用CFG后，F(xiàn)ID得分提升到2.75，這個結(jié)果與當(dāng)前最先進的MAR-B模型（FID=2.31）相當(dāng)，且顯著超過了FractalMAR。
生成速度上，ARINAR-B生成一張圖像的平均時間僅需11.57秒，而MAR-B需要65.69秒，F(xiàn)ractalMAR-B則需要137.62秒。ARINAR在保持高質(zhì)量生成的同時，顯著提升了生成速度。
總結(jié)與不足
ARINAR通過逐特征生成的方式，簡化了自回歸模型的復(fù)雜度，同時提高了生成速度和生成質(zhì)量。
與FractalMAR相比，ARINAR在潛在空間中生成圖像，避免了像素空間的復(fù)雜性，從而在性能和速度上都取得了更好的結(jié)果。
這篇論文展示了自回歸模型在圖像生成任務(wù)中的巨大潛力，尤其是在生成速度和生成質(zhì)量之間的平衡上，ARINAR提供了一個非常有前景的解決方案。
然而，由于計算資源的限制（使用4張A100 GPU），研究人員在這篇論文中只訓(xùn)練了一個基礎(chǔ)模型（ARINAR-B），并且訓(xùn)練時間長達8天。這確實限制了模型的進一步擴展和更大規(guī)模實驗的進行。
論文中也提到，研究人員正在尋求更多的計算資源，以便進行更多的實驗和訓(xùn)練更大的模型。這意味著未來可能會有更多的研究成果發(fā)布，進一步驗證ARINAR的潛力和可擴展性。
