無需額外模型訓(xùn)練、即插即用，全新的視頻生成增強(qiáng)算法——Enhance-A-Video來了！

和最近人氣超高的混元視頻生成模型（HunyuanVideo）對比來看，加入Enhance-A-Video的版本在生成畫面中表現(xiàn)出了更加豐富的細(xì)節(jié)和更高的語義契合度，生成內(nèi)容和用戶輸入的文本提示更匹配：

研究團(tuán)隊(duì)成員來自新加坡國立大學(xué)、上海AI實(shí)驗(yàn)室和德克薩斯大學(xué)奧斯汀分校。

簡單來說，新算法通過調(diào)整時間注意力層輸出的一個關(guān)鍵參數(shù)，能夠在幾乎不增加推理負(fù)擔(dān)的情況下，大幅提升生成視頻的細(xì)節(jié)表現(xiàn)和時序連貫性。

Enhance-A-Video還兼容多種主流視頻生成模型，無需修改基礎(chǔ)架構(gòu)即可直接應(yīng)用。

比如CogVideoX-2B + Enhance-A-Video：

還有OpenSora-V1.2 + Enhance-A-Video：

實(shí)驗(yàn)結(jié)果顯示，Enhance-A-Video在提升視頻質(zhì)量方面表現(xiàn)卓越，尤其是在對比度、清晰度以及細(xì)節(jié)真實(shí)性上有顯著改進(jìn)。

新算法一經(jīng)發(fā)布，其強(qiáng)大的泛化能力也是迅速得到了社區(qū)的認(rèn)可。

很多網(wǎng)友已將該算法集成到多個主流推理框架中，包括ComfyUI-Hunyuan和ComfyUI-LTX。

對比一下網(wǎng)友Kijai發(fā)布的原始混元模型和增強(qiáng)后的效果，可以看到模型生成畫面更加自然，動態(tài)表現(xiàn)也更加流暢：

圖片

Comfy-UI測試結(jié)果，左邊為原始視頻，右邊為增強(qiáng)視頻

LTX-Video的研究人員Nir Zabari還成功將它應(yīng)用到了LTXV模型中，顯著提升了生成視頻在動作一致性和細(xì)節(jié)呈現(xiàn)方面的表現(xiàn)。

這一成果表明，Enhance-A-Video不僅適用于特定模型，還能廣泛適配于不同的視頻生成框架。

研究背景：提升視頻生成質(zhì)量需求強(qiáng)烈

近年來，以Diffusion Transformer（DiT）為代表的視頻生成技術(shù)[1]迅猛發(fā)展，能夠根據(jù)文本描述生成多樣化的視頻內(nèi)容。

然而，現(xiàn)有方法仍面臨以下挑戰(zhàn)：

• 時序不連貫：幀與幀之間缺乏一致性；
• 細(xì)節(jié)模糊：畫面紋理缺乏清晰度；
• 畫面抖動：動態(tài)效果不夠穩(wěn)定。

這些問題顯著影響了生成視頻的實(shí)用性和觀看體驗(yàn)，如何提升 AI 生成視頻的質(zhì)量成為當(dāng)前研究的關(guān)鍵問題之一。

為了解決上述問題，Enhance-A-Video應(yīng)運(yùn)而生。其核心原理是通過一個增強(qiáng)系數(shù)，優(yōu)化時間注意力的分布，從而實(shí)現(xiàn)以下優(yōu)勢：

• 高效增強(qiáng)：快速提升視頻質(zhì)量；
• 無需訓(xùn)練：可直接應(yīng)用于現(xiàn)有生成模型；
• 即插即用：靈活適配多種場景和需求。

設(shè)計(jì)動機(jī)：時間注意力的優(yōu)化潛力

時間注意力（Temporal Attention）在DiT模型中負(fù)責(zé)信息的幀間傳遞，對生成視頻的連貫性和細(xì)節(jié)保留至關(guān)重要。

通過對不同DiT層的時間注意力分布進(jìn)行可視化分析，研究人員發(fā)現(xiàn)：

在部分DiT層中，時間注意力的分布存在顯著差異：跨幀注意力（非對角線部分）的強(qiáng)度明顯低于單幀自注意力（對角線部分）。

這一現(xiàn)象可能導(dǎo)致幀間信息傳遞不足，進(jìn)而影響視頻的一致性和細(xì)節(jié)表現(xiàn)。

基于這一觀察，作者提出了一個關(guān)鍵假設(shè)：能否通過利用時間注意力來提高視頻質(zhì)量？

不同DiT層的時間注意力分布圖

這一假設(shè)的靈感來源于大語言模型（LLM）中的溫度系數(shù)（τ）調(diào)節(jié)機(jī)制。

在文本生成中，通過調(diào)整Softmax的溫度參數(shù)可以平衡一致性與多樣性[2]：

• 增大τ，生成結(jié)果更加多樣化。
• 減小τ，生成結(jié)果更連貫一致。

類似地，在視頻生成中，時間注意力的溫度系數(shù)可以直接影響幀間相關(guān)性強(qiáng)度，為Enhance-A-Video的設(shè)計(jì)提供了理論基礎(chǔ)。

方法概述：無需訓(xùn)練的動態(tài)增強(qiáng)方案

基于上述觀察與思考，作者首次發(fā)現(xiàn)時間注意力的溫度系數(shù)決定了不同幀之間的相關(guān)性強(qiáng)度，相關(guān)性強(qiáng)度越高意味著每一幀生成時，在時間上下文維度所考慮的范圍越廣。

由此想法出發(fā)，作者提出了一種調(diào)整時間注意力層輸出，無需訓(xùn)練的視頻增強(qiáng)方法，該方法可以直接應(yīng)用于現(xiàn)有的AI視頻生成模型。

Enhance-A-Video框架圖

Enhance-A-Video的核心設(shè)計(jì)是通過動態(tài)調(diào)節(jié)時間注意力層的輸出，實(shí)現(xiàn)對幀間一致性和細(xì)節(jié)表現(xiàn)的優(yōu)化。

具體方法分為以下幾步：

1.并行增強(qiáng)模塊

在時間注意力層的基礎(chǔ)上增加一個并行分支，計(jì)算時間注意力分布圖。

輸入時間注意力層的隱藏狀態(tài)也被傳入增強(qiáng)模塊。

2.計(jì)算跨幀強(qiáng)度（CFI）

從時間注意力分布圖中提取非對角線元素的平均值，作為跨幀強(qiáng)度（Cross-Frame Intensity, CFI）。

3.動態(tài)增強(qiáng)控制

引入增強(qiáng)溫度參數(shù)（Enhance Temperature），將其與CFI的乘積作為增強(qiáng)模塊的輸出系數(shù)。

利用該系數(shù)動態(tài)調(diào)整時間注意力層輸出的特征增強(qiáng)強(qiáng)度。

通過這一策略，Enhance-A-Video 能夠高效地提升視頻的幀間一致性和細(xì)節(jié)表現(xiàn)，而無需對原始模型進(jìn)行重新訓(xùn)練。

為AI視頻生成技術(shù)提供新思考

這項(xiàng)研究提出了首個無需訓(xùn)練、即插即用的AI生成視頻質(zhì)量增強(qiáng)方法——Enhance-A-Video，針對當(dāng)前生成視頻質(zhì)量的關(guān)鍵問題，圍繞時間注意力機(jī)制展開創(chuàng)新設(shè)計(jì)，主要貢獻(xiàn)如下：

• 創(chuàng)新性方法：通過在時間注意力層計(jì)算交叉幀強(qiáng)度，引入增強(qiáng)溫度參數(shù)，提升幀間一致性與細(xì)節(jié)表現(xiàn)力。
• 高效性與通用性：無需訓(xùn)練，直接適配主流視頻生成模型。
• 顯著性能提升：在HunyuanVideo等模型上解決了細(xì)節(jié)缺失和時序不一致等問題。

未來他們還會在此基礎(chǔ)上進(jìn)一步開展工作，包括：

• 自適應(yīng)增強(qiáng)：研究自動調(diào)節(jié)增強(qiáng)溫度參數(shù)機(jī)制，優(yōu)化一致性與多樣性平衡。
• 擴(kuò)展適用性：優(yōu)化方法設(shè)計(jì)以適配大規(guī)模模型和多模態(tài)場景。
• 質(zhì)量評價(jià)：構(gòu)建更完善的視頻生成質(zhì)量評價(jià)體系。

作者表示，期待本研究為AI視頻生成技術(shù)的實(shí)際應(yīng)用與質(zhì)量提升提供新的思路和支持！

開源代碼鏈接：https://github.com/NUS-HPC-AI-Lab/Enhance-A-Video相關(guān)博客鏈接：https://oahzxl.github.io/Enhance_A_Video/

參考文獻(xiàn)：

[1]Brooks, Tim, Bill Peebles, Connor Holmes, Will DePue, Yufei Guo, Li Jing, David Schnurr, Joe Taylor, Troy Luhman, Eric Luhman, Clarence Ng, Ricky Wang and Aditya Ramesh. “Video generation models as world simulators.“ OpenAI Research (2024).

[2]Renze, Matthew and Erhan Guven. “The Effect of Sampling Temperature on Problem Solving in Large Language Models.” ArXiv abs/2402.05201 (2024).