Adobe全面進(jìn)軍AI生成領(lǐng)域！

就在2024年的Adobe MAX大會(huì)上，Adobe正式推出Firefly視頻模型，以及最新升級(jí)的圖像模型。

Adobe Premiere Pro加入生成式擴(kuò)展

相比于一次只生成1～5秒的視頻生成模型，將GenAI的能力無(wú)縫集成到視頻編輯軟件中，無(wú)疑是最能直接提升生產(chǎn)力的方式。

視頻編輯——Adobe表示，你要說(shuō)這個(gè)我可就不困了。

畢竟，Premiere Pro已然是最專業(yè)、應(yīng)用最廣泛的視頻剪輯工具，很可能沒(méi)有之一。

剪視頻的時(shí)候，突然發(fā)現(xiàn)素材缺幀、色調(diào)不對(duì)、機(jī)位卡不上？基于Firefly Video模型的新功能Generative Extent，就可以免去用戶重新拍攝素材的麻煩。

Adobe表示， Generative Extend是他們推出的第一個(gè)由視頻專業(yè)人士打造，且專門服務(wù)于專業(yè)人士的Gen AI功能，并且具有可靠的商業(yè)安全性。

不僅只在Adobe有授權(quán)的內(nèi)容上進(jìn)行訓(xùn)練，而且絕不會(huì)私自截取用戶內(nèi)容作為訓(xùn)練數(shù)據(jù)，可以說(shuō)是穩(wěn)穩(wěn)接住了專業(yè)創(chuàng)作者的痛點(diǎn)。

對(duì)于視頻開(kāi)頭、結(jié)尾，或者時(shí)間軸中的任何缺失部分，只需要一拖、一點(diǎn)，就能讓AI快速擴(kuò)展，實(shí)現(xiàn)完美的定時(shí)編輯。

像下圖左邊這種鏡頭中不理想的視線移動(dòng)，AI也可以直接自動(dòng)修正。

人物的移動(dòng)范圍出畫(huà)了，用AI自動(dòng)調(diào)整畫(huà)面邊界，省時(shí)省力。

想要將對(duì)齊兩幅畫(huà)面的背景色調(diào)？顯然AI的眼睛要比人類更準(zhǔn)，一鍵調(diào)色好過(guò)試色半小時(shí)。

除了畫(huà)面，音頻編輯功能也同樣強(qiáng)大，選擇「room tone」按鈕即可對(duì)音效進(jìn)行延長(zhǎng)或平滑操作。

比如下面這個(gè)冰山坍塌的視頻，雖然畫(huà)面只持續(xù)了3秒多，但模型可以自動(dòng)「腦補(bǔ)」出后面將近10秒的音效，足可以以假亂真。

但目前，音頻編輯還不支持創(chuàng)建或擴(kuò)展對(duì)話，而且由于潛在的版權(quán)問(wèn)題，也不支持音樂(lè)。

下面這個(gè)示例就展示了，在只有音效但沒(méi)有畫(huà)面的情況下，如何使用生成式擴(kuò)展功能，自動(dòng)延長(zhǎng)各個(gè)鏡頭畫(huà)面的停留時(shí)間，在匹配音效的同時(shí)補(bǔ)好時(shí)間軸上的大窟窿。

成品如下，用一句「天衣無(wú)縫」來(lái)形容應(yīng)該是不過(guò)分的。

生成式擴(kuò)展功能將在今年晚些時(shí)候的beta版Pr中上線，Adobe表示，會(huì)在用戶反饋的基礎(chǔ)上持續(xù)更新。

比如，對(duì)于模型每一次的生成結(jié)果，都可以一鍵「點(diǎn)贊」或「吐槽」。

性能方面，Pr還和英偉達(dá)進(jìn)行了集成，使用RTX系列GPU加速運(yùn)行，提升用戶體驗(yàn)。

Adobe Firefly：開(kāi)創(chuàng)視頻編輯領(lǐng)域GenAI新紀(jì)元

隨著互聯(lián)網(wǎng)內(nèi)容形式的進(jìn)化，視頻成為了當(dāng)今時(shí)代互動(dòng)社交的「硬通貨」。

面對(duì)視頻內(nèi)容需求的持續(xù)增長(zhǎng)，剪輯師、電影制作人和內(nèi)容創(chuàng)作者需要在更短時(shí)間內(nèi)完成更多工作的挑戰(zhàn)。

而且，視頻剪輯工作已不再局限于簡(jiǎn)單的畫(huà)面剪切，還要包攬調(diào)色、字幕、動(dòng)畫(huà)、視覺(jué)效果、混音等一系列任務(wù)。

此時(shí)，Adobe作為專業(yè)的工具集，搭上GenAI提升生產(chǎn)力的快車，最為合適不過(guò)。

文生視頻

首先，F(xiàn)irefly的文生視頻功能和Runway、Sora等視頻生成模型類似——用戶通過(guò)prompt即可生成任何自己想要的視頻。

提示：街道中央雨中男子的電影級(jí)特寫肖像。光影氛圍沉郁而富有戲劇性，色調(diào)以藍(lán)色和青色調(diào)為主。男子形象極度寫實(shí)，皮膚紋理精細(xì)，臉上點(diǎn)綴著細(xì)密胡茬。細(xì)微的動(dòng)作柔和流暢，鏡頭保持固定。畫(huà)面呈現(xiàn)濃重的膠片顆粒感和質(zhì)感。水珠在男子臉上緩緩滑落，清晰可見(jiàn)。

它可以模擬各種風(fēng)格，包括逼真的實(shí)景電影效果、3D動(dòng)畫(huà)，以及定格動(dòng)畫(huà)。

而對(duì)于已經(jīng)生成的視頻，則可以通過(guò)一套「攝像機(jī)控制」功能對(duì)其進(jìn)一步細(xì)化，包括不同的攝像機(jī)角度、運(yùn)動(dòng)效果和拍攝距離等參數(shù)。

用攝像機(jī)控制調(diào)整生成的視頻

對(duì)于創(chuàng)作者來(lái)說(shuō)，從此，視頻項(xiàng)目中缺鏡頭將不再是問(wèn)題！

通過(guò)文本提示、攝像機(jī)控制和參考圖像，就能生成B-Roll（補(bǔ)充素材），輕松填補(bǔ)時(shí)間軸上的空白。

只要輸入詳細(xì)提示，就能生成引人入勝的插入鏡頭，完美融入最終作品中。

提示：夜晚街道中央，一位老年男子的電影級(jí)特寫和細(xì)節(jié)豐富的肖像。光線氛圍沉郁而富有戲劇性。色彩調(diào)性為藍(lán)色陰影與橙色高光的對(duì)比。主角的皮膚紋理極其逼真細(xì)膩，毛孔清晰可見(jiàn)。動(dòng)作微妙柔和。攝像機(jī)保持靜止。膠片顆粒感。復(fù)古變形鏡頭。

即使時(shí)間軸不缺，為簡(jiǎn)單的鏡頭自動(dòng)添加更多內(nèi)容也只是分分鐘的事。

比如下面這個(gè)小女孩用放大鏡看草坪的視頻：

AI可以補(bǔ)全出放大鏡下的畫(huà)面：

不需要補(bǔ)拍任何鏡頭，把AI生成畫(huà)面和原視頻剪輯在一起，就豐富了內(nèi)容性和層次感：

有的制作團(tuán)隊(duì)預(yù)算有限、周轉(zhuǎn)時(shí)間短，但有些創(chuàng)意構(gòu)思鏡頭卻難以捕捉，或者成本昂貴。

此時(shí)，就可以用Adobe Firefly來(lái)可視化和規(guī)劃這些鏡頭，然后再進(jìn)行視覺(jué)特效（VFX）制作，或者返回片場(chǎng)補(bǔ)拍。

這就大大簡(jiǎn)化了前期和后期制作團(tuán)隊(duì)之間的溝通流程。不僅提高工作效率，還能讓創(chuàng)意意圖在整個(gè)制作過(guò)程中準(zhǔn)確傳達(dá)。

提示：在墨西哥的美麗、光線柔和的天然井中，第一人稱視角鏡頭。水清澈蔚藍(lán)，閃爍著午后陽(yáng)光的光芒。色彩溫暖，陽(yáng)光呈「魔幻時(shí)刻」（magic hour）風(fēng)格。高質(zhì)量，電影感。

Adobe從很多業(yè)內(nèi)人士那里了解到，如果能填補(bǔ)時(shí)間線上那些留待稍后添加視覺(jué)效果的空白，將大大加快工作流。

這樣，我們就不再需要使用「在此插入鏡頭」的占位符了。

從業(yè)人員可以更輕松地表達(dá)自己的創(chuàng)意，更順暢地指導(dǎo)后續(xù)的視覺(jué)效果制作。

提示：電影般的無(wú)人機(jī)鏡頭，飛越廣闊的紅色火星地貌，地面在我們下方快速掠過(guò)，隨著太陽(yáng)開(kāi)始升起，地平線呈紅色。在鏡頭結(jié)束時(shí)，陽(yáng)光照射到地平線上方。

提示：微距鏡頭拍攝一只由熔巖組成的幼龍?jiān)诨鹕絻?nèi)部爬行。

而Firefly生成火焰、煙霧、灰塵顆粒、水、光斑等氛圍元素的能力，更是讓從業(yè)者非常興奮！

這種功能就大大增加了現(xiàn)有內(nèi)容的視覺(jué)深度。

在黑色或綠色背景上生成這些元素，就意味著我們可以使用混合模式，或Adobe Premiere Pro、Adobe After Effects等工具進(jìn)行摳像，將它們疊加到現(xiàn)有視頻上。

提示：黑色背景上的電影感漏光，有機(jī)質(zhì)感，逼真。

下面這個(gè)視頻，就是在Premiere Pro中使用屏幕混合模式之后的效果。

再比如，原視頻如果是這個(gè)樣子，就顯得有些中二且抽象：

但疊加上AI生成的火焰特效：

就得到了下面這個(gè)成品視頻。AI特效不僅和原視頻搭配得很有默契，而且瞬間拉滿酷炫風(fēng)格。

各種風(fēng)格的動(dòng)畫(huà)作品，也都可以一鍵生成。

像是2D的定格動(dòng)畫(huà)：

提示：在陽(yáng)光明媚的美麗廚房里，爐灶上的煎鍋中正在烹飪一個(gè)雞蛋，這是一個(gè)使用毛氈制作的定格二維動(dòng)畫(huà)。

或者手繪風(fēng)格的線條插畫(huà)：

提示：手繪簡(jiǎn)單線稿，一個(gè)年輕的孩子仰望太空，臉上帶著充滿驚嘆的表情。

還有各種類型的3D動(dòng)畫(huà)效果：

提示：可愛(ài)的章魚(yú)寶寶，有著迷人的眼睛，每個(gè)觸手都拿著一個(gè)茶杯，快樂(lè)地四處張望，3D渲染，Octane引擎，柔和光，夢(mèng)幻般的背景虛化，淺景深，電影感。

提示：用羊毛和毛氈制成的微型可愛(ài)怪物，在一起跳舞，3D渲染，Octane引擎，柔和的燈光，夢(mèng)幻的虛化，富有電影質(zhì)感。

提示：「SUMMER」一詞由蓬松、彩虹色的云朵組成，漂浮在美麗山脈上方的有漩渦和柔和色彩的天空中，兩秒鐘后，「SUMMER」一詞與云朵一起消散。

在深入創(chuàng)作之前，如果能和動(dòng)畫(huà)師、動(dòng)作設(shè)計(jì)師溝通意圖，省去不斷迭代、尋找正確風(fēng)格所花費(fèi)的時(shí)間。

圖生視頻

而Firefly的圖生視頻功能中，我們除了可以使用文本提示，還能在旁邊放上參考圖像。

通過(guò)上傳單個(gè)幀，就能輕松地為現(xiàn)有內(nèi)容創(chuàng)建補(bǔ)充鏡頭，比如一個(gè)特寫。

或者從靜態(tài)照片中創(chuàng)建新的B-roll，讓現(xiàn)有的圖像庫(kù)動(dòng)起來(lái)。

提示：花朵在風(fēng)中搖曳，一只美麗的蝴蝶正落在其中一朵花上。

更神奇的是，我們甚至可以改變?cè)肩R頭中的動(dòng)作和意圖。

比如，如果視頻剪輯中有一個(gè)特定的動(dòng)作，但作為剪輯師的你希望讓導(dǎo)演重新拍攝，這時(shí)就可以使用該功能將其可視化，在保持相同外觀的同時(shí)推動(dòng)故事情節(jié)。

原片：

生成：

提示：一只戴著手套的宇航員的手進(jìn)入畫(huà)面，拔掉了黃色電纜的其中一根。電影感。

提示的使用

Firefly模型能夠?qū)崿F(xiàn)豐富的鏡頭控制，比如鏡頭遠(yuǎn)近（包括特寫、中景、遠(yuǎn)景等）、角度和相機(jī)運(yùn)動(dòng)，以達(dá)到更精確的生成。

Firefly的這種專業(yè)特性，也就對(duì)用戶輸入的prompt提出了更高的要求。

從Adobe給出的官方demo來(lái)看，提示基本都相當(dāng)詳細(xì)；官方博客給出的建議也有這樣一句話：提示越詳細(xì)越好！

圖生視頻時(shí)可以僅描述畫(huà)面的語(yǔ)義信息，但文生視頻的prompt中基本都會(huì)包括光線、景別、鏡頭焦距、拍攝角度和機(jī)位、畫(huà)面色彩與質(zhì)感等十分細(xì)致深入的描述，才能指引模型生成出用戶腦海中的畫(huà)面。

Adobe建議的提示模板和具體建議如下：

鏡頭類型描述 + 角色 + 動(dòng)作 + 位置 + 美學(xué)風(fēng)格

• 盡可能使用更多詞語(yǔ)來(lái)具體描述光線、攝影、色彩分級(jí)、情緒和風(fēng)格
• 清晰描述，避免模糊不清
• 使用具體的動(dòng)詞和副詞定義動(dòng)作
• 使用大量描述性形容詞
• 包括時(shí)間元素，如一天中的時(shí)間或天氣
• 必要時(shí)加入相機(jī)運(yùn)動(dòng)
• 反復(fù)迭代！

反復(fù)迭代的過(guò)程中可以選擇更新提示，也可以使用同一個(gè)較為成熟的提示但更改種子值（seed），從而快速嘗試新的變化，而無(wú)需每次都從頭開(kāi)始。

比如下面這個(gè)demo的提示，雖然相比之下非常簡(jiǎn)短，但基本涵蓋了模板中提到的要素。

提示：一只紙質(zhì)熊貓平靜地走過(guò)一片折紙竹林，電影感，可愛(ài)，柔焦，背景虛化。

Adobe全家桶升級(jí)，帶來(lái)史上最強(qiáng)Photoshop

并且，這次Adobe再次推出新功能，讓Photoshop也全面升級(jí)。

Photoshop的智能去除功能，可以讓我們清理照片中不需要的元素，比如背景中的路人，或者是突兀的電線。

它能檢測(cè)并移除這些元素，然后用AI生成的內(nèi)容無(wú)縫填補(bǔ)。

左：原圖；右：天空中雜亂電線被AI移除，畫(huà)面簡(jiǎn)潔清晰

當(dāng)然，Photoshop中也融入了Adobe Firefly的AI功能，讓我們可以對(duì)畫(huà)面進(jìn)行生成式填充和擴(kuò)展。

AI功能由最新的Adobe Firefly圖像模型驅(qū)動(dòng)，可以為圖像帶來(lái)前所未有的真實(shí)感和逼真度。

具體來(lái)說(shuō)，在細(xì)節(jié)、光線、構(gòu)圖和色彩方面，我們可以更精確地控制生成的圖像。

此外，新增的「生成相似」功能，可以讓我們得到更多樣化的圖像變體。

生成式填充

生成式拓展

生成相似內(nèi)容

在Adobe Photoshop（測(cè)試版）中，還有一個(gè)新功能，就是生成式工作區(qū)。

其他AI圖像生成器只能產(chǎn)生有限的結(jié)果，但工作區(qū)可以讓我們同時(shí)構(gòu)思多個(gè)創(chuàng)意概念，只需輸入文本提示，就能快速生成一系列圖像。

這樣，就能方便地搜索和重復(fù)之前的文本提示和圖像，生成一組圖像的同時(shí)就能開(kāi)始生成下一組。