4秒看完2小時電影，阿里團隊新成果正式亮相——

推出通用多模態大模型mPLUG-Owl3，專門用來理解多圖、長視頻。

具體來說，以LLaVA-Next-Interleave為基準，mPLUG-Owl3將模型的First Token Latency縮小了6倍，且單張A100能建模的圖像數目提升了8倍，達到了400張圖片，實測4秒就能看完一部2小時的電影。

換句話說，模型的推理效率有了極大提升。

而且不犧牲模型的準確性。

mPLUG-Owl3還在多模態大模型所涉及的各種場景，包括單圖、多圖、視頻領域的諸多Benchmarks上達到了SOTA。

論文作者來自阿里mPLUG團隊，他們一直深耕多模態大模型底座，在此之前還提出了：

• 高效多模態底座mPLUG系列
• 模塊化多模態大語言模型底座mPLUG-Owl系列
• 文檔理解底座mPLUG-DocOwl系列

下面就讓我們來了解一下本次發布的mPLUG-Owl3究竟帶來了什么黑科技吧。

玩法解鎖

團隊展示了mPLUG-Owl3的幾種常見用法。

多模態檢索增強

一般來說，對于模型沒有學過的知識，通過檢索系統進行補充是常見的做法。這需要模型能準確理解傳入的多模態知識，并用于解答問題。

在下面這個例子中，mPLUG-Owl3不僅能基于檢索知識正確回復，還能給出它基于哪一條知識做出的判斷，并且給出詳細的判斷依據。這對于下游研發人員開發和調試都是非常友好的。

檢索部分：以下是為你檢索到的幾個多模態知識，供你做出決定。

提問：根據你對上面四張狗的照片的觀察，你能對圖片5中的狗進行分類嗎？給出理由。

回答：根據對四張狗的照片的觀察，圖片5中的狗可以被歸類為愛爾蘭梗犬。圖片1中的狗被描述為愛爾蘭梗犬，圖片5中的狗與圖片1中的狗在身體特征上有相似之處……

多圖推理

生活中經常會出現這樣的情況——

很多用戶并非只圍繞一張圖片進行對話，而是用戶可能有幾份材料，需要模型能正確理解不同材料中的內容的關系。

在下面這個例子中，mPLUG-Owl3能通過兩張圖像所見，激活語言模型的常識知識，并圍繞兩張圖片進行推理。

提問：左邊的動物能在右邊的環境中存活嗎？需要回答并給出解釋。

回答（正確答案標綠）：大意是，不能存活，因為環境太冷了。

在另一個例子中，mPLUG-Owl3不僅能察覺兩張圖片風格上的差異性，并且也能意識到兩張圖中的人物雖然風格不同，但其實是同一個角色。

第一次提問：圖片中描繪了哪些藝術風格，它們有何不同？

回答：第一張是像素風，第二張是卡通風格……（給出理由）

第二次提問：在兩幅畫中都出現了誰？他們的特征是什么？

回答：在兩幅畫中，都出現了一個戴著牛仔帽的男人，他被兩種不同的風格描繪。

長視頻理解

觀看超長視頻是現在大部分模型都無法端到端完成的任務，若是基于Agent框架，則又難以保證響應速度。

mPLUG-Owl3能夠看一部2小時電影，并且4秒就能開始回答用戶的問題。

不管用戶是對電影的開頭、中間和結尾的非常細致的片段進行提問，mPLUG-Owl3都能對答如流。

咋做到的？

與傳統模型不同，mPLUG-Owl3不需要提前將視覺序列拼接到語言模型的文本序列中。

換句話說，不管輸入了啥（幾十張圖或幾小時視頻），都不占用語言模型序列容量，這就規避了長視覺序列帶來的巨額計算開銷和顯存占用。

有人可能會問了，那視覺信息如何融入到語言模型中呢？

為實現這一點，該團隊提出了一種輕量化的Hyper Attention模塊，它可以將一個已有的只能建模文本的Transformer Block擴展成一個能夠同時做圖文特征交互和文本建模的新模塊。

通過在整個語言模型中稀疏地擴展4個Transformer Block，mPLUG-Owl3就能用非常小的代價將LLM升級成多模態LLM。

視覺特征在從視覺編碼器抽取出來后，會通過一個簡單的線性映射把維度對齊到語言模型的維度。

隨后，視覺特征只會在這4層Transformer Block與文本交互，由于視覺Token沒有經過任何壓縮，所以細粒度的信息都能得到保留。

下面來看一下Hyper Attention內又是如何設計的。

Hyper Attention為了讓語言模型能感知到視覺特征，引入了一個Cross-Attention操作，將視覺特征作為Key和Value，將語言模型的hidden state作為Query去析取視覺特征。

近年也有其他研究考慮將Cross-Attention用于多模態融合，比如Flamingo和IDEFICS，但這些工作都沒能取得較好的性能表現。

在mPLUG-Owl3的技術報告中，團隊對比了Flamingo的設計，來進一步說明Hyper Attention的關鍵技術點：

首先，Hyper Attention沒有采用Cross-Attention和Self-Attention級聯的設計，而是嵌入在Self-Attention區塊內。

它的好處是大幅度降低了額外引入的新參數，使得模型更容易訓練，并且訓練和推理效率也能進一步提升。

其次，Hyper Attention選擇共享語言模型的LayerNorm，因為LayerNorm所輸出的分布正是Attention層已經訓練穩定的分布，共享這一層對于穩定學習新引入的Cross-Attention至關重要。

事實上，Hyper Attention采取了一種并行Cross-Attention和Self-Attention的策略，使用共享的Query去與視覺特征交互，通過一個Adaptive Gate融合兩者的特征。

這使得Query可以根據自身語義針對性地選擇與之相關的視覺特征。

團隊發現，圖像在原始上下文中與文本的相對位置關系對于模型更好的理解多模態輸入非常重要。

為了建模這一性質，他們引入了一種多模態交錯的旋轉位置編碼MI-Rope來給視覺的Key建模位置信息。

具體來說，他們預先記錄了每張圖片在原文中的位置信息，會取這一位置來計算對應的Rope embedding，而同一張圖的各個patch會共享這個embedding。

此外，他們也在Cross-Attention引入了Attention mask，讓原始上下文中在圖片之前的文本不能看到后面的圖片對應的特征。

概括而言，Hyper Attention的這些設計點，為mPLUG-Owl3帶來了進一步的效率提升，并且保障了它仍然能具備一流的多模態能力。

實驗結果

通過在廣泛的數據集上進行實驗，mPLUG-Owl3在大多數單圖多模態Benchmarks都能取得SOTA的效果，甚至不少測評還能超過模型尺寸更大的模型。

同時，在多圖測評中，mPLUG-Owl3同樣超越了專門針對多圖場景優化的LLAVA-Next-Interleave和Mantis。

另外，在LongVideoBench（52.1分）這一專門評估模型對長視頻理解的榜單上更是超越現有模型。

研發團隊還提出了一個有趣的長視覺序列測評方法。

眾所周知，真實的人機交互場景，并非所有圖片都是為了用戶問題服務的，歷史上下文中會充斥著與問題無關的多模態內容，序列越長，這一現象越嚴重。

為了評估模型在長視覺序列輸入中的抗干擾能力，他們基于MMBench-dev構建了一個新的測評數據集。

通過為每一個MMBench循環評估樣本引入無關的圖片并打亂圖片順序，再針對原本的圖片進行提問，看模型是否能穩定地正確回復。（對于同一個問題，會構造4個選項順序和干擾圖片均不同的樣本，全都答對才記一次正確回答。）

實驗中根據輸入圖片數目分為了多個層級。

可以看出，沒有經過多圖訓練的模型例如Qwen-VL和mPLUG-Owl2很快就敗下陣來。

而經過多圖訓練的LLAVA-Next-Interleave和Mantis在最開始能和mPLUG-Owl3保持近似的衰減曲線，但隨著圖片數目達到了50這個量級，這些模型也不再能正確回答了。

而mPLUG-Owl3堅持到了400張圖片還能保持40%的準確率。

不過有一說一，盡管mPLUG-Owl3超越了現有模型，但其準確率遠未達到優秀水平，只能說這一測評方法揭示了所有模型未來需要進一步提升的長序列下的抗干擾能力。

更多詳情歡迎查閱論文及代碼。

論文：https://arxiv.org/abs/2408.04840
代碼：https://github.com/X-PLUG/mPLUG-Owl/tree/main/mPLUG-Owl3
demo（抱抱臉）：https://huggingface.co/spaces/mPLUG/mPLUG-Owl3
demo（魔搭社區）：https://modelscope.cn/studios/iic/mPLUG-Owl3
7B模型（抱抱臉）：https://huggingface.co/mPLUG/mPLUG-Owl3-7B-240728
7B模型（魔搭社區）https://modelscope.cn/models/iic/mPLUG-Owl3-7B-240728