首先從源碼角度看Qwen3VL的改進，核心圍繞增強多模態融合深度（DeepStack）、優化視覺特征處理、提升時序建模精度（視頻時間戳編碼）以及精細化歸一化設計（文本專用RMSNorm），整體更注重多模態任務中的特征對齊與深層交互。然后概述DeepStack用于多模態大模型的核心思想。

Qwen3VL源碼側改進點

代碼側改動如下：

1.??hidden_act="silu"??? -> ??hidden_act="gelu_pytorch_tanh"??

2.Qwen3VLProcessor引入??Qwen3VLVideoProcessor??，更加適配視頻處理

3.視覺塊歸一化層調整

• Qwen2.5VL：視覺塊（??Qwen2_5_VLVisionBlock???）使用??Qwen2RMSNorm??作為歸一化層（一種RMSNorm變體）。
• Qwen3VL：視覺塊（??Qwen3VLVisionBlock???）改用??nn.LayerNorm??（標準層歸一化）。這一調整可能是為了更好地適配視覺特征的分布特性，提升訓練穩定性或特征表達能力。

4.引入DeepStack多模態融合機制

• Qwen3VL在文本模型（??Qwen3VLTextModel??）中新增了DeepStack機制（DeepStack機制能讓視覺信息更深度地參與文本解碼過程，提升多模態理解的連貫性。），通過??_deepstack_process???方法將視覺特征（??deepstack_visual_embeds??）融入解碼器的多個隱藏層。在解碼器層的前向傳播中，會在指定層將視覺特征疊加到對應位置的文本隱藏狀態上：

# Qwen3VLTextModel.forward
if deepstack_visual_embeds is not None and layer_idx in range(len(deepstack_visual_embeds)):
    hidden_states = self._deepstack_process(
        hidden_states, visual_pos_masks, deepstack_visual_embeds[layer_idx]
    )

• Qwen2.5VL視覺特征僅在輸入嵌入階段替換占位符 token，未在解碼器深層進行融合。

5.視頻時序位置編碼優化

• Qwen2.5VL：在??get_rope_index???中，視頻的時序位置編碼基于絕對時間間隔（如??second_per_grid_t * tokens_per_second??），直接計算時序索引。
• Qwen3VL：修改了視頻時序處理邏輯，通過時間戳（而非絕對時間位置）區分視頻幀，將??video_grid_thw???重復展開并強制時序維度為1（??video_grid_thw[:, 0] = 1??），時序信息通過外部時間戳 token 傳遞：

# Qwen3VLModel.get_rope_index
if video_grid_thw is not None:
    video_grid_thw = torch.repeat_interleave(video_grid_thw, video_grid_thw[:, 0], dim=0)
    video_grid_thw[:, 0] = 1  # 時序維度固定為1，依賴時間戳區分

6.視覺特征分層輸出與融合

• Qwen3VL：視覺模型（??Qwen3VLVisionModel???）的??get_image_features???和??get_video_features??不僅返回最終視覺嵌入，還返回分層視覺特征（??deepstack_image_embeds/deepstack_video_embeds??），用于DeepStack機制在解碼器多層融合：

# Qwen3VLModel.get_image_features
image_embeds, deepstack_image_embeds = self.visual(pixel_values, grid_thw=image_grid_thw)

• Qwen2.5VL：僅返回單一視覺嵌入，無分層特征輸出。分層特征融合能讓不同層級的視覺信息（如低級紋理、高級語義）分別參與文本解碼，提升多模態對齊精度。

7.文本RMSNorm的獨立優化

• Qwen3VL：新增??Qwen3VLTextRMSNorm???類，專門針對文本部分優化??RMSNorm???，明確注釋其與T5LayerNorm等效，并通過??@use_kernel_forward_from_hub("RMSNorm")??引入可能的 kernel 優化：

@use_kernel_forward_from_hub("RMSNorm")
class Qwen3VLTextRMSNorm(nn.Module):
    def forward(self, hidden_states: torch.Tensor) -> torch.Tensor:
        input_dtype = hidden_states.dtype
        hidden_states = hidden_states.to(torch.float32)
        variance = hidden_states.pow(2).mean(-1, keepdim=True)
        hidden_states = hidden_states * torch.rsqrt(variance + self.variance_epsilon)
        return self.weight * hidden_states.to(input_dtype)

• Qwen2.5VL：文本和視覺共享??Qwen2RMSNorm???，未針對文本單獨優化。文本??RMSNorm??的獨立設計可更精細地適配文本特征分布，提升語言建模能力。

DeepStack

大多數多模態模型通過將視覺 token 作為序列輸入到LLM的第一層來實現。這種架構雖然簡單，但顯著增加了計算 和內存成本，因為其輸入層需要處理大量額外的 token。DeepStack考慮到 LMMs 中語言和視覺 Transformer 的 N 層，將視覺 token 堆疊成 N 組，并將每組從下到上依次輸入到其對應的 Transformer 層.

• 如上左圖：傳統的大型多模態模型將所有視覺 token 串接成一個序列，適用 于高分辨率和低分辨率圖像。
• 中間圖： DeepStack LMMs 將 token 堆疊成網格，并自下而上地將其注入到 Transformer 的前幾層和中間層，僅通過殘差連接實現。
• 右圖：將 DeepStack 應用于 Vicuna-7B（DeepStack-L）和 CLIP ViT-L（DeepStack-V），模型能夠接受 4× 倍的視覺 token，在相同的上下文長度下顯著超 越序列式 LMM，并在廣泛的基準測試中與使用更長上下文的模型相媲美。

架構

主要創新在于 DeepStack 策略（通過將圖像特征抽取分為兩個流來實現這一點：一個全局視圖流用于捕捉全局信息，另一個高分辨率流通過在不同層的大模型中堆疊擴張的高分辨率圖像特征來增強全局信息。），該策略將視覺 token 注入到不同的層中。大白話：DeepStack 的本質是利用 Transformer 的分層架構特性，將視覺 token 的 “整合過程” 分散到 LLM 的多層中。

• 左圖：用于大模型的 DeepStack ：給定輸入圖像，將從低分辨率版本中提取的 token 輸入到大模型的輸入層?？紤]到圖像的二維特性，從高分辨率版本中提取相鄰區域，并將其重新組織為DeepStack ，然后將其輸入到大模型的后續層中。
• 右圖：用于 ViTs 的 DeepStack ：采用類似的采樣策略，但將視覺 token 輸入到視覺編碼器的 ViT 層中。DeepStack-V 的適配邏輯：利用 ViTs 的編碼器分層結構，將高分辨率視覺 token 注入 ViTs 的中間層，而非僅在輸入層（PatchEmbed）處理，增強 ViTs 的細粒度特征提取能力。

多模態大模型基于投影的連接模塊獲得了視覺標記，DeepStack策略就是如何在保持多模態處理有效的同時提供信息豐富的視覺標記。

DeepStack PyTorch偽代碼：

def forward(H0, Xstack, lstart, n, vis_pos):
    H = H0  # LLM初始隱藏態（含全局視覺token+文本token）
    for (idx, TransformerLayer) in enumerate(self.layers):
        # 滿足條件時，注入高分辨率堆疊token（殘差連接）
        if idx >= lstart and (idx - lstart) % n == 0:
            stack_idx = (idx - lstart) // n  # 對應Xstack的索引
            H[vis_pos] += Xstack[stack_idx]  # vis_pos：視覺token在隱藏態中的位置
        # 正常執行LLM的Transformer層計算
        H = TransformerLayer(H)
    return H

參考文獻

• ??https://github.com/huggingface/transformers/blob/cbb290ec23ccd9b5c1d1ff4d333477449891debb/src/transformers/models/qwen3_vl/processing_qwen3_vl.py???#L37??
• DeepStack: Deeply Stacking Visual Tokens is Surprisingly Simple and Effective for LMMs，https://arxiv.org/pdf/2406.04334

本文轉載自??大模型自然語言處理??   作者：余俊輝