隨著人工智能技術的飛速發展，大語言模型在各個領域都展現出了巨大的潛力。然而，傳統的大語言模型在處理長文本時面臨著效率低下和計算成本高昂的問題。為了解決這一難題，DeepSeek-AI推出了實驗性版本DeepSeek-V3.2-Exp，該模型通過引入DeepSeek稀疏注意力機制（DSA），在保持與V3.1-Terminus相當性能的同時，顯著提升了長文本處理的效率。

圖片

一、項目概述

DeepSeek-V3.2-Exp是DeepSeek-AI于2025年9月29日發布的實驗性大語言模型，旨在探索和驗證在長上下文場景下訓練和推理效率的優化。該模型基于V3.1-Terminus構建，引入了創新的DeepSeek稀疏注意力（DSA）機制，實現了細粒度稀疏注意力，突破了傳統Transformer架構的限制。在多個公開基準測試中，DeepSeek-V3.2-Exp的性能與V3.1-Terminus基本持平，但在長文本處理場景中，其推理成本顯著降低。

二、核心功能

（一）架構創新

DeepSeek-V3.2-Exp的核心創新在于其稀疏注意力機制。傳統的Transformer模型在處理長文本時，由于需要計算每個標記之間的注意力權重，導致計算復雜度呈二次方增長，極大地限制了模型的效率。而DeepSeek-V3.2-Exp通過引入閃電索引器（lightning indexer）和細粒度標記選擇機制，實現了細粒度的稀疏注意力。這種機制只關注最相關的標記，從而大幅減少了不必要的計算。

（二）性能優化

盡管引入了稀疏注意力機制，DeepSeek-V3.2-Exp在性能上并未受到影響。在多個領域的公共基準測試中，其表現與V3.1-Terminus相當。例如，在MMLU-Pro知識測試和代碼挑戰中，DeepSeek-V3.2-Exp的得分與V3.1-Terminus相當，甚至在某些任務中略有提升。

（三）成本降低

DeepSeek-V3.2-Exp的API定價大幅下降，輸入成本低至$0.07/百萬token（緩存命中），降低了開發者的使用成本。這一成本降低主要得益于稀疏注意力機制帶來的計算成本降低和引入的緩存機制。

（四）開源支持

DeepSeek-V3.2-Exp提供了完整的推理代碼、CUDA內核和多平臺部署解決方案。這使得研究人員和開發者可以輕松地在本地部署和使用該模型，進一步推動了其在實際應用中的廣泛部署。

三、技術揭秘

（一）稀疏注意力機制

DeepSeek-V3.2-Exp的稀疏注意力機制是其核心技術。該機制通過閃電索引器計算查詢標記與前序標記之間的索引分數，然后選擇前k個關鍵值條目進行注意力計算。這種細粒度的稀疏注意力機制不僅顯著提高了長文本處理的效率，還保持了模型輸出質量。

（二）閃電索引器

閃電索引器是DSA的核心組件，它通過少量的索引頭和高效的計算方式，快速確定哪些標記對查詢標記最重要。這種高效的索引機制使得模型能夠在長文本場景下快速定位關鍵信息，從而提高推理速度。

（三）訓練策略

DeepSeek-V3.2-Exp的訓練過程分為兩個階段：密集預熱階段和稀疏訓練階段。在密集預熱階段，僅訓練索引器，保持其余參數不變，使其輸出的分數分布與原始注意力分布對齊。在稀疏訓練階段，引入令牌選擇機制，同時優化索引器和主模型參數，使模型適應稀疏注意力模式。

四、基準評測

在多項基準測試中，DeepSeek-V3.2-Exp的表現與V3.1-Terminus基本持平。例如，在MMLU-Pro、GPQA-Diamond等任務中，DeepSeek-V3.2-Exp的性能與V3.1-Terminus相當。然而，在長文本處理場景中，DeepSeek-V3.2-Exp的推理成本顯著降低。

五、應用場景

（一）長文本處理

DeepSeek-V3.2-Exp適用于需要處理長文本的場景，如長篇文檔分析、長文本生成等。其稀疏注意力機制能夠顯著提高長文本的處理效率，使得模型能夠在更短的時間內完成任務。

（二）代碼生成與編程輔助

DeepSeek-V3.2-Exp在代碼生成和編程輔助任務中表現出色。它能夠幫助開發者快速生成代碼片段、優化代碼結構，提高編程效率。

（三）多語言處理

DeepSeek-V3.2-Exp支持多語言任務，可應用于跨語言的文本生成、翻譯等場景。這使得該模型能夠在不同語言環境下的需求中發揮作用。

六、快速使用

（一）HuggingFace原生部署

用戶可以從Hugging Face平臺下載DeepSeek-V3.2-Exp的模型權重，按照提供的本地運行指南，將權重轉換為推理演示所需格式，并啟動交互式聊天界面進行使用。

1、格式轉換

首先將huggingface 模型權重轉換為推理演示所需的格式。設置 MP 以匹配您可用的 GPU 數量

cd inference
export EXPERTS=256
python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} --n-experts ${EXPERTS} --model-parallel ${MP}

2、啟動運行

啟動交互式聊天界面，開始探索DeepSeek 的功能：

export CONFIG=config_671B_v3.2.json
torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --interactive

（二）SGLang高性能部署

SGLang是DeepSeek-V3.2的官方推理框架，具有優化的稀疏注意力內核、動態KV緩存，并能無縫擴展到128K個token。用戶可以通過Docker鏡像快速部署該模型，并根據硬件平臺選擇對應的鏡像。

1、使用 Docker 安裝

# H200
docker pull lmsysorg/sglang:dsv32
# MI350
docker pull lmsysorg/sglang:dsv32-rocm
# NPUs
docker pull lmsysorg/sglang:dsv32-a2
docker pull lmsysorg/sglang:dsv32-a3

2、啟動命令：

python -m sglang.launch_server --model deepseek-ai/DeepSeek-V3.2-Exp --tp 8 --dp 8 --enable-dp-attention

（三）vLLM集成

vLLM提供了對DeepSeek-V3.2-Exp的day-0支持，用戶可以參考官方recipes進行配置。

https://docs.vllm.ai/projects/recipes/en/latest/DeepSeek/DeepSeek-V3_2-Exp.html 

七、結語

DeepSeek-V3.2-Exp的發布，不僅展示了一種高效的長上下文處理方案，也為大模型在保持性能的同時降低計算成本提供了新的思路。該模型通過引入稀疏注意力機制，在長文本處理場景中實現了顯著的效率提升，同時保持了與V3.1-Terminus相當的性能。DeepSeek-V3.2-Exp的開源支持和多平臺部署解決方案，進一步推動了其在實際應用中的廣泛部署。

項目地址

HuggingFace模型庫：https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp

魔搭社區：https://modelscope.cn/models/deepseek-ai/DeepSeek-V3.2-Exp

技術論文：https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf