Qwen 發(fā)布了 13 個(gè)新模型，這些新模型被稱(chēng)為 Qwen 2.5。這次發(fā)布有三種類(lèi)型的模型：通用任務(wù)模型、編碼模型和數(shù)學(xué)模型。通用任務(wù)模型有七種尺寸：0.5B 模型、1.5B 模型、3B 模型、7B 模型、14B 模型、32B 模型和 72B 模型。

編碼模型有 1.5B 和 7B 尺寸，未來(lái)還會(huì)推出 32B 版本，但目前尚未提供。與此同時(shí)，數(shù)學(xué)模型有 1.5B、7B 和 72B 尺寸。這些模型都是開(kāi)源的，并根據(jù) Apache 2.0 許可發(fā)布，除了 3B 和 72B 版本。  

他們還發(fā)布了 Qwen 2.5 Plus 和 Turbo 版本，這些是閉源的，僅通過(guò)他們的 API 提供，表現(xiàn)非常好，一次性發(fā)布這么多模型真是太酷了。

無(wú)論如何，讓我們仔細(xì)看看這些模型。這些新模型是基于最多 18 萬(wàn)億個(gè) tokens 訓(xùn)練的，而編碼模型則是基于大約 5.5 萬(wàn)億個(gè)與代碼相關(guān)的數(shù)據(jù)進(jìn)行訓(xùn)練的。

除此之外，這些模型還支持 Chain of Thought（思維鏈）和其他功能，這也很不錯(cuò)。總體上來(lái)說(shuō)，這些模型比 Qwen 2 表現(xiàn)得更好，Qwen 2 已經(jīng)給人留下了深刻印象，而這些新模型更是進(jìn)一步提升。  

他們聲稱(chēng)這些新模型具有更多的知識(shí)，并在編碼和數(shù)學(xué)方面有了顯著改進(jìn)。這些新模型在指令遵循、生成長(zhǎng)文本、理解結(jié)構(gòu)化數(shù)據(jù)和生成結(jié)構(gòu)化輸出（特別是 JSON 格式）方面取得了顯著的進(jìn)步。

這些新模型支持的上下文長(zhǎng)度可以達(dá)到 128K tokens，且能生成大約 8K tokens 的輸出，這非常不錯(cuò)。這些新模型還保留了對(duì) 29 種語(yǔ)言的多語(yǔ)言支持。

此外，期待已久的 Qwen 2.5 編碼模型終于來(lái)了，上一個(gè)編碼模型 Qwen 1.5 是大約一年前發(fā)布的，而現(xiàn)在他們發(fā)布了新版本，該版本基于 5.5 萬(wàn)億個(gè)與代碼相關(guān)的數(shù)據(jù)進(jìn)行訓(xùn)練，使得更小的編碼特定模型能夠在編碼評(píng)估基準(zhǔn)上與更大的語(yǔ)言模型展開(kāi)競(jìng)爭(zhēng)。

現(xiàn)在讓我們來(lái)看看基準(zhǔn)測(cè)試結(jié)果。

72B 模型在幾乎所有基準(zhǔn)測(cè)試中都超過(guò)了之前的 Qwen 2 模型和 Llama 3.1，甚至在一些基準(zhǔn)中超過(guò)了更高參數(shù)的模型，這非常令人印象深刻。

他們還發(fā)布了一個(gè) Qwen Plus 模型，

只能通過(guò)他們的 API 使用，并且不公開(kāi)發(fā)布，但在與閉源模型的比較中表現(xiàn)非常出色。

除此之外，Qwen 2.5 32B 模型在與其他開(kāi)源模型（如 Gemma）以及閉源模型 GPT 4o Mini 的比較中也展現(xiàn)了令人印象深刻的表現(xiàn)，這也非常酷。  

它僅在 ieval Arena Hard 和 aLine Bench 上稍遜一籌。18B 模型也表現(xiàn)優(yōu)異，在幾乎所有基準(zhǔn)測(cè)試中都非常接近 GPT 40 Mini，看到這一點(diǎn)真的很酷。

他們還分享了一張圖表，顯示了模型的 MMLU 分?jǐn)?shù)隨著模型尺寸的縮小而提升。

3B 模型現(xiàn)在的 MMLU 分?jǐn)?shù)與之前的 72B 模型相似，看到這一點(diǎn)非常令人驚喜。此外，所有這些模型現(xiàn)在都支持生成最多 8K tokens 的長(zhǎng)文本，并且能夠生成更好的結(jié)構(gòu)化輸出。  

現(xiàn)在讓我們談?wù)?Qwen 2.5 的編碼模型。

根據(jù)他們的說(shuō)法，Qwen 2.5 編碼模型現(xiàn)在是最好的編碼模型之一。7B 編碼模型在幾乎所有基準(zhǔn)測(cè)試中都擊敗了其他模型，包括 Cod Astral 和 Deep Seek V2 Coder Light，而這些模型的尺寸是 7B 模型的三倍，看到這一點(diǎn)真是令人驚嘆。

如果我們具體看看基準(zhǔn)測(cè)試結(jié)果，Human Eval 基準(zhǔn)測(cè)試的表現(xiàn)相當(dāng)出色，而 MBPP 也展現(xiàn)了相似的結(jié)果，其他基準(zhǔn)測(cè)試也大體相似，除了 BigCode Bench，Deep Seek 的得分略高一些，但 Qwen 也非常接近，指令調(diào)優(yōu)的模型也顯示了類(lèi)似的結(jié)果，這很棒。

他們還用多種編程語(yǔ)言對(duì)其進(jìn)行了測(cè)試，Qwen 在大多數(shù)語(yǔ)言中都表現(xiàn)出色，看到這一點(diǎn)非常驚人。

除此之外，在 CRUXEval

它還在數(shù)學(xué)推理基準(zhǔn)測(cè)試中擊敗了 Deep Seek，在基本功能方面也展現(xiàn)了相似的結(jié)果，這同樣令人印象深刻。

目前他們的編碼模型陣容包括 1.5B 和 7B 模型，但未來(lái)他們計(jì)劃推出 32B 模型，令人期待。  

現(xiàn)在我們聊聊數(shù)學(xué)模型，因?yàn)樗幸恍┯腥さ墓δ堋?shù)學(xué)模型現(xiàn)在有 Chain of Thought（思維鏈），這意味著它可以像 o1 一樣使用逐步推理來(lái)更有效地解決復(fù)雜問(wèn)題。

他們建議不要將這一系列模型用于其他任務(wù)，因?yàn)樗菫樘囟ㄓ美M(jìn)行了微調(diào)的。他們已經(jīng)將其與同類(lèi)范圍內(nèi)的其他模型進(jìn)行了測(cè)試，通常表現(xiàn)優(yōu)于其他模型，得益于它的新推理方法。

他們還添加了 Python 解釋器支持，有時(shí)會(huì)生成代碼來(lái)更好地解決問(wèn)題并找到答案，這非常酷。  

▲ https://github.com/QwenLM/Qwen-Agent

我不是數(shù)學(xué)天才，但如果你是，你可以嘗試一下。

所以這些就是關(guān)于這些模型的基本信息。這些模型現(xiàn)在可以在 Ollama 上本地使用，他們還在 Hugging Face 上推出了一個(gè)空間供大家試用。

我不會(huì)在這篇文章中測(cè)試這些模型，因?yàn)闇y(cè)試這么多模型文章會(huì)很長(zhǎng)。我會(huì)用一篇單獨(dú)文章來(lái)測(cè)試，盡情期待。

huggingface 部署

快速創(chuàng)建一個(gè)虛擬環(huán)境，我將它命名為 Qwen。

接下來(lái)我要安裝所有的前置需求，包括 Torch 和 Transformers。

現(xiàn)在我們要做的是安裝這個(gè)系列中的一個(gè)小型模型，它只有 5 億參數(shù)。

它是 Qwen 2.5 的一個(gè)因果語(yǔ)言模型（Causal Language Models），參數(shù)總數(shù)為 5 億 49 百萬(wàn)，其中 36 百萬(wàn)參數(shù)是不參與訓(xùn)練的。

它有 24 層，并且使用了 GQA（分組查詢(xún)注意力）。它的上下文窗口為 32K，也就是說(shuō)，它一次可以處理 32K 大小的數(shù)據(jù)，并且能夠一次生成 8000 個(gè) token，即使是這個(gè)小模型，真的非常令人印象深刻。 

讓我啟動(dòng) Jupyter Notebook，這樣我們可以在瀏覽器環(huán)境中下載并測(cè)試這個(gè)模型。

讓我導(dǎo)入相關(guān)的庫(kù)，然后下載這個(gè)新模型及其分詞器。

你可以看到這個(gè)模型只有 988MB，等待下載完成。

模型下載完了，讓我們進(jìn)行一些推理測(cè)試。  

在第一個(gè)測(cè)試中，我問(wèn)了一個(gè)經(jīng)典的問(wèn)題：“草莓里面有多少個(gè)r？” 大多數(shù)模型會(huì)回答錯(cuò)誤。

但是我們來(lái)試試看。這個(gè)過(guò)程非常標(biāo)準(zhǔn)，我們提供提示，指定系統(tǒng)和用戶(hù)角色，使用分詞器將文本轉(zhuǎn)換為 token，生成輸出，然后解碼并打印響應(yīng)。

看到了嗎？這個(gè)小模型竟然回答正確了！

接下來(lái)我做了另一個(gè)測(cè)試，要求模型寫(xiě) 10 個(gè)以“美麗”結(jié)尾的句子。

好吧，這一次模型失敗了，它沒(méi)有做到。

我們知道它可以一次生成 8000 個(gè) token，所以接下來(lái)我讓它寫(xiě)一篇關(guān)于數(shù)據(jù)集準(zhǔn)備的研究論文，嘗試提出一些新的想法，并盡可能詳細(xì)地描述。這里我設(shè)置了 8000 個(gè) token 的生成上限。

好的，論文已經(jīng)生成了一部分。我檢查了我的 GPU 使用情況，顯存消耗大約是 1.3GB，表現(xiàn)不錯(cuò)。雖然它沒(méi)有生成完整的 8000 字論文，但寫(xiě)的內(nèi)容還是相當(dāng)不錯(cuò)的。

vLMM部署

建議使用最新版本的 vLLM 來(lái)構(gòu)建兼容 OpenAI 的 API 服務(wù)，支持工具使用。以下是使用聊天模型啟動(dòng)服務(wù)器的步驟，以 ??Qwen2.5-7B-Instruct?? 為例：

vllm serve Qwen/Qwen2.5-7B-Instruct

啟動(dòng)服務(wù)器后，你可以通過(guò)如下的聊天 API 與模型進(jìn)行交互：

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
    "model": "Qwen/Qwen2.5-7B-Instruct",
    "messages": [
        {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
        {"role": "user", "content": "Tell me something about large language models."}
    ],
    "temperature": 0.7,
    "top_p": 0.8,
    "repetition_penalty": 1.05,
    "max_tokens": 512 }'

Python 客戶(hù)端示例

使用 OpenAI Python 客戶(hù)端調(diào)用 vLLM API 服務(wù)。您可以按照以下步驟配置并發(fā)送聊天請(qǐng)求：

from openai import OpenAI

# 設(shè)置 OpenAI 的 API 密鑰和 API 基地址，使用 vLLM 提供的 API 服務(wù)
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

chat_response = client.chat.completions.create(
    model="Qwen2.5-7B-Instruct",
    messages=[
        {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
        {"role": "user", "content": "Tell me something about large language models."},
    ],
    temperature=0.7,
    top_p=0.8,
    max_tokens=512,
    extra_body={
        "repetition_penalty": 1.05,
    },
)

print("Chat response:", chat_response)

Qwen2.5 博客后面的這個(gè)歸納還挺有用的：

本文轉(zhuǎn)載自 ??AI進(jìn)修生??，作者： Aitrainee