Falcon 3：阿聯(lián)酋技術(shù)創(chuàng)新研究所推出世界上最小、最強大的人工智能模型原創(chuàng)

發(fā)布于 2025-2-7 16:13

瀏覽

0收藏

01、概述

近年來，大型語言模型（Large Language Models，LLMs）的發(fā)展成為人工智能領(lǐng)域的核心議題。而作為這一領(lǐng)域的先行者之一，位于阿布扎比的科技創(chuàng)新研究院（Technology Innovation Institute, TII）再次推出其重磅產(chǎn)品——Falcon3 系列。作為一組參數(shù)規(guī)模在10億以下的解碼器（Decoder-only）大型語言模型，F(xiàn)alcon3系列不僅在性能和訓(xùn)練效率上取得了重要突破，還彰顯了TII致力于推動開放、可訪問的基礎(chǔ)模型的決心。

02、Falcon3 系列的亮點與演進

Falcon3 是對其前代模型的自然演進，重點提升了模型在科學(xué)、數(shù)學(xué)和代碼領(lǐng)域的能力。這一系列包含五個基礎(chǔ)模型：

Falcon3-1B-Base
Falcon3-3B-Base
Falcon3-Mamba-7B-Base
Falcon3-7B-Base
Falcon3-10B-Base

這些模型通過一系列創(chuàng)新技術(shù)實現(xiàn)了高效訓(xùn)練和卓越性能，以下是Falcon3在開發(fā)過程中實現(xiàn)的關(guān)鍵技術(shù)進展：

1）大規(guī)模預(yù)訓(xùn)練：

在開發(fā)Falcon3-7B模型時，研究團隊使用了1024顆H100 GPU芯片，并基于14萬億個高質(zhì)量多語言數(shù)據(jù)（涵蓋Web內(nèi)容、代碼及STEM領(lǐng)域），進行了一次大規(guī)模的預(yù)訓(xùn)練。

2）模型深度擴展：

通過對冗余層的復(fù)制和2萬億高質(zhì)量數(shù)據(jù)的進一步訓(xùn)練，研究團隊將7B模型擴展為10B參數(shù)的Falcon3-10B-Base，成功提升了零樣本（Zero-shot）和少樣本（Few-shot）任務(wù)性能。

3）知識蒸餾技術(shù)：

為開發(fā)更加緊湊高效的小模型（如Falcon3-1B和Falcon3-3B），團隊采用了剪枝和知識蒸餾技術(shù)，利用不到100GB的精選數(shù)據(jù)完成預(yù)訓(xùn)練，顯著提升了效率。

4）強化數(shù)學(xué)推理能力：

Falcon Mamba 7B模型通過額外訓(xùn)練1.5萬億高質(zhì)量數(shù)據(jù)，形成了Falcon3-Mamba-7B-Base版本，大幅提升了推理和數(shù)學(xué)任務(wù)的表現(xiàn)。

5）豐富的模型變體：

所有Falcon3基礎(chǔ)模型均提供多種變體，包括 Instruct、GGUF、GPTQ-Int4、GPTQ-Int8 等，滿足多樣化的應(yīng)用需求。

03、性能與評估：Falcon3如何脫穎而出？

Falcon3 系列在常見基準(zhǔn)測試中展現(xiàn)了超強實力，特別是在小型和中型模型領(lǐng)域中，其性能備受矚目。

1）小模型的驚人表現(xiàn)：

Falcon3-1B-Base：在對比中超越了SmolLM2-1.7B，并與gemma-2-2B的表現(xiàn)相當(dāng)。

Falcon3-3B-Base：在性能上優(yōu)于規(guī)模更大的Llama-3.1-8B和Minitron-4B-Base，充分體現(xiàn)了知識蒸餾的訓(xùn)練優(yōu)勢。

2）中型模型的卓越性能：

Falcon3-7B-Base：與Qwen2.5-7B在7B規(guī)模模型中旗鼓相當(dāng)，在數(shù)學(xué)和推理任務(wù)中表現(xiàn)尤為突出。

Falcon3-10B-Base：作為13B以下規(guī)模模型中的佼佼者，在多項基準(zhǔn)測試中取得領(lǐng)先。

3） Mamba模型的優(yōu)異表現(xiàn)：

Falcon3-Mamba-7B在State Space Language Model（SSLM）領(lǐng)域繼續(xù)引領(lǐng)潮流，支持最長32K的上下文長度，同時保持卓越性能，適合用戶無縫集成。

Falcon 3：阿聯(lián)酋技術(shù)創(chuàng)新研究所推出世界上最小、最強大的人工智能模型-AI.x社區(qū)

04、擴展能力：科學(xué)、數(shù)學(xué)與編程的多領(lǐng)域突破

Falcon3的研發(fā)重點在于提升科學(xué)、數(shù)學(xué)和編程領(lǐng)域的能力，以下是一些關(guān)鍵評估數(shù)據(jù)：

1）數(shù)學(xué)能力

Falcon3-10B-Base 在復(fù)雜數(shù)學(xué)任務(wù)中得分：MATH-Lvl5 22.9，GSM8K 83.0，表現(xiàn)極為亮眼。

2）編程能力

在編程相關(guān)任務(wù)中，F(xiàn)alcon3-10B-Base 在 MBPP 上獲得 73.8 的高分，而其 Instruct 版本在 Multipl-E 上得分 45.8，展現(xiàn)了強大的代碼通用化能力。

3）推理能力

Falcon3-7B 和 Falcon3-10B 在 BBH 測試中分別得分 51.0 和 59.7，證明其在復(fù)雜推理任務(wù)上的優(yōu)勢。

4）科學(xué)知識擴展

MMLU 基準(zhǔn)測試結(jié)果顯示：Falcon3-7B-Base 和 Falcon3-10B-Base 分別在 MMLU 和 MMLU-PRO 中得分 67.4/39.2 和 73.1/42.5，反映了其在專業(yè)知識領(lǐng)域的強大能力。

05、技術(shù)細節(jié)與創(chuàng)新架構(gòu)

模型架構(gòu)優(yōu)化：

Falcon3 系列基于解碼器（Decoder-only）結(jié)構(gòu)，18到40層的Transformer深度，以及SwiGLU激活函數(shù)使其在FlashAttention-3優(yōu)化下?lián)碛懈咝У耐评砟芰Α?/p>

Falcon3-7B-Base采用了最大量的數(shù)據(jù)訓(xùn)練，覆蓋了廣泛的概念和知識，為通用任務(wù)提供了出色的表現(xiàn)。

Falcon3-Mamba-7B 特有64層架構(gòu)，專為數(shù)學(xué)和科學(xué)任務(wù)優(yōu)化。

上下文長度擴展：

除1B模型支持8K上下文外，其他模型均支持長達32K的上下文，使其在大規(guī)模文本處理任務(wù)中表現(xiàn)優(yōu)越。

Falcon3 的開放承諾

TII一貫致力于推動AI的開放與合作，F(xiàn)alcon3 系列模型也不例外。所有模型均采用 Falcon LLM許可證開源，鼓勵全球AI社區(qū)進行研究、應(yīng)用開發(fā)和實驗。更重要的是，F(xiàn)alcon3不僅是這一系列的高光時刻，更是其持續(xù)創(chuàng)新之路的延續(xù)。

值得期待的是，2025年1月，TII將發(fā)布支持圖像、視頻及音頻的多模態(tài)增強版本，同時公布詳細的技術(shù)報告，為AI領(lǐng)域貢獻更多智慧。