騰訊混元宣布大語言模型和3D模型正式開源 ?

2024-11-06 09:47:00

11月5日，騰訊混元宣布最新的MoE模型“混元Large“以及混元3D生成大模型“ Hunyuan3D-1.0”正式開源，支持企業(yè)及開發(fā)者精調(diào)、部署等不同場景的使用需求，可在HuggingFace、Github等技術(shù)社區(qū)直接下載，免費(fèi)可商用。

騰訊混元大模型正在加快開源步伐。

本次開源是騰訊混元繼文生圖模型后持續(xù)開放的一大舉措。其中，騰訊混元Large是目前開源領(lǐng)域參數(shù)規(guī)模最大、效果最好的MoE模型，而騰訊混元3D生成大模型則是業(yè)界首個同時支持文字、圖像生成3D的開源大模型。兩個模型均屬騰訊自研，在架構(gòu)、算法、數(shù)據(jù)等方面有獨(dú)特創(chuàng)新，填補(bǔ)了行業(yè)空白。目前，兩個模型均已經(jīng)在騰訊業(yè)務(wù)場景中落地應(yīng)用，經(jīng)過實(shí)踐的檢驗(yàn)，是面向?qū)嵱脠鼍暗膽?yīng)用級大模型。

當(dāng)天，騰訊云TI平臺和高性能應(yīng)用服務(wù)HAI也開放接入這兩個模型，為模型的精調(diào)、API調(diào)用及私有化部署提供一站式服務(wù)。

堅持MoE架構(gòu)，模型持續(xù)升級開放

騰訊混元Large模型總參數(shù)量 389B，激活參數(shù)量 52B ，上下文長度高達(dá)256K，公開測評結(jié)果顯示，騰訊混元Large 在CMMLU、MMLU、CEval、MATH等多學(xué)科綜合評測集以及中英文NLP任務(wù)、代碼和數(shù)學(xué)等9大維度全面領(lǐng)先，超過Llama3.1、Mixtral等一流的開源大模型。

騰訊混元Large 在各類測試集上得分領(lǐng)先現(xiàn)有主流開源模型

MoE(Mixture of Experts)，即混合專家模型，是目前國內(nèi)外主流的大模型結(jié)構(gòu)。2024年年初，騰訊混元就宣布在國內(nèi)率先采用MoE架構(gòu)模型，總體性能比上一代Dense模型提升50%。此后，騰訊混元推出基于 MoE 架構(gòu)的多模態(tài)理解大模型以及基礎(chǔ)模型"混元turbo"，在性能、效果、速度等多個領(lǐng)域表現(xiàn)優(yōu)越，第三方測評居國內(nèi)大模型第一。

在模型結(jié)構(gòu)和訓(xùn)練策略方面，騰訊混元Large全面探索了MoE ScalingLaw，進(jìn)行了MoE共享專家路由、回收路由等策略上的創(chuàng)新，并引入了專家特化的學(xué)習(xí)率適配訓(xùn)練策略，有效提升不同專家利用率和穩(wěn)定性，帶來模型效果的提升。

騰訊混元Large在Post-Train方面做了大量創(chuàng)新優(yōu)化。面對SFT通用領(lǐng)域繁多，數(shù)學(xué)、代碼高質(zhì)量指令數(shù)據(jù)獲取困難，業(yè)界廣泛采用的離線DPO，強(qiáng)化策略效果上限不高，泛化性弱等挑戰(zhàn)，騰訊混元Large模型分門別類提升數(shù)學(xué)、邏輯推理、代碼等能力，另外在一階段離線DPO的基礎(chǔ)上引入了二階段在線強(qiáng)化策略。

數(shù)據(jù)方面，騰訊混元Large構(gòu)建了覆蓋數(shù)十個類目，高質(zhì)量、高多樣性、大量級的中英文合成數(shù)據(jù)，顯著提升模型效果，其中數(shù)學(xué)和代碼效果提升超過10%。針對長文領(lǐng)域測評數(shù)據(jù)集缺乏，方法不夠客觀等問題，騰訊混元Large還基于公開數(shù)據(jù)，構(gòu)建了一套完整覆蓋長文閱讀理解、多文檔摘要總結(jié)、長文邏輯推理等領(lǐng)域任務(wù)的數(shù)據(jù)集企鵝卷軸（PenguinScrolls），并將對外開放，助力大模型長文方向的技術(shù)研究。

騰訊混元Large模型專項(xiàng)提升的長文能力已經(jīng)應(yīng)用到騰訊AI助手騰訊元寶上，最大支持256K上下文，相當(dāng)于一本《三國演義》的長度，可以一次性處理上傳最多10個文檔，并能夠一次性解析多個微信公眾號鏈接、網(wǎng)址，讓騰訊元寶具備獨(dú)有的深度解析能力。

工程平臺方面，騰訊混元Large模型由騰訊自研，其訓(xùn)練和推理均基于騰訊Angel機(jī)器學(xué)習(xí)平臺。其中，針對 MoE 模型通信效率問題，Angel訓(xùn)練加速框架AngelPTM實(shí)現(xiàn)了多項(xiàng)技術(shù)優(yōu)化，性能是主流開源框架DeepSpeed的2.6倍；針對模型推理加速，騰訊Angel機(jī)器學(xué)習(xí)平臺和騰訊云智能聯(lián)合研發(fā) AngelHCF-vLLM框架，在最大限度保障精度的條件下，可節(jié)省50%以上顯存，相比于業(yè)界主流的框架BF16吞吐提升1倍以上。

騰訊混元Large 模型已同步上架騰訊云 TI平臺。TI 平臺具備實(shí)戰(zhàn)型大模型精調(diào)工具鏈，提供靈活的大模型訓(xùn)練數(shù)據(jù)標(biāo)注能力和開源的數(shù)據(jù)構(gòu)建Pipeline，內(nèi)置 Angel訓(xùn)練和推理加速能力，支持一鍵啟動混元Large精調(diào)，幫助用戶訓(xùn)練出真正滿足業(yè)務(wù)需求的專屬大模型，提升研發(fā)效率。

同時，騰訊混元大模型 PaaS平臺開放支持包含混元 Large 模型在內(nèi)的十余種混元API 服務(wù)調(diào)用，可滿足文生文、圖生文、文生圖等不同模態(tài)以及角色扮演、FunctionCall、代碼等不同專項(xiàng)的模型需求。

業(yè)界首個同時支持文字、圖像生成3D的開源大模型

騰訊混元3D生成大模型首批開源模型包含輕量版和標(biāo)準(zhǔn)版，輕量版僅需10s即可生成高質(zhì)量3D資產(chǎn)，目前已在技術(shù)社區(qū)公開發(fā)布，包含模型權(quán)重、推理代碼、模型算法等完整模型，可供開發(fā)者、研究者等各類用戶免費(fèi)使用。

騰訊混元Hunyuan3D-1.0 模型也已上架到騰訊云HAI，通過HAI上更高性價比的GPU算力、模型一鍵部署能力和可視化圖形界面WebUI，有效降低模型開放和部署門檻。

此次騰訊混元開源的3D生成大模型 Hunyuan3D-1.0 ，解決了現(xiàn)有的3D生成模型在生成速度和泛化能力上存在不足的問題，可以幫助 3D 創(chuàng)作者和藝術(shù)家自動化生產(chǎn) 3D 資產(chǎn)。該模型具有強(qiáng)大泛化能力和可控性，可重建各類尺度物體，大到建筑，小到工具花草。經(jīng)過定性、定量多個維度的評估，騰訊混元3D生成大模型的生成質(zhì)量已達(dá)到開源模型的先進(jìn)水平。

在兩個公開的3D數(shù)據(jù)集 GSO 與 OmniObject3D 上，騰訊混元Hunyuan3D-1.0 效果優(yōu)于主流開源模型，整體能力屬于國際領(lǐng)先水平。從定性角度評估，Hunyuan3D-1.0 與行業(yè)領(lǐng)先的開源模型的 3D 生成效果表現(xiàn)對比也顯示出較高水平，包括幾何細(xì)節(jié)、紋理細(xì)節(jié)、紋理-幾何一致性、3D合理性、指令遵循等評價維度。

應(yīng)用上，3D生成相關(guān)技術(shù)已經(jīng)開始應(yīng)用于UGC 3D創(chuàng)作、商品素材合成、游戲3D資產(chǎn)生成等騰訊業(yè)務(wù)中。其中，騰訊地圖基于騰訊混元3D大模型，發(fā)布了自定義3D導(dǎo)航車標(biāo)功能，支持用戶創(chuàng)作個性化的 3D 導(dǎo)航車標(biāo)，相比傳統(tǒng)的3D車標(biāo)重建方案，速度提升了91%。此前，騰訊元寶 APP 也上線了”3D 角色夢工廠“玩法，支持個性化的 UGC 3D 人物生成。

隨著自研大模型技術(shù)強(qiáng)大的和應(yīng)用實(shí)踐經(jīng)驗(yàn)的豐富，開源已經(jīng)成為騰訊混元大模型的一個戰(zhàn)略選擇，未來，騰訊混元也將繼續(xù)帶來更多模態(tài)、更多尺寸的開源模型，將更多經(jīng)過騰訊業(yè)務(wù)場景打磨和檢驗(yàn)的模型開源，促進(jìn)大模型技術(shù)進(jìn)步和行業(yè)生態(tài)繁榮。