當前，Token 的消耗量呈現(xiàn)出年均百倍增長的態(tài)勢。國家數(shù)據(jù)局統(tǒng)計顯示，截至今年6月底，我國日均Token消耗量從2024年初的1000億，已經(jīng)突破至30萬億，1年半時間增長了300多倍。

隨著以DeepSeek、Ernie 為代表的 MoE 類推理模型爆火，大規(guī)模分布式推理系統(tǒng)的建設(shè)成了支持 AI 落地的挑戰(zhàn)。推理成本、推理效率、推理穩(wěn)定性，正在取代參數(shù)規(guī)模，成為決定AI商業(yè)化上限的關(guān)鍵變量。

圍繞這一新的行業(yè)挑戰(zhàn)，在12月14日由百度百舸與SGLang社區(qū)聯(lián)合主辦的技術(shù)分享活動上，百度百舸將自己在生產(chǎn)系統(tǒng)上的最新實踐成果，SGLang將業(yè)界最新成果和動態(tài)，做了一次系統(tǒng)性分享。

百度百舸持續(xù)開源生產(chǎn)級代碼，聯(lián)合 SGLang 社區(qū)打造先進 AI Infra

在活動開場致辭中，百度智能云AI計算首席科學家王雁鵬明確表示：百度百舸正在將生產(chǎn)級代碼持續(xù)開源到開源社區(qū)。百度在大規(guī)模生產(chǎn)環(huán)境中積累的大模型訓推系統(tǒng)的各種能力，包括經(jīng)過大規(guī)模系統(tǒng)打磨過的高度穩(wěn)定的、高度優(yōu)化的各種核心組件，都將逐一向行業(yè)分享。

同時，王雁鵬強調(diào)，開源并非一時的決定，而是百度堅信的技術(shù)方向和演進路徑。未來，百度會持續(xù)聯(lián)合各個社區(qū)，以開源的力量推動行業(yè)共同成長。

百度智能云AI計算首席科學家王雁鵬

作為大模型時代崛起的重要開源項目之一的SGLang，百度智能云10月份攜手SGLang社區(qū)，將一套針對DeepSeek-V3.2推理性能優(yōu)化的 MTP（Multi-Token Prediction，多token預測）技術(shù)代碼正式開源。SGLang 社區(qū)表示這是一項巨大的貢獻，社區(qū)實測顯示，采用這套技術(shù)，DeepSeek-V3.2模型解碼吞吐量能提升超過2倍。

在王雁鵬看來，推理引擎正變得越來越重要。智能經(jīng)濟時代，推理引擎消耗的算力，將成為最核心的生產(chǎn)資料。如果推理成本做不到足夠低，身處大模型產(chǎn)業(yè)鏈上的玩家，就將失去競爭力，難以獲取Scaling的效益。

在本次 Meetup 中，百度百舸團隊圍繞如何建設(shè)大規(guī)模分布式推理基礎(chǔ)設(shè)施、DeepSeek V3.2 推理引擎等方面展開了系統(tǒng)性分享。

百度主任架構(gòu)師田健重點介紹了百度百舸在大規(guī)模分布式推理集群基礎(chǔ)設(shè)施上的實踐。

隨著大模型到達千億、萬億規(guī)模的時代，其推理的部署也遇到了“不可能三角”的挑戰(zhàn)，需要在模型規(guī)模指數(shù)級增長、部署效率與穩(wěn)定性和資源成本與彈性之間，尋求新的平衡。

百度百舸新一代大規(guī)模分布式推理基礎(chǔ)設(shè)施，以三大核心支柱破解大模型部署困局：通過自動化編排將分布式實例“原子化”，大幅簡化跨節(jié)點管理復雜度；創(chuàng)新“靜默實例”技術(shù)實現(xiàn)秒級資源激活，靈活應對潮汐流量；依托高性能流量調(diào)度與“班車調(diào)度”算法，極致壓榨集群性能。

百度高級架構(gòu)師劉偉分享了百度百舸基于萬卡級生產(chǎn)系統(tǒng)實戰(zhàn)經(jīng)驗，面向DeepSeek V3.2在推理引擎層面做的深度優(yōu)化工作：通過輕量級CP讓長文本推理的TTFT近乎線性降低，更創(chuàng)新研發(fā)ESS系統(tǒng)破解長文本推理的顯存墻困境。

面對DeepSeek V3等MoE模型部署中FFN計算密度不足、GPU利用率低的痛點，百度高級工程師劉國維帶來了百度百舸在DeepSeek V3系列模型上的AE分離框架實戰(zhàn)，展示了在復雜并行與分離架構(gòu)下，百度百舸如何在性能、穩(wěn)定性與運維復雜度之間取得工程平衡。

SGLang 社區(qū)：推理框架的邊界正在被不斷拓展

來自SGLang 社區(qū)的 5 位開發(fā)者分享 了4 個業(yè)內(nèi)最新進展，展現(xiàn)了 SGLang 社區(qū)在行業(yè)最前沿的動態(tài)。

SGLang 核心開發(fā)者張懿帶來了SGLang在Linear Model優(yōu)化與Diffusion支持上的最新進展。

隨著長序列推理場景等的普及，傳統(tǒng)KV Cache管理方式面臨挑戰(zhàn)。SGLang 在內(nèi)存管理、投機推理適配等方面進行了大量工程優(yōu)化，使推理框架能夠更好地適配新一代模型結(jié)構(gòu)。

在此基礎(chǔ)上，面向DeepSeek等主流模型所指向的統(tǒng)一模型技術(shù)迭代路線，SGLang也在嘗試從語言模型走向統(tǒng)一生成引擎。11月上線的SGLang Diffusion，便對外釋放了一個強烈信號，即SGLang的目標并不是一個LLM引擎，而是統(tǒng)一推理執(zhí)行層。

來自SGLang Diffusionteam的范舒翼、陳茜，系統(tǒng)介紹了面向圖像與視頻生成的高性能推理引擎 SGLang Diffusion。在圖像與視頻生成場景中，SGLang Diffusion通過Pipeline組合、并行策略與Kernel復用，將Diffusion推理性能整體拉升到Diffusers的2–6倍區(qū)間，為未來DeepSeek等“理解+生成”統(tǒng)一模型的問世，預留了系統(tǒng)優(yōu)化空間。

在推理加速方向，SGLang開發(fā)者李升桂帶來了SpecForge項目，解決了投機推理在真實系統(tǒng)中落地難、穩(wěn)定性差的問題，讓這一理論上成熟的方法，真正具備工程可用性。

同時，來自SGLang RL Team成員李冀，也展示了SGLang在強化學習場景下的最新進展，進一步拓展了推理框架的適用邊界。

隨著大模型發(fā)展重心從訓練范式加速轉(zhuǎn)向推理范式，Token消耗需求呈現(xiàn)出遠超以往的增長曲線。百度將持續(xù)聯(lián)合開源社區(qū)，打造行業(yè)領(lǐng)先的AI Infra，不斷逼近推理系統(tǒng)的上限，持續(xù)滿足行業(yè)對Token消耗年增百倍的訴求。