在某家三甲醫(yī)院中，放射科醫(yī)生正在通過(guò)AI系統(tǒng)分析CT影像，系統(tǒng)在數(shù)秒內(nèi)完成了過(guò)去需要半小時(shí)的初篩工作。而在一條繁忙的高速公路上，智能監(jiān)控系統(tǒng)準(zhǔn)確識(shí)別出了一起剛剛發(fā)生的異常停車事件，并自動(dòng)啟動(dòng)了應(yīng)急響應(yīng)流程……這樣的AI應(yīng)用場(chǎng)景，已經(jīng)隨處可見(jiàn)。

然而，在人工智能從概念走向落地的關(guān)鍵階段，很多政企客戶仍舊面臨前所未有的挑戰(zhàn)：AI建設(shè)成本高、服務(wù)性能不穩(wěn)定、應(yīng)用落地困難、安全合規(guī)風(fēng)險(xiǎn)大。浪潮云海推出InCloud AIOS，正在憑借著純軟或軟硬一體化AI私有化解決方案，實(shí)現(xiàn)“從傳統(tǒng)IT到智能IT”的無(wú)縫銜接，讓客戶低成本、高效率的接入AI能力。

浪潮數(shù)據(jù)云計(jì)算產(chǎn)品副總經(jīng)理張明燦在近期接受記者采訪時(shí)指出，AI與云同根同源。InCloud AIOS并非完全新建的體系，而是基于浪潮云海現(xiàn)有優(yōu)勢(shì)產(chǎn)品進(jìn)行AI能力增強(qiáng)，實(shí)現(xiàn)從以CPU為核心的私有云，平滑演進(jìn)到以GPU為核心的智能云。這一過(guò)程的核心變化是從圍繞CPU計(jì)算，轉(zhuǎn)向圍繞GPU計(jì)算，同時(shí)兼顧存儲(chǔ)與網(wǎng)絡(luò)層面的深度優(yōu)化。

全周期降本，讓AI建設(shè)從“奢侈品”變?yōu)椤叭沼闷贰?/h4>

我們知道，AI建設(shè)的高成本一直是政企客戶望而卻步的主要原因。傳統(tǒng)AI平臺(tái)往往需要大規(guī)模硬件投入、專業(yè)團(tuán)隊(duì)運(yùn)維和持續(xù)的優(yōu)化成本，導(dǎo)致很多客戶在“投入多少”與“效果如何”之間猶豫不決。

“在轉(zhuǎn)型過(guò)程中，客戶普遍面臨資源割裂與浪費(fèi)、模型性能與管理復(fù)雜等痛點(diǎn)。”張明燦表示，傳統(tǒng)數(shù)據(jù)中心由運(yùn)維人員和信息中心人員主導(dǎo)，但AI時(shí)代運(yùn)維人員缺乏AI經(jīng)驗(yàn)，導(dǎo)致各業(yè)務(wù)部門自主采購(gòu)AI資源、獨(dú)立部署應(yīng)用，形成煙囪式架構(gòu)。這不僅造成嚴(yán)重的資源浪費(fèi)，更顯著增加了管理協(xié)同與整體運(yùn)維的復(fù)雜度。

InCloud AIOS通過(guò)初期建設(shè)時(shí)的低成本試點(diǎn)、算力共享與協(xié)同高度、資源利舊與異構(gòu)兼容，很好的解決了這一問(wèn)題。

在AI項(xiàng)目的初期建設(shè)中，InCloud AIOS支持單臺(tái)AI服務(wù)器即可升級(jí)，無(wú)需改造現(xiàn)有數(shù)據(jù)中心架構(gòu)。客戶可以在建設(shè)初期以較低成本完成AI能力部署，實(shí)現(xiàn)“小步快跑”，避免因盲目采購(gòu)導(dǎo)致的資源閑置風(fēng)險(xiǎn)。據(jù)了解，某省級(jí)政府客戶通過(guò)InCloud AIOS實(shí)現(xiàn)“一云多算”，整合多廠商GPU資源，讓舊設(shè)備煥發(fā)新生，極大降低了初期建設(shè)成本。

在AI的使用階段，InCloud AIOS平臺(tái)通過(guò)算力共享、協(xié)同調(diào)度、分層量化等技術(shù)，在推理階段實(shí)現(xiàn)成本的大幅優(yōu)化。據(jù)官方數(shù)據(jù)，推理成本降低達(dá)8倍，使得客戶在相同預(yù)算下可支撐更多業(yè)務(wù)應(yīng)用。

最后，InCloud AIOS支持8款CPU、6款GPU的全面兼容，實(shí)現(xiàn)異構(gòu)算力的統(tǒng)一調(diào)度與管理，避免因技術(shù)路線更迭導(dǎo)致的重復(fù)投資。

張明燦表示，傳統(tǒng)數(shù)據(jù)中心無(wú)需改造，在云資源池的基礎(chǔ)上，購(gòu)買單臺(tái)AI服務(wù)器即可實(shí)現(xiàn)AI能力升級(jí)，K8S底座彈性調(diào)度；此外，借助InCloud AIOS提供的精細(xì)的通算、智算管理，依托云計(jì)算技術(shù)整合智算資源，打破了單節(jié)點(diǎn)限制，跨域動(dòng)態(tài)分配資源，提升了推理服務(wù)效率和資源的使用效能。

AIOS產(chǎn)品負(fù)責(zé)人呂廣杰同時(shí)表示，AIOS平臺(tái)通過(guò)開(kāi)放解耦的設(shè)計(jì)，廣泛適配國(guó)內(nèi)外主流芯片，并在此基礎(chǔ)上進(jìn)行深度優(yōu)化，最大化提升算力利用率，實(shí)現(xiàn)花同等成本運(yùn)行更多模型、提供更高算力的目標(biāo)。

軟硬協(xié)同調(diào)優(yōu)，實(shí)現(xiàn)極致推理與高可靠保障

性能是AI平臺(tái)能否真正支撐業(yè)務(wù)的核心。InCloud AIOS通過(guò)與主流芯片廠商深度合作，結(jié)合自研技術(shù)，在模型推理、緩存優(yōu)化、故障恢復(fù)等方面實(shí)現(xiàn)質(zhì)的飛躍。

張明燦表示，浪潮云海作為中立的云基礎(chǔ)設(shè)施廠商，不自研芯片，因此能夠廣泛兼容各類硬件生態(tài)（包括國(guó)內(nèi)外多種CPU和GPU）。這種開(kāi)放的立場(chǎng)是實(shí)現(xiàn)真正軟硬協(xié)同調(diào)優(yōu)的基石，避免了被單一硬件廠商綁定。AIOS平臺(tái)基于浪潮云海現(xiàn)有成熟的云產(chǎn)品進(jìn)行AI改造，而非從零構(gòu)建，這使得其在計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等底層基礎(chǔ)設(shè)施的調(diào)度和管理上具備先天優(yōu)勢(shì)，能夠?qū)崿F(xiàn)從“圍繞CPU計(jì)算”到“圍繞GPU計(jì)算”的平滑演進(jìn)。

據(jù)了解，在推理性能方面，通過(guò)自研的InLLM推理框架，InCloud AIOS平臺(tái)實(shí)現(xiàn)了PD分離（預(yù)填充與解碼分離） 與動(dòng)態(tài)流量調(diào)度，使模型吞吐提升6倍。在多輪對(duì)話場(chǎng)景中，首Token延遲從3秒壓縮至1秒，極大提升了用戶體驗(yàn)。

針對(duì)長(zhǎng)文本推理場(chǎng)景，平臺(tái)通過(guò)KVCache+檢索優(yōu)化，實(shí)現(xiàn)命中率提升13倍，顯著降低推理延遲。同時(shí)，借助DirectStorage技術(shù)，模型從磁盤直連顯存，加載速度提升26倍，37秒完成預(yù)熱，11秒完成多節(jié)點(diǎn)GPU顯存加載。

此外，InCloud AIOS平臺(tái)還具備自動(dòng)化高可靠機(jī)制，節(jié)點(diǎn)故障時(shí)恢復(fù)效率提升了5倍，保障業(yè)務(wù)連續(xù)性。在高并發(fā)場(chǎng)景下，智能調(diào)度策略配合彈性伸縮，調(diào)度效率提升了26倍，確保關(guān)鍵業(yè)務(wù)不卡頓、不中斷。

AIOS研發(fā)負(fù)責(zé)人徐冠群揭示了模型能夠“三步快速上線”背后的核心技術(shù)：為各類異構(gòu)GPU構(gòu)建統(tǒng)一抽象模型。

徐冠群表示，面對(duì)各種GPU架構(gòu)差異大、生態(tài)割裂的問(wèn)題，團(tuán)隊(duì)基于開(kāi)放標(biāo)準(zhǔn)協(xié)議，建立了統(tǒng)一的描述語(yǔ)言，實(shí)現(xiàn)了對(duì)所有GPU設(shè)備的統(tǒng)一建模。在此基礎(chǔ)上，通過(guò)智能化的異構(gòu)加速設(shè)備探測(cè)與上報(bào)機(jī)制，以及調(diào)度策略，最終實(shí)現(xiàn)了模型與硬件的最佳匹配。這項(xiàng)技術(shù)是軟硬協(xié)同最底層的創(chuàng)新，它將紛繁復(fù)雜的硬件差異封裝起來(lái)，為上層應(yīng)用的“一鍵部署”提供了可能，從根本上提升了算力利用率和運(yùn)維效率。

開(kāi)箱即用、行業(yè)深耕，構(gòu)建“平臺(tái)+工具+服務(wù)”一站式體系

AI的價(jià)值最終要落地到具體業(yè)務(wù)場(chǎng)景。InCloud AIOS通過(guò)構(gòu)建開(kāi)放的智能體生態(tài)、提供垂直行業(yè)解決方案，降低使用門檻，推動(dòng)AI從“技術(shù)能力”向“業(yè)務(wù)價(jià)值”轉(zhuǎn)化。

首先，通過(guò)開(kāi)箱即用的方案，降低運(yùn)維門檻。InCloud AIOS平臺(tái)將復(fù)雜的AI運(yùn)維簡(jiǎn)化為“像管虛擬機(jī)一樣”的操作，IT人員無(wú)需深入理解大模型、GPU、推理引擎等技術(shù)細(xì)節(jié)，即可完成智能體的部署、監(jiān)控與運(yùn)維。

例如，某三甲醫(yī)院通過(guò)InCloud AIOS實(shí)現(xiàn)對(duì)多廠商醫(yī)療智能體的統(tǒng)一管理，無(wú)需為每個(gè)應(yīng)用搭建獨(dú)立運(yùn)維體系，顯著降低管理復(fù)雜度。

其次，InCloud AIOS平臺(tái)內(nèi)置50+智能體模板，覆蓋政務(wù)、教育、醫(yī)療、交通、建筑、金融等多個(gè)行業(yè)，支持“即插即用”式部署。客戶無(wú)需二次開(kāi)發(fā)，即可快速對(duì)接業(yè)務(wù)系統(tǒng)，避免設(shè)備閑置。

呂廣杰在演示中進(jìn)行了詳細(xì)的說(shuō)明，構(gòu)建簡(jiǎn)單智能體應(yīng)用僅需三步：創(chuàng)建知識(shí)庫(kù)、上傳文件、關(guān)聯(lián)模型與知識(shí)庫(kù)。發(fā)布后的智能體可集成至企業(yè)門戶、辦公網(wǎng)或互聯(lián)網(wǎng)平臺(tái)，用戶通過(guò)自然語(yǔ)言提問(wèn)，平臺(tái)結(jié)合私域知識(shí)與大模型推理能力自動(dòng)生成答案。對(duì)于復(fù)雜智能體應(yīng)用，平臺(tái)也可以通過(guò)拖拉拽實(shí)現(xiàn)快速發(fā)布。例如，在智能報(bào)銷系統(tǒng)中，用戶拍攝發(fā)票后，平臺(tái)自動(dòng)識(shí)別發(fā)票核心信息，匹配差旅申請(qǐng)記錄，整合各類費(fèi)用，一鍵提交即可完成報(bào)銷，整個(gè)過(guò)程僅需3分鐘，大幅提升效率。

最后，InCloud AIOS平臺(tái)構(gòu)建了全鏈路安全體系，包括私域知識(shí)庫(kù)、模型安全網(wǎng)關(guān)、對(duì)話審計(jì)機(jī)制，確保數(shù)據(jù)不出域、內(nèi)容可審計(jì)，滿足政府、金融等強(qiáng)合規(guī)行業(yè)的監(jiān)管要求。

呂廣杰強(qiáng)調(diào)，所有輸入輸出數(shù)據(jù)均需經(jīng)過(guò)網(wǎng)關(guān)過(guò)濾，攔截違規(guī)提問(wèn)；屏蔽敏感數(shù)據(jù)輸出；實(shí)現(xiàn)‘輸入有攔截、輸出有審計(jì)’的一體化安全保障。

未來(lái)已來(lái)：AI成為新的“基礎(chǔ)設(shè)施”

真正的技術(shù)革命，不是讓復(fù)雜的東西變得更復(fù)雜，而是讓復(fù)雜的能力變得簡(jiǎn)單可用。InCloud AIOS的價(jià)值，就在于它讓AI走出了實(shí)驗(yàn)室，走進(jìn)了業(yè)務(wù)現(xiàn)場(chǎng)。

從政府到企業(yè)，從醫(yī)院到高校，InCloud AIOS正在證明一件事：AI不應(yīng)該只是技術(shù)專家的專屬工具，而應(yīng)該像電力一樣，成為隨處可得、易于使用的基礎(chǔ)設(shè)施。

正如張明燦在展望未來(lái)時(shí)表示，長(zhǎng)期戰(zhàn)略目標(biāo)是實(shí)現(xiàn)云邊協(xié)同的統(tǒng)一AI資源管控：依托超融合平臺(tái)演進(jìn)邊緣AI能力，在邊緣側(cè)部署低算力需求、高推理效率的應(yīng)用；在中心側(cè)部署高算力需求、需訓(xùn)練微調(diào)的應(yīng)用，大模型開(kāi)發(fā)完成后可在線分發(fā)至各分支機(jī)構(gòu)，構(gòu)建‘邊緣云+智能私有云’的融合架構(gòu)。

不難發(fā)現(xiàn)，未來(lái)的智能化世界，不屬于那些擁有最先進(jìn)算法的機(jī)構(gòu)，而屬于那些最善于將AI能力轉(zhuǎn)化為實(shí)際價(jià)值的組織。在這個(gè)意義上，今天的每一個(gè)部署決策，都在悄然塑造著明天的行業(yè)格局。