維克多在2012年出版的《大數(shù)據(jù)時(shí)代》一書(shū)中曾預(yù)測(cè)：數(shù)據(jù)列入企業(yè)資產(chǎn)負(fù)債表只是時(shí)間問(wèn)題。如今，伴隨著新興科技手段的融合創(chuàng)新，大數(shù)據(jù)已經(jīng)應(yīng)用到了我們生活中的方方面面，數(shù)據(jù)資產(chǎn)的概念已逐漸得到國(guó)內(nèi)外企業(yè)的強(qiáng)烈認(rèn)同。

但是，數(shù)據(jù)和企業(yè)資產(chǎn)可以直接劃等號(hào)嗎?實(shí)際情況是，沒(méi)有經(jīng)過(guò)系統(tǒng)管理和規(guī)劃治理的數(shù)據(jù)集群，不僅很難為企業(yè)創(chuàng)造實(shí)際效益，而且還將帶來(lái)權(quán)限混亂、計(jì)算能力下降、冗余存儲(chǔ)計(jì)算、資源浪費(fèi)等問(wèn)題，使整個(gè)數(shù)據(jù)集群處于“亞健康”狀態(tài)。

那么，是否有正本清源的應(yīng)對(duì)方案呢?聯(lián)通大數(shù)據(jù)有限公司技術(shù)部負(fù)責(zé)人李大中日前在2019大數(shù)據(jù)產(chǎn)業(yè)峰會(huì)-大數(shù)據(jù)前沿技術(shù)論壇進(jìn)行分享，他以《聯(lián)通大規(guī)模數(shù)據(jù)集群治理實(shí)踐》為主題，分享運(yùn)營(yíng)商在數(shù)據(jù)資產(chǎn)管理方面的經(jīng)驗(yàn)和對(duì)策。

下文為李大中演講內(nèi)容整理：

聯(lián)通大數(shù)據(jù)有限公司承擔(dān)著聯(lián)通大數(shù)據(jù)能力建設(shè)和對(duì)外服務(wù)運(yùn)營(yíng)職能，目前平臺(tái)存儲(chǔ)容量達(dá)100PB，Hadoop集群超過(guò)6000個(gè)節(jié)點(diǎn)，數(shù)據(jù)模型數(shù)量達(dá)2000余個(gè)。作為運(yùn)營(yíng)商在數(shù)據(jù)治理過(guò)程中，既要面對(duì)大數(shù)據(jù)量的實(shí)時(shí)處理需求，也必須從成本角度考慮集群算力配置、安全合規(guī)等方面的要求。大數(shù)據(jù)是一個(gè)高成本行業(yè)，集群算力成本是其中主要部分。

通過(guò)參考行業(yè)的治理經(jīng)驗(yàn)，并結(jié)合公司業(yè)務(wù)和組織架構(gòu)特點(diǎn)，我們總結(jié)出了一套適合公司業(yè)務(wù)發(fā)展的數(shù)據(jù)資產(chǎn)管理體系，也就是“疏整促+巡山+DataValue”數(shù)據(jù)資產(chǎn)管理體系：基于“疏整促”工程構(gòu)建的全生命周期數(shù)據(jù)管控治理體系，基于“巡山”工程構(gòu)建的大規(guī)模集群治理體系，基于“DataValue”工程實(shí)現(xiàn)對(duì)外數(shù)據(jù)價(jià)值經(jīng)營(yíng)，三大工程同步推進(jìn)，形成數(shù)據(jù)治理+集群治理+數(shù)據(jù)價(jià)值的整體協(xié)同效應(yīng)。

在實(shí)際執(zhí)行中，“巡山”工程作為 切入點(diǎn)首先啟動(dòng)，效果也最為明顯。在大規(guī)模集群計(jì)算環(huán)境處于亞健康的狀態(tài)下，我們將治理工作分解為兩階段：首要任務(wù)是解決亞健康問(wèn)題，即保障集群資源算力可用、確保集群穩(wěn)定性、業(yè)務(wù)連續(xù)性;長(zhǎng)期和更為重要任務(wù)是保持健康狀態(tài)，即持續(xù)有效的監(jiān)督數(shù)據(jù)治理工程的效果。

關(guān)于大規(guī)模數(shù)據(jù)集群治理的推進(jìn)方法論，由于集群治理涉及到從采集、清洗到模型加工，從平臺(tái)運(yùn)維崗到產(chǎn)品開(kāi)發(fā)崗，幾乎涵蓋了公司的整個(gè)技術(shù)線和產(chǎn)品線上百人工作內(nèi)容，所以采用自上而下的頂層設(shè)計(jì)的方式是不現(xiàn)實(shí)的，我們采用的是自下而上、自發(fā)協(xié)同、精益推進(jìn)式的數(shù)據(jù)集群治理文化。從發(fā)現(xiàn)問(wèn)題點(diǎn)入手，由點(diǎn)帶面找到原因、制定解決策略并建立相應(yīng)的監(jiān)督點(diǎn)，最終逐漸形成體系;通過(guò)某幾個(gè)環(huán)節(jié)治理成果顯性化，帶動(dòng)整個(gè)公司生產(chǎn)組織體系逐漸形成治理文化。

在治理過(guò)程中，針對(duì)我們遇到過(guò)的幾個(gè)重要的點(diǎn)向大家介紹一下思路：

1. HDFS&YARN作業(yè)深度監(jiān)控

針對(duì)小文件過(guò)多、文件量過(guò)大、耗資源大等情況，聯(lián)通大數(shù)據(jù)通過(guò)自主研發(fā)一套統(tǒng)一元數(shù)據(jù)實(shí)時(shí)采集平臺(tái)對(duì)Fsimage和EditLog進(jìn)行反序列化解析，實(shí)時(shí)批量獲取資源隊(duì)列信息、文件目錄、作業(yè)任務(wù)信息等內(nèi)容，通過(guò)多維關(guān)聯(lián)畫(huà)像洞察疑似異常作業(yè)，推動(dòng)作業(yè)優(yōu)化和監(jiān)控優(yōu)化效果。最終集群文件數(shù)量從接近8000萬(wàn)下降為3000萬(wàn)，平均文件大小提升4倍。集群資源負(fù)載從每天幾乎處于打滿狀態(tài)，下降為不到70%。每年節(jié)約固定資產(chǎn)投入上千萬(wàn)元。

2. RPC請(qǐng)求和關(guān)鍵服務(wù)預(yù)警

針對(duì)集群RPC經(jīng)常出現(xiàn)請(qǐng)求延時(shí)過(guò)大，甚至達(dá)到秒級(jí)，導(dǎo)致集群處于停擺不可用狀態(tài)，通過(guò)采集JMX指標(biāo)、服務(wù)連接數(shù)、堆棧信息、GC等信息進(jìn)行關(guān)聯(lián)畫(huà)像，并下鉆洞察相關(guān)作業(yè)，精準(zhǔn)定位待優(yōu)化作業(yè)。優(yōu)化后集群RPC請(qǐng)求延時(shí)大幅減少，下降為毫秒級(jí)別。

3. 重復(fù)加工/冗余計(jì)算挖掘

針對(duì)數(shù)據(jù)重復(fù)加工、冗余計(jì)算等情況，估計(jì)大家的系統(tǒng)中或多或少都存在，這種情況直接導(dǎo)致資源被浪費(fèi)。我們通過(guò)對(duì)HDFS JOB BINARY FILE分析，定位疑似冗余計(jì)算作業(yè)，這種方式同組織架構(gòu)復(fù)雜度無(wú)關(guān)、不依賴上層業(yè)務(wù)輸入，其核心思想就是通過(guò)提取出具有相同輸入路徑的作業(yè)，以目錄維度視角挖掘疑似重復(fù)作業(yè)，優(yōu)化后集群資源降低10%以上。

4. 重構(gòu)元數(shù)據(jù)管理、血緣分析應(yīng)用

針對(duì)數(shù)據(jù)加工流向追溯、敏感數(shù)據(jù)難以有效跟蹤等情況，通過(guò)對(duì)HIVE執(zhí)行日志進(jìn)行SOL解析，以及通過(guò)對(duì)SPARK作業(yè)輸入輸出目錄畫(huà)像，以無(wú)侵入方式建設(shè)企業(yè)級(jí)全域元數(shù)據(jù)平臺(tái)，提供全域物理視圖、業(yè)務(wù)視圖、元數(shù)據(jù)變更跟蹤監(jiān)控、全域數(shù)據(jù)血緣關(guān)系圖等核心功能，滿足復(fù)雜的追溯需求以及故障范圍評(píng)估。

談及在治理過(guò)程中的感受，李大中指出：“大規(guī)模數(shù)據(jù)集群治理并非單人、單項(xiàng)目組能夠完成的，而是需要以文化滲透的形式動(dòng)員到公司生產(chǎn)開(kāi)發(fā)組織體系中，采用自下而上自發(fā)協(xié)同，以O(shè)KR而非KPI的方式管理，在解決問(wèn)題的過(guò)程中不斷調(diào)整目標(biāo)，從而建成持續(xù)優(yōu)化的治理體制。當(dāng)然，技術(shù)人員也要擁抱和吃透大數(shù)據(jù)開(kāi)源技術(shù)，采用開(kāi)創(chuàng)性的思維去解決問(wèn)題。”