數(shù)據(jù)中心最怕什么?

停電、網(wǎng)絡(luò)受損…

數(shù)據(jù)中心運(yùn)維人員最怕什么?

宕機(jī)、不常規(guī)故障、升級(jí)擴(kuò)容…

隨著數(shù)據(jù)中心建設(shè)的規(guī)模不斷擴(kuò)大，新技術(shù)迭代更新，承載數(shù)據(jù)中心業(yè)務(wù)的網(wǎng)絡(luò)變得異常復(fù)雜。為了適應(yīng)數(shù)據(jù)中心業(yè)務(wù)的發(fā)展，數(shù)據(jù)中心網(wǎng)絡(luò)也在不斷更新與變化，給運(yùn)維工作帶來(lái)了極大的難度。數(shù)據(jù)中心宕機(jī)事故也難免發(fā)生，這不僅增加了數(shù)據(jù)中心運(yùn)維人員的工作量，更重要的是給數(shù)據(jù)中心帶來(lái)了巨大的損失，就連全球知名的互聯(lián)網(wǎng)巨頭也經(jīng)常享受這般“待遇”。

互聯(lián)網(wǎng)巨頭宕機(jī)不斷,運(yùn)維工作成難題

3月3日凌晨，阿里云出現(xiàn)宕機(jī)故障，導(dǎo)致購(gòu)買阿里云服務(wù)的企業(yè)網(wǎng)站或互聯(lián)網(wǎng)公司APP無(wú)法正常使用。一大波程序員、運(yùn)營(yíng)和運(yùn)維不得不從被窩里爬起來(lái)干活。針對(duì)阿里云此次宕機(jī)，58高級(jí)架構(gòu)師沈劍稱，事故持續(xù)了3個(gè)小時(shí)左右，事后觀察了2個(gè)小時(shí)。

5月3日凌晨3點(diǎn)43分開(kāi)始，微軟Azure在全球范圍內(nèi)出現(xiàn)了大面積宕機(jī)，整個(gè)過(guò)程持續(xù)了將近2個(gè)小時(shí)，直到5點(diǎn)30分才完全恢復(fù)。受Azure宕機(jī)影響，包括Microsoft 365，Dynamics和DevOps在內(nèi)的微軟主要服務(wù)均出現(xiàn)使用問(wèn)題。

6月3日凌晨2點(diǎn)58分開(kāi)始，谷歌在全球范圍內(nèi)遭遇了大規(guī)模中斷，包括Gmail、YouTube和Google Drive在內(nèi)基于谷歌云架構(gòu)服務(wù)的諸多谷歌服務(wù)均受到影響。用戶訪問(wèn)谷歌服務(wù)出現(xiàn)各種錯(cuò)誤提醒，并且阻止用戶訪問(wèn)電子郵件、上傳YouTube視頻等。

6月25日消息，亞馬遜在官網(wǎng)證實(shí)云計(jì)算服務(wù)出現(xiàn)了宕機(jī)，導(dǎo)致部分網(wǎng)絡(luò)用戶和多個(gè)AWS區(qū)域的網(wǎng)絡(luò)連接受到了影響。出現(xiàn)故障的節(jié)點(diǎn)在AWS美東1區(qū)，共計(jì)33個(gè)服務(wù)受到影響，其中9個(gè)處于完全中斷狀態(tài)。

宕機(jī)事故頻發(fā),運(yùn)維難度“更上一層樓”

一次次宕機(jī)事件證明了數(shù)據(jù)中心運(yùn)維工作的重要性，但似乎不能避免。如今隨著科技的進(jìn)步萬(wàn)物互聯(lián)時(shí)代的到來(lái)，數(shù)據(jù)中心作為重要基礎(chǔ)設(shè)施發(fā)揮著重要作用，雖然數(shù)據(jù)中心在國(guó)內(nèi)的發(fā)展只有十多年的時(shí)間，但已經(jīng)從只有UPS、空調(diào)和IT設(shè)備的普通機(jī)房時(shí)代，進(jìn)入到囊括互聯(lián)網(wǎng)、大數(shù)據(jù)、AI、云服務(wù)等全方位服務(wù)、動(dòng)輒擁有數(shù)萬(wàn)機(jī)柜，自然冷、風(fēng)墻、水下數(shù)據(jù)中心、液冷服務(wù)器等新技術(shù)不斷被創(chuàng)造和應(yīng)用的新時(shí)代。這樣一來(lái)，運(yùn)維管理面臨著更大的挑戰(zhàn)，運(yùn)維難度也“更上一層樓”。

首先，超大規(guī)模的數(shù)據(jù)中心帶來(lái)的人員、組織和效率的變化。以前萬(wàn)平米以內(nèi)的數(shù)據(jù)中心，人工巡檢一次2-4小時(shí)，現(xiàn)在數(shù)十萬(wàn)平米，需要更多的運(yùn)維人員分布在不同的責(zé)任區(qū)，增加了管理的難度和成本;其次，電壓等級(jí)提高，安全風(fēng)險(xiǎn)增加。以往運(yùn)維人員接觸的是低壓，現(xiàn)在供電設(shè)備、發(fā)電機(jī)、冷機(jī)都是高壓供電，維護(hù)安全要求提升;此外，規(guī)模集中，導(dǎo)致風(fēng)險(xiǎn)集中，事故影響更大。例如上文中談到的數(shù)據(jù)中心宕機(jī)事故，導(dǎo)致全球大面積的服務(wù)和應(yīng)用中斷，損失慘重，因此運(yùn)維管理的壓力超前。

減少人為失誤,提升運(yùn)維管理的專業(yè)技能

據(jù)數(shù)據(jù)調(diào)查顯示，數(shù)據(jù)中心的宕機(jī)事故70%是由人為失誤造成的，因此在數(shù)據(jù)中心規(guī)模不斷擴(kuò)大的同時(shí)，運(yùn)維人員要通過(guò)提升自身的技能和專業(yè)水平以應(yīng)對(duì)數(shù)據(jù)中心意外事件的發(fā)生：

• 建立一套完備的人員技能評(píng)價(jià)體系，從多方面考核運(yùn)維人員技能能力，能夠有效幫助運(yùn)維人員提高運(yùn)維技能，促進(jìn)運(yùn)維人員主動(dòng)學(xué)習(xí)自動(dòng)提升。
• 運(yùn)維經(jīng)驗(yàn)在線學(xué)習(xí)，建立運(yùn)維經(jīng)驗(yàn)庫(kù)，實(shí)現(xiàn)在線運(yùn)維經(jīng)驗(yàn)共享交流平臺(tái)，提供運(yùn)維知識(shí)在線實(shí)習(xí)和學(xué)習(xí)的渠道。
• 實(shí)操環(huán)境在線模擬，提供運(yùn)維模擬實(shí)踐操作環(huán)境，有效隔離操作風(fēng)險(xiǎn)，幫助快速提高運(yùn)維實(shí)際水平。
• 理論技能在線評(píng)測(cè)，依托海量IT云平臺(tái)組件題庫(kù)，定期考核，隨機(jī)出題，實(shí)現(xiàn)運(yùn)維理論能力的在線實(shí)時(shí)自動(dòng)測(cè)評(píng)。
• 實(shí)操技能在線測(cè)評(píng)，構(gòu)建輕量化在線運(yùn)維操作、在線編程環(huán)境，實(shí)現(xiàn)運(yùn)維操作技能與研發(fā)技能的在線實(shí)時(shí)自動(dòng)評(píng)測(cè)。
• 通過(guò)自動(dòng)評(píng)測(cè)提升效率，實(shí)現(xiàn)運(yùn)維理論技能與實(shí)操技能的在線科學(xué)自動(dòng)評(píng)測(cè)，提高評(píng)測(cè)效率，確保能力客觀公正的體現(xiàn)。

彌補(bǔ)人工運(yùn)維不足,智能運(yùn)維應(yīng)運(yùn)而生

如今，數(shù)字化時(shí)代已經(jīng)到來(lái)，數(shù)據(jù)中心規(guī)模和容量都在成倍增長(zhǎng)，隨之而來(lái)的運(yùn)維管理復(fù)雜度和難度也越來(lái)越大，從腳本運(yùn)維、工具運(yùn)維到平臺(tái)運(yùn)維演進(jìn)至今，人力已接近極限，隨即智能運(yùn)維應(yīng)運(yùn)而生。如今更多的數(shù)據(jù)中心企業(yè)諸如騰訊、華為、京東等開(kāi)始加大研發(fā)力度投入到智能運(yùn)維的浪潮中來(lái)，將人工智能與運(yùn)維結(jié)合，基于已有運(yùn)維數(shù)據(jù)(日志、監(jiān)控信息、應(yīng)用信息等)，通過(guò)機(jī)器學(xué)習(xí)的方法來(lái)提升運(yùn)維效率，從而逐步取代人工的運(yùn)維。相信未來(lái)數(shù)據(jù)中心將會(huì)越來(lái)越智能化。