能源行業(yè)邁入大數(shù)據(jù)時(shí)代

隨著數(shù)據(jù)總量的持續(xù)增長(zhǎng)和急速膨脹，大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨，石油、電力等能源細(xì)分行業(yè)紛紛拉開(kāi)了大數(shù)據(jù)開(kāi)發(fā)應(yīng)用的序幕。如何從海量數(shù)據(jù)中高效獲取信息，有效地深加工并最終得到有用數(shù)據(jù)是能源企業(yè)涉足大數(shù)據(jù)的目的。

對(duì)石油行業(yè)來(lái)說(shuō)，眾多企業(yè)正在把更多的新技術(shù)應(yīng)用于戰(zhàn)略決策、科技研發(fā)、生產(chǎn)經(jīng)營(yíng)和安全環(huán)保等各個(gè)領(lǐng)域，目的是為了從大數(shù)據(jù)資源中挖掘更多的財(cái)富和價(jià)值。大數(shù)據(jù)應(yīng)用是石油行業(yè)信息化深入、IT與業(yè)務(wù)深度融合的必然趨勢(shì)，在我國(guó)石油石化行業(yè)應(yīng)用的前景將越來(lái)越廣闊。隨著石油儲(chǔ)備的逐步減少，石油石化行業(yè)產(chǎn)業(yè)鏈中的勘探、開(kāi)發(fā)難度日益增大， 信息化的成熟度已經(jīng)成為影響行業(yè)增長(zhǎng)幅度的首要因素。精準(zhǔn)、快速的地質(zhì)勘測(cè)成為世界能源巨頭們倚重的核心競(jìng)爭(zhēng)力之一，其中高性能計(jì)算技術(shù)和大數(shù)據(jù)技術(shù)的應(yīng)用是關(guān)鍵因素。

◆油氣勘探海量數(shù)據(jù)處理需要高性能計(jì)算 

目前在石油勘探中最常用的是地球物理方法。地球物理方法是使用現(xiàn)代物理方法進(jìn)行地質(zhì)勘探的方法，包括電法、磁法、重力法、放射性法、地震波法等，其中以地震波法最為重要。為了了解和模擬出地下數(shù)千米的地質(zhì)構(gòu)造，通過(guò)地震波反射方式來(lái)收集海量數(shù)據(jù)，一般二維數(shù)據(jù)可達(dá)1~2TB，三維數(shù)據(jù)可高達(dá)幾百TB甚至PB級(jí)， 然后進(jìn)行大量的密集計(jì)算和模擬，計(jì)算結(jié)果出來(lái)后還要轉(zhuǎn)換成直觀的可視畫(huà)面，方便專(zhuān)家對(duì)數(shù)據(jù)進(jìn)行解釋?zhuān)瑸橛蜌忏@井定位提供參考。因此，這些海量數(shù)據(jù)的處理只有借助高性能計(jì)算才能實(shí)現(xiàn)***的勘探效益，這也是在石油勘探領(lǐng)域高性能計(jì)算需求的主因。

由于石油勘探行業(yè)的特殊性和復(fù)雜性，石油勘探對(duì)高性能計(jì)算提出了非?？量痰囊?。過(guò)去十年中，石油勘探計(jì)算處理多采用大型機(jī)或高性能計(jì)算機(jī)，但目前高性能計(jì)算機(jī)系統(tǒng)在計(jì)算性能、系統(tǒng)建設(shè)與運(yùn)行成本等方面已經(jīng)面臨著許多問(wèn)題。讓石油勘探企業(yè)感到頗為頭痛的問(wèn)題主要集中在三大困境：一是計(jì)算能力需求和CPU處理器性能落差越來(lái)越大，目前通過(guò)不斷提高CPU處理器的工作頻率來(lái)提高計(jì)算性能的技術(shù)路線已經(jīng)逐步走向其極限；二是石油勘探高速增長(zhǎng)的數(shù)據(jù)和存儲(chǔ)擴(kuò)容越來(lái)越不匹配；三是能耗制約越來(lái)越嚴(yán)重，高性能計(jì)算機(jī)的體積大、耗電多等弱點(diǎn)以及對(duì)龐大的計(jì)算機(jī)房空間需求、空調(diào)需求和用電量等已經(jīng)成為石油勘探數(shù)據(jù)處理的一大挑戰(zhàn)。

◆地震資料數(shù)據(jù)的大數(shù)據(jù)特征

BGP（中國(guó)石油集團(tuán)東方地球物理公司）是中國(guó)石油天然氣集團(tuán)公司獨(dú)資的地球物理專(zhuān)業(yè)化技術(shù)服務(wù)公司，主要從事陸地、淺海地震勘探采集、處理、解釋及物探裝備和軟件研發(fā)，業(yè)務(wù)分布在全球34個(gè)國(guó)家，陸上地震勘探市場(chǎng)份額居***位?，F(xiàn)擁有2.6萬(wàn)員工，3000多IT人員和300多軟件開(kāi)發(fā)人員，在全球有23個(gè)處理中心，約9萬(wàn)CPU核和80萬(wàn)GPU核，運(yùn)算能力約2PFlops，存儲(chǔ)容量超過(guò)25PB。

中國(guó)石油集團(tuán)東方地球物理公司研究院的總工程師賴(lài)能和先生曾在華為云計(jì)算大會(huì)2013上做了《大數(shù)據(jù)技術(shù)在石油勘探領(lǐng)域的應(yīng)用》的主題演講，對(duì)地震海量數(shù)據(jù)的采集與處理過(guò)程做了詳細(xì)闡釋。

石油勘探過(guò)程產(chǎn)生的大數(shù)據(jù)有自己獨(dú)特的“4V”特征：

1、數(shù)據(jù)海量：以BGP為例，每天會(huì)產(chǎn)生大于7TB的生產(chǎn)數(shù)據(jù)，在地震資料處理過(guò)程中還會(huì)產(chǎn)生大量的中間過(guò)程數(shù)據(jù)。

2、數(shù)據(jù)來(lái)源單一：地震資料數(shù)據(jù)是由人工模擬地震波激發(fā)，由定點(diǎn)采集儀器接收和采集到的，數(shù)據(jù)來(lái)源和數(shù)據(jù)格式都比較單一。

3、計(jì)算量大：以BGP為例，54TB的原始數(shù)據(jù)通過(guò)4000個(gè)CPU 的計(jì)算集群處理，需要50多天時(shí)間。

4、處理流程復(fù)雜：地震資料處理過(guò)程涉及到頻繁的IO和數(shù)據(jù)庫(kù)，操作復(fù)雜。

地震數(shù)據(jù)的快速增長(zhǎng)對(duì)于存儲(chǔ)提出了巨大需求，也對(duì)傳統(tǒng)的HPC軟硬件架構(gòu)提出了新的挑戰(zhàn)。

◆華為石油勘探HPC解決方案實(shí)現(xiàn)高計(jì)算、大存儲(chǔ)能力

針對(duì)石油行業(yè)的特點(diǎn)和需求，華為提出了石油勘探HPC解決方案，包含以下幾個(gè)部分：

1、計(jì)算集群系統(tǒng)

計(jì)算節(jié)點(diǎn)和胖節(jié)點(diǎn)采用華為刀片服務(wù)器，提供強(qiáng)大的計(jì)算能力，特別是浮點(diǎn)計(jì)算能力，以完成地震資料處理中巨大的計(jì)算任務(wù)。

2、存儲(chǔ)系統(tǒng)

存儲(chǔ)部分采用華為OceanStor 9000大數(shù)據(jù)存儲(chǔ)系統(tǒng)（簡(jiǎn)稱(chēng)OceanStor 9000）。

與傳統(tǒng)的NFS和lustre方案不同，OceanStor 9000采用全對(duì)稱(chēng)分布式架構(gòu)，每個(gè)節(jié)點(diǎn)都可以提供IO和存儲(chǔ)單元，提供業(yè)務(wù)訪問(wèn)、數(shù)據(jù)處理和存儲(chǔ)的能力，因此可以輕松完成節(jié)點(diǎn)擴(kuò)容，實(shí)現(xiàn)系統(tǒng)性能和容量的線性擴(kuò)展。

其全對(duì)稱(chēng)Scale-out架構(gòu)，通過(guò)集群模式、自動(dòng)負(fù)載均衡、全局緩存等技術(shù)來(lái)整合和管理系統(tǒng)資源，有效提升存儲(chǔ)系統(tǒng)性能，縮短地震資料處理的作業(yè)周期。OceanStor 9000還具備高可靠性和硬件容錯(cuò)能力，保障作業(yè)正常運(yùn)行。它還能提供靈活的組網(wǎng)方式，前后端網(wǎng)絡(luò)均支持Infiniband或者10GE以太網(wǎng)高速互聯(lián)，能有效滿足石油勘探HPC場(chǎng)景的高帶寬、低時(shí)延需求

3、網(wǎng)絡(luò)互聯(lián)

采用計(jì)算網(wǎng)絡(luò)、存儲(chǔ)網(wǎng)絡(luò)和管理網(wǎng)絡(luò)分離的方式。計(jì)算網(wǎng)絡(luò)采用萬(wàn)兆以太網(wǎng)，承擔(dān)并行計(jì)算時(shí)的數(shù)據(jù)通訊。管理網(wǎng)絡(luò)采用千兆以太網(wǎng)，用于HPC集群系統(tǒng)的管理和監(jiān)控。存儲(chǔ)網(wǎng)絡(luò)采用10GE以太網(wǎng)或40GE的Infiniband網(wǎng)絡(luò)，為主機(jī)訪問(wèn)數(shù)據(jù)文件提供高速的網(wǎng)絡(luò)互聯(lián)。