20年氣象數(shù)據(jù)增長數(shù)千倍

與世界大數(shù)據(jù)時代的進(jìn)程相同，氣象數(shù)據(jù)量不斷翻番。

上世紀(jì)90年代及之前，氣象資料大部分局限于地面及高空觀測。當(dāng)時，2000多個地面站以小時為單位收集氣象信息；120多個高空站每天觀測最多不超過4次。從數(shù)據(jù)量上看不算太多，即便考慮到衛(wèi)星和雷達(dá)資料，其總體日增量也局限在GB量級。

現(xiàn)在，地面觀測站大約有4萬個，每10分鐘觀測一次，未來還將加密至分鐘級；在空間密度上，至少增加20倍，頻度將增加60倍，地面及高空觀測信息總量增加了1200倍。

而這些只占整個氣象數(shù)據(jù)的30%，雷達(dá)、衛(wèi)星以及數(shù)值預(yù)報(bào)數(shù)據(jù)占到了70%。目前，每年的氣象數(shù)據(jù)已接近PB量級（1000GB=1TB,1000TB=1PB）。

這也正是大數(shù)據(jù)規(guī)律的體現(xiàn)，即對大數(shù)據(jù)進(jìn)行相對簡單的運(yùn)算永遠(yuǎn)比對小數(shù)據(jù)進(jìn)行復(fù)雜運(yùn)算得出的結(jié)果準(zhǔn)確。觀測信息量越大，所蘊(yùn)藏的真實(shí)信息越多，就更能做好預(yù)報(bào)。

　　國家氣象信息中心副總工沈文海總結(jié)氣象部門大數(shù)據(jù)特征：從某種程度上說，氣象部門一直在運(yùn)用大數(shù)據(jù)方法，例如，氣候因子“正相關(guān)”“遙相關(guān)”以及一些統(tǒng)計(jì)學(xué)方法。

　　業(yè)界定義的“大數(shù)據(jù)”特點(diǎn)除了大容量、多種類型、高速增長，還有價值稀缺，即在龐大的數(shù)據(jù)中找出所需要的有價值數(shù)據(jù)如同大海撈針，需要通過相應(yīng)的數(shù)學(xué)模型進(jìn)行計(jì)算。反觀氣象行業(yè)，盡管數(shù)據(jù)量逐步變大，但每個數(shù)據(jù)都有特定的價值，因此氣象行業(yè)的數(shù)據(jù)不完全符合業(yè)界所定義的“大數(shù)據(jù)”特征。

　　中國科學(xué)院院士倪光南分析，到目前為止，“大數(shù)據(jù)”主要運(yùn)用對象是社會科學(xué)部門，例如政府、公共衛(wèi)生、社會安全等部門，而運(yùn)用在自然科學(xué)界的案例很少。

[[110193]]

　　氣象服務(wù)盤活數(shù)據(jù)

　　海量氣象數(shù)據(jù)怎么用？這是大數(shù)據(jù)時代亟待考慮的問題。就現(xiàn)有情況看，數(shù)據(jù)在氣象預(yù)報(bào)、氣候預(yù)測診斷方面運(yùn)用得比較充分；而在氣象服務(wù)領(lǐng)域，大量實(shí)況觀測數(shù)據(jù)往往被擱置。

　　目前的實(shí)況數(shù)據(jù)氣象服務(wù)主要基于單要素單一站點(diǎn)的形式。這意味著，人們收到的氣象服務(wù)只是周邊氣象站點(diǎn)的天氣情況，并且總有延遲。

　　為此，科研人員正在引進(jìn)國際先進(jìn)的空間數(shù)據(jù)融合數(shù)值模式方法，即將周邊幾個站點(diǎn)的數(shù)據(jù)以及其他傳感器所獲得的數(shù)據(jù)融合進(jìn)模式中，反演出整個區(qū)域的天氣情況。從試驗(yàn)結(jié)果看，運(yùn)算速度達(dá)到分鐘級，小區(qū)域可達(dá)到秒級。

　　“這些工作都是在大數(shù)據(jù)的基礎(chǔ)上才能夠進(jìn)行，無論模式如何先進(jìn)，沒有海量的數(shù)據(jù)進(jìn)入，都不能達(dá)到很好的效果。”中國氣象局公共氣象服務(wù)中心高級工程師唐千紅說。

　　讓科研人員欣喜的是，在大數(shù)據(jù)時代，數(shù)據(jù)并非單純指人們在互聯(lián)網(wǎng)上發(fā)布的信息。全世界的工業(yè)設(shè)備、汽車、電表上有著無數(shù)的數(shù)碼傳感器，隨時測量和傳遞著有關(guān)位置、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化。可以設(shè)想，這些信息都可以被氣象部門所用。

　　大數(shù)據(jù)時代下的氣象服務(wù)是什么樣子？唐千紅認(rèn)為，在看得見的未來，融入了地理信息、社會經(jīng)濟(jì)數(shù)據(jù)的氣象服務(wù)，能夠讓人們知道任意時間地點(diǎn)可能會發(fā)生什么，例如這陣風(fēng)是否會吹翻門口的廣告牌，前面一個高速路口是不是在下雨、會不會發(fā)生山洪。

　　云計(jì)算搭載大數(shù)據(jù)

　　海量數(shù)據(jù)涌入，傳統(tǒng)的處理設(shè)備難以滿足大數(shù)據(jù)處理的功能和性能要求，因此需要超大規(guī)模的計(jì)算。

　　但由于大數(shù)據(jù)處理的非常態(tài)性，單為處理大數(shù)據(jù)而配置大規(guī)模計(jì)算資源，那么當(dāng)處理完成后，計(jì)算資源很可能被閑置，從而造成浪費(fèi)。

　　而云計(jì)算很好地解決了這一問題。寬帶資本董事長田溯寧說，大數(shù)據(jù)與云計(jì)算是一個問題的兩面，一個是問題，一個是解決問題的方法。

　　云計(jì)算是大數(shù)據(jù)時代的基礎(chǔ)。當(dāng)浪涌式的需求出現(xiàn)時，向“云端”提出申請，“云端”為該需求迅速組織計(jì)算資源，而在計(jì)算結(jié)束并將結(jié)果反饋后，“云端”又可將這些臨時組織起來的資源快速釋放，以做他用。“這樣不僅提高了資源利用率，還使得很多科研人員不需要為了復(fù)雜的運(yùn)算購買昂貴的超級計(jì)算機(jī)，大大降低了使用者的準(zhǔn)入門檻。”沈文海解釋道。

　　反觀氣象行業(yè)，一些調(diào)研數(shù)據(jù)顯示，很多省級氣象信息中心計(jì)算機(jī)平均CPU使用率不到5%，最低者低于0.04%。此外，一些縣級氣象部門規(guī)劃建設(shè)數(shù)據(jù)中心，而一個縣級平臺70%的數(shù)據(jù)都從省級平臺調(diào)集而來，如果采用云計(jì)算手段，在省級氣象信息中心運(yùn)算后得出結(jié)果，就可避免再建設(shè)的高投入以及后期的維護(hù)成本。

　　云計(jì)算改變了人們的思維和工作模式。今年，IT行業(yè)出現(xiàn)了基于云計(jì)算的BYOD概念，即帶著自己的IPAD、手機(jī)或者智能電視，接入網(wǎng)絡(luò)進(jìn)行辦公。“一些省級氣象信息部門做了相關(guān)嘗試。今后，預(yù)報(bào)員也許可以拿著IPAD，出差在外也能做預(yù)報(bào)。”沈文海說。

　　靠誰打破數(shù)據(jù)壁壘

　　并不是僅靠硬件就能在大數(shù)據(jù)時代站穩(wěn)腳跟。

　　“沿著氣象服務(wù)社會化方向，光靠氣象部門的數(shù)據(jù)很難滿足各行各業(yè)及公眾對氣象服務(wù)的需求。” 中國氣象局公共氣象服務(wù)中心系統(tǒng)開發(fā)運(yùn)行室主任惠建忠看到了大數(shù)據(jù)時代中氣象部門的困境。

　　氣象數(shù)據(jù)要和行業(yè)數(shù)據(jù)、地理信息數(shù)據(jù)結(jié)合起來才更能發(fā)揮作用。例如，預(yù)報(bào)降雨對大壩的影響，就必須了解當(dāng)?shù)氐匦巍⒅苓呍O(shè)施、上下游情況等。

　　然而，數(shù)據(jù)不能充分共享以及共享渠道阻塞成為大數(shù)據(jù)時代下不可忽視的難題。“氣象信息、高精度的地理信息是受到法律保護(hù)的具有較高機(jī)密級別的信息。除此之外，各行各業(yè)都握有大量的行業(yè)數(shù)據(jù)，但這些數(shù)據(jù)往往局限在部門內(nèi)部，很難流通。” 唐千紅說。

　　在一些西方國家，氣象觀測數(shù)據(jù)在進(jìn)行融合處理后會進(jìn)入信息數(shù)據(jù)庫，使用者可以根據(jù)自身的安全等級獲得相應(yīng)安全等級的數(shù)據(jù)，進(jìn)行延伸使用。      

　　“由此可見，將信息交予虛無縹緲的‘云’端，如何令有關(guān)管理部門和責(zé)任人確信這些數(shù)據(jù)是安全的，是打通數(shù)據(jù)孤島的必要科學(xué)性問題。” 惠建忠說。在大數(shù)據(jù)時代的推動下，各部門終將走上互惠共贏、數(shù)據(jù)共享之路。

原文鏈接：http://www.cma.gov.cn/kppd/kppdsytj/201306/t20130627_217674.html