云計(jì)算中的“大數(shù)據(jù)”
數(shù)據(jù)中心正在成為新時(shí)代的“信息電廠”，成為知識(shí)經(jīng)濟(jì)的基礎(chǔ)設(shè)施
過(guò)去一年，“大數(shù)據(jù)”正在成為一個(gè)熱門(mén)話(huà)題。
半個(gè)世紀(jì)信息技術(shù)的發(fā)展，主要解決的是云計(jì)算中“結(jié)構(gòu)性”數(shù)據(jù)的存儲(chǔ)、處理與應(yīng)用。“結(jié)構(gòu)性”數(shù)據(jù)的特征有如你到銀行去存取款，銀行的計(jì)算機(jī)系統(tǒng)記錄著你的名字，在名字之后是你存取款的數(shù)量、時(shí)間、類(lèi)型等信息。這些數(shù)據(jù)的特征是“邏輯性強(qiáng)”，每個(gè)“因”都有“果”。
然而現(xiàn)實(shí)社會(huì)中大量數(shù)據(jù)事實(shí)上沒(méi)有“顯現(xiàn)性”的因果關(guān)系，如一個(gè)時(shí)刻的交通堵塞、天氣狀態(tài)、人的狀態(tài)(心理與物理)等，它的特征是隨時(shí)、海量與彈性，如一個(gè)突變天氣分析包含會(huì)有幾百個(gè)PB(Petabyte, 1Petabyte=1024TB)數(shù)據(jù)。而一個(gè)社會(huì)事件如喬布斯去世瞬間所產(chǎn)生在互聯(lián)網(wǎng)上的數(shù)據(jù)(微博、紀(jì)念、文章、視頻等)也是突然暴發(fā)出來(lái)。
傳統(tǒng)的計(jì)算機(jī)設(shè)計(jì)與軟件都是以解決“結(jié)構(gòu)性”數(shù)據(jù)為主。對(duì)這一類(lèi)新型的“非結(jié)構(gòu)”要求一種新的計(jì)算架構(gòu)。互聯(lián)網(wǎng)時(shí)代，尤其是社交網(wǎng)絡(luò)、電子商務(wù)與移動(dòng)通訊把人類(lèi)社會(huì)帶入一個(gè)以“PB”為單位的結(jié)構(gòu)與非結(jié)構(gòu)數(shù)據(jù)信息的新時(shí)代，它就是“大數(shù)據(jù)(Big Data)”時(shí)代。
大數(shù)據(jù)的企業(yè)與技術(shù)
一個(gè)大規(guī)模生產(chǎn)、分享、應(yīng)用數(shù)據(jù)的時(shí)代正在開(kāi)啟，我們每個(gè)人都成為了數(shù)據(jù)的創(chuàng)造者和使用者，微博、社交網(wǎng)絡(luò)都是***的例子。
工業(yè)革命以后，書(shū)籍等以文字為載體的知識(shí)大約每十年可以翻一番;1970年以后，知識(shí)大約每三年就可以翻一番;如今，全球信息總量每?jī)赡昃涂梢苑环?2010年互聯(lián)網(wǎng)的數(shù)據(jù)量，比之前所有年份的總和還要多。現(xiàn)在，人類(lèi)每天可以產(chǎn)生數(shù)以PB的數(shù)據(jù)，從日志、微博、分享照片、傳送視頻，多種格式的數(shù)據(jù)實(shí)時(shí)、不斷地更新。在醫(yī)療衛(wèi)生、地理信息、電子商務(wù)、影視娛樂(lè)等行業(yè)，每天也都在創(chuàng)造著大量的數(shù)據(jù)。
數(shù)據(jù)正在成為從工業(yè)經(jīng)濟(jì)向知識(shí)經(jīng)濟(jì)轉(zhuǎn)變的重要特征，成為新時(shí)代最關(guān)鍵的生產(chǎn)要素和產(chǎn)品形態(tài)。
代表著大數(shù)據(jù)時(shí)代的如Apple、Facebook、Amazon等公司正成為這場(chǎng)變革的推動(dòng)力量。同時(shí)新企業(yè)也層出不窮，比如2007年才成立的Dropbox公司，創(chuàng)始人不到27歲，估值已經(jīng)超過(guò)40億美元，這是一家提供文件備份及共享服務(wù)的公司，允許用戶(hù)在不同平臺(tái)和設(shè)備之間同步并共享文件，Dropbox用戶(hù)數(shù)量超過(guò)2500萬(wàn)，每天存儲(chǔ)的文件數(shù)量2億多個(gè)，蘋(píng)果公司曾出價(jià)8億美元想收購(gòu)它未成功。
值得一提的是，這家公司最早使用的也是Amazon的S3云計(jì)算平臺(tái)，得以低成本迅速起步。Amazon云計(jì)算數(shù)據(jù)存儲(chǔ)服務(wù)，原來(lái)只是為了利用閑置服務(wù)器資源，現(xiàn)在一年可以帶來(lái)近10億美元收入，并且供不應(yīng)求。今年初，Amazon S3云存儲(chǔ)服務(wù)存儲(chǔ)文件是2620億份，這個(gè)數(shù)字最近變成了5660億份，翻了1倍還多。目前Amazon稱(chēng)自己的S3數(shù)據(jù)存儲(chǔ)服務(wù)，擔(dān)心的已經(jīng)不是數(shù)據(jù)的存儲(chǔ)成本，而是更加重要的數(shù)據(jù)處理的問(wèn)題。
云計(jì)算中的大數(shù)據(jù)有幾個(gè)核心要素，如數(shù)據(jù)在云端的集合與分享、個(gè)人數(shù)據(jù)的無(wú)縫連接(隨時(shí)、隨地、同步)以及數(shù)據(jù)的跟蹤分析和挖掘。
源自雅虎的Hadoop這樣大數(shù)據(jù)系統(tǒng)越來(lái)越重要，作為開(kāi)源的分布式數(shù)據(jù)處理系統(tǒng)架構(gòu)，Hadoop主要面向存儲(chǔ)和處理成百上千TB直至PB級(jí)別的結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化的大數(shù)據(jù)。Hadoop提供的MapReduce能將大數(shù)據(jù)問(wèn)題分解成多個(gè)子問(wèn)題，將它們分配到成百上千個(gè)處理節(jié)點(diǎn)之上，再將結(jié)果匯集到一個(gè)小數(shù)據(jù)集當(dāng)中，從而更容易分析得出***的結(jié)果。
Hadoop已經(jīng)成為AOL、Facebook、Twitter和Netflix這些公司大數(shù)據(jù)分析的主要解決方案。比如像Facebook一天的數(shù)據(jù)要比很多大公司一年的數(shù)據(jù)還要多，他們通過(guò)Hadoop收集和存儲(chǔ)每天生成的數(shù)百萬(wàn)的文件，使用開(kāi)源Apache Hive數(shù)據(jù)倉(cāng)庫(kù)工具集中對(duì)這些數(shù)據(jù)進(jìn)行分析。
Opera Solutions這樣的創(chuàng)新公司提供的服務(wù)更加引人注目：客戶(hù)將數(shù)據(jù)上傳到Opera平臺(tái)，Opera就會(huì)根據(jù)用戶(hù)數(shù)據(jù)池里的相關(guān)“信號(hào)”進(jìn)行分析，根據(jù)每個(gè)客戶(hù)的個(gè)性化需求，Opera雇傭各行業(yè)的專(zhuān)家來(lái)幫助他們進(jìn)行數(shù)據(jù)分析，Opera Solutions的年?duì)I業(yè)額已經(jīng)超過(guò)1億美元。
新的創(chuàng)業(yè)公司像MapR、Zettaset、Cloudera、HStreaming這些和Hadoop相關(guān)的大數(shù)據(jù)公司，在資本市場(chǎng)倍受青睞。它的快速成長(zhǎng)將會(huì)成為下一個(gè)改變信息技術(shù)的力量。
大數(shù)據(jù)的經(jīng)濟(jì)意義
大數(shù)據(jù)為云計(jì)算大規(guī)模與分布式的計(jì)算能力提供了應(yīng)用的空間，解決了傳統(tǒng)計(jì)算機(jī)無(wú)法解決的問(wèn)題。同時(shí)這個(gè)領(lǐng)域的計(jì)算標(biāo)準(zhǔn)與軟件均剛剛起步，為全世界新型軟、硬件及應(yīng)用創(chuàng)新提供了***的機(jī)會(huì)。
海量的數(shù)據(jù)需要足夠存儲(chǔ)來(lái)容納它，快速、低廉價(jià)格、綠色的數(shù)據(jù)中心部署成為關(guān)鍵。最近一年多來(lái)，谷歌、Facebook、Rackspace等公司都在紛紛建設(shè)新一代的數(shù)據(jù)中心，大部分都采用更高效、節(jié)能、定制化的云服務(wù)器，用于大數(shù)據(jù)存儲(chǔ)、挖掘和云計(jì)算業(yè)務(wù)。
數(shù)據(jù)中心正在成為新時(shí)代的“信息電廠”，成為知識(shí)經(jīng)濟(jì)的基礎(chǔ)設(shè)施。從海量數(shù)據(jù)中提取有價(jià)值的信息，數(shù)據(jù)分析使數(shù)據(jù)變得更有意義，并將影響政府、金融、零售、娛樂(lè)、媒體等各個(gè)領(lǐng)域，帶來(lái)革命性的變化。以投資Facebook而著名的風(fēng)險(xiǎn)投資機(jī)構(gòu)Accel Partners 表示：“大數(shù)據(jù)是信息技術(shù)未來(lái)發(fā)展的戰(zhàn)略走向，將催生下一代價(jià)值數(shù)萬(wàn)億美元的軟件企業(yè)。”
大數(shù)據(jù)將豐富我們對(duì)世界的認(rèn)識(shí)。從定量、結(jié)構(gòu)的世界，到不確定、非結(jié)構(gòu)的世界。這個(gè)轉(zhuǎn)變，使我們得以了解真實(shí)信息，提高決策水平，當(dāng)社會(huì)對(duì)自然的數(shù)據(jù)有較為完善、隨時(shí)的分析能力時(shí)，我們對(duì)事件的把握及預(yù)測(cè)能力便增強(qiáng)。以云計(jì)算為基礎(chǔ)的信息存儲(chǔ)、分享和挖掘手段為知識(shí)生產(chǎn)提供了工具，通過(guò)對(duì)大數(shù)據(jù)分析、預(yù)測(cè)會(huì)使得決策更為精準(zhǔn)，這對(duì)現(xiàn)階段的中國(guó)尤其重要。
中國(guó)有著龐大的人群和應(yīng)用市場(chǎng)，復(fù)雜性高、充滿(mǎn)變化，如此龐大的用戶(hù)群體，使中國(guó)成為世界上***數(shù)據(jù)的國(guó)家。解決這種由大規(guī)模數(shù)據(jù)引起的問(wèn)題，探索以大數(shù)據(jù)為基礎(chǔ)的解決方案，是中國(guó)產(chǎn)業(yè)升級(jí)，效率提高的重要手段。
“數(shù)據(jù)銀行”與“云存儲(chǔ)”
“數(shù)據(jù)銀行”概念逐漸變?yōu)閼?yīng)用的試點(diǎn)。將有公司把我們產(chǎn)生的數(shù)據(jù)如金錢(qián)資產(chǎn)一樣，放在“數(shù)據(jù)銀行”中儲(chǔ)存起來(lái)。
企業(yè)計(jì)算在大數(shù)據(jù)環(huán)境中可以將已有數(shù)據(jù)和文檔向云計(jì)算環(huán)境遷移，加快云環(huán)境下的數(shù)據(jù)管理、數(shù)據(jù)挖掘等軟件應(yīng)用，進(jìn)行商業(yè)模式探索和數(shù)字化決策。政府可以通過(guò)海量數(shù)據(jù)的存儲(chǔ)、分享，進(jìn)行分析和應(yīng)用，通過(guò)數(shù)據(jù)共享和業(yè)務(wù)協(xié)同，提升辦公智能和決策效率，解決城市交通、人口管理、公共安全、醫(yī)療衛(wèi)生等諸多難題。
數(shù)據(jù)不僅代表著生產(chǎn)力，還將成為重要的資產(chǎn)，或許在將來(lái)，我們留給下一代的資產(chǎn)，不是銀行里有多少存款，而是信息資產(chǎn);也許10年、15年之后，會(huì)有國(guó)家的數(shù)據(jù)銀行，相對(duì)今天的財(cái)富資產(chǎn)，里面保存的是我們的信息資產(chǎn)。
大數(shù)據(jù)的各種基礎(chǔ)及應(yīng)用軟件、硬件產(chǎn)品會(huì)逐步推出，而這方面中國(guó)創(chuàng)業(yè)型企業(yè)與硅谷距離也在縮短。今年底我們投資的北京超云計(jì)算機(jī)公司，將在北京亦莊與硅谷一家企業(yè)同時(shí)推出世界首臺(tái)解決大數(shù)據(jù)問(wèn)題的“Hadoop”服務(wù)器。
“云存儲(chǔ)”將會(huì)由于蘋(píng)果的“iCloud”而逐漸流行起來(lái)。傳統(tǒng)的家電企業(yè)提供“云家電”將成為應(yīng)用熱點(diǎn)。大規(guī)模、海量的“云數(shù)據(jù)”中心建設(shè)會(huì)成為全球與中國(guó)下輪基礎(chǔ)設(shè)施投資重點(diǎn)。
無(wú)論云計(jì)算還是大數(shù)據(jù)技術(shù)與應(yīng)用，今天還是早期發(fā)展階段，相當(dāng)于上世紀(jì)80年代初的個(gè)人計(jì)算機(jī)。我們已看到它廣闊的應(yīng)用前景及改變世界經(jīng)濟(jì)的力量。但是我們?nèi)詿o(wú)法準(zhǔn)確地預(yù)知什么樣的商業(yè)模式與什么樣的企業(yè)、企業(yè)家會(huì)取得最終的成功。探索、學(xué)習(xí)與試錯(cuò)是進(jìn)入這個(gè)新世界之門(mén)的唯一鑰匙。
