在這春節(jié)期間，大家都見證了全球***的“人類遷移”——車流、物流、人流，它們流淌的同時(shí)也是數(shù)據(jù)，是商機(jī)。而大數(shù)據(jù)，就是這樣一種需要借助專有平臺(tái)實(shí)現(xiàn)價(jià)值提煉幫助決策分析的海量數(shù)據(jù)集。鑒于大數(shù)據(jù)在云計(jì)算、移動(dòng)、社交等多個(gè)發(fā)展趨勢(shì)中都具有普遍性和重要性，本文將為廣大讀者介紹有關(guān)大數(shù)據(jù)的基本內(nèi)容，以期幫助更多人了解大數(shù)據(jù)，并從中挖掘更多商機(jī)活躍市場(chǎng)。

另類“V字仇殺隊(duì)”

談到大數(shù)據(jù)，就自然而然會(huì)想到大數(shù)據(jù)的4V特點(diǎn)：Volume(數(shù)據(jù)量大)、Velocity(實(shí)時(shí)性強(qiáng))、 Variety(種類多樣)、Veracity(真實(shí)性)。另外，通常還大數(shù)據(jù)還具有Value(價(jià)值)的特點(diǎn)，這 也是人們紛紛關(guān)注大數(shù)據(jù)的主要驅(qū)動(dòng)力之一。這里的“V字仇殺隊(duì)”指的是大數(shù)據(jù)時(shí)代下價(jià)值的重新定義和挖掘，讓數(shù)據(jù)價(jià)值充斥在社會(huì)的每個(gè)角落。

大數(shù)據(jù)是多維的，而且***復(fù)雜性。大數(shù)據(jù)帶來的價(jià)值包括但不限于：數(shù)據(jù)的組織和管理，基礎(chǔ)架構(gòu)，決策支持和自動(dòng)化界面和分析。隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興起，傳統(tǒng)數(shù)據(jù)源的局限性被打破，企業(yè)愈發(fā)需要有效的信息治理以確保其真實(shí)性及安全性。

大數(shù)據(jù)的四大要素及挑戰(zhàn)

Volume——數(shù)據(jù)體量巨大。從TB級(jí)別，增長(zhǎng)到PB級(jí)別。截至目前，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB(1PB=1024TB)，而歷史上全人類說過的所有的話的數(shù)據(jù)量大約是5EB(1EB=1024PB)。當(dāng)前，典型個(gè)人計(jì)算機(jī)硬盤的容量為TB量級(jí)，而一些大企業(yè)的數(shù)據(jù)量已經(jīng)接近EB量級(jí)。

Velocity——處理速度快，1秒定律。根據(jù)IDC的“數(shù)字宇宙”的報(bào)告，預(yù)計(jì)到2020年，全球數(shù)據(jù)使用量將達(dá)到35.2ZB。在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命。

Variety——數(shù)據(jù)類型繁多，絡(luò)日志、視頻、圖片、地理位置信息等等。類型的多樣性也讓數(shù)據(jù)被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。相對(duì)于以往便于存儲(chǔ)的以文本為主的結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)越來越多，這些多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高要求。

Veracity——只有真實(shí)而準(zhǔn)確的數(shù)據(jù)才能讓對(duì)數(shù)據(jù)的管控和治理真正有意義。

大數(shù)據(jù)的4V特點(diǎn)(來源：f5)

Value——價(jià)值密度低。價(jià)值密度的高低與數(shù)據(jù)總量的大小成反比。如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”成為目前大數(shù)據(jù)背景下亟待解決的難題。隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興起，傳統(tǒng)數(shù)據(jù)源的局限性被打破，企業(yè)愈發(fā)需要有效的信息治理以確保其真實(shí)性及安全性。#p# 

大數(shù)據(jù)對(duì)于每個(gè)人來說都是機(jī)遇和挑戰(zhàn)并存。在大數(shù)據(jù)科學(xué)、網(wǎng)絡(luò)日志、RFID(無線射頻識(shí)別技術(shù))、傳感網(wǎng)絡(luò)、社交網(wǎng)絡(luò)、社交數(shù)據(jù)、網(wǎng)絡(luò)文檔、互聯(lián)網(wǎng)搜索、呼叫中心、天文學(xué)、氣象學(xué)、地理學(xué) 、生物學(xué)和其他數(shù)據(jù)龐大的學(xué)術(shù)性領(lǐng)域和民用、軍用、視頻、電子商務(wù)等等，都有著廣泛的應(yīng)用。

大數(shù)據(jù)科學(xué)

大型強(qiáng)子對(duì)撞機(jī)(Large Hadron Collider)是一座位于瑞士日內(nèi)瓦近郊?xì)W洲核子研究組織CERN的對(duì)撞型粒子加速器，主要作為國(guó)際高能物理學(xué)展開研究。該實(shí)驗(yàn)室分布有1.5億個(gè)傳感器，平均每秒傳輸?shù)? 數(shù)據(jù)多達(dá)4000萬倍，在每秒鐘內(nèi)有6億次碰撞。其中有99.999%的數(shù)據(jù)是經(jīng)過過濾并沒有記錄下來的， 也就是僅有100次碰撞(每秒)的數(shù)據(jù)***有價(jià)值。

大型強(qiáng)子對(duì)撞機(jī)

·因此，真正需要采集并處理的數(shù)據(jù)僅為傳感器數(shù)據(jù)中的0.001%。整個(gè)LHC實(shí)驗(yàn)室的數(shù)據(jù)年增長(zhǎng)為25PB(不考慮數(shù)據(jù)備份)。

·如果所有的傳感器數(shù)據(jù)都需要記錄下來并進(jìn)行處理的話，那么其工作量將極其龐大并變得難以為繼。那樣的話，年數(shù)據(jù)增長(zhǎng)將達(dá)1.5億PB，也就是相當(dāng)于每天500EB。

政府部門

去年，美國(guó)奧巴馬管理當(dāng)局宣布成立大型數(shù)據(jù)研究和發(fā)展倡議(Big Data Research and Development Initiative)，致力于幫助政府部門如何利用大數(shù)據(jù)解決重大問題。該倡議包括84個(gè)不同的大數(shù)據(jù)項(xiàng)目工程和6個(gè)部門。此外，美國(guó)聯(lián)邦政府還擁有當(dāng)今世界上最***的十大超級(jí)計(jì)算機(jī)中的六個(gè)。負(fù)責(zé)氣象模擬的NASA部門，在其發(fā)現(xiàn)者號(hào)超級(jí)計(jì)算機(jī)集群中也存儲(chǔ)有32PB氣象觀測(cè)和模擬數(shù)據(jù)。這些，其實(shí) 也都說明政府部門對(duì)大數(shù)據(jù)的重視，以及為此而展開的應(yīng)用。

商業(yè)領(lǐng)域

在商業(yè)領(lǐng)域，大數(shù)據(jù)解決方案和應(yīng)用則更是百花齊放百家爭(zhēng)鳴。著名的Facebook社交平臺(tái)，早已開展了基于用戶行為分析的數(shù)據(jù)挖掘和決策分析能夠?qū)ζ渌杏脩舻?00億張照片進(jìn)行分析處理。沃爾瑪每個(gè)小時(shí)處理的客戶交易量超過百萬次，這些交易量數(shù)據(jù)容量高達(dá)2.5PB(2560TB)——相當(dāng)于美國(guó)國(guó)會(huì)圖書館藏書量的167倍。

Facebook數(shù)據(jù)信息

應(yīng)用開發(fā)

根據(jù)廣義的信息和通信技術(shù)促進(jìn)發(fā)展(ICT4D)的有效應(yīng)用來看，大數(shù)據(jù)在社會(huì)經(jīng)濟(jì)發(fā)展中能夠發(fā)揮重 要貢獻(xiàn)。一方面，可以借助大數(shù)據(jù)提供具有成本效益的決策分析，比如在醫(yī)療、招聘、經(jīng)濟(jì)發(fā)展、預(yù)防犯罪、自然災(zāi)害、資源管理等領(lǐng)域。另一方面，隱私、互操作性挑戰(zhàn)、算法的完善方面，以及由于缺乏技術(shù)基礎(chǔ)設(shè)施和人才資源而產(chǎn)生新的數(shù)字鴻溝：以數(shù)據(jù)為基礎(chǔ)的決策支持帶來的信息鴻溝。

從這里我們不難看出，大數(shù)據(jù)在各個(gè)行業(yè)和領(lǐng)域，由于其面臨的應(yīng)用和業(yè)務(wù)不同而產(chǎn)生不同的挑戰(zhàn)或者機(jī)遇，但無論怎么說，大數(shù)據(jù)都是一種趨勢(shì)，一種會(huì)在短期內(nèi)帶來傷痛的機(jī)遇。也正是因?yàn)? 如此，我們也還需要特別了解，大數(shù)據(jù)目前的一些解決方案和成功的應(yīng)用案例。#p# 

相比之下，人們更容易看懂Sandy Bridge、Ivy Bridge等處理器架構(gòu)和USB 3.0、雷電接口等技術(shù)規(guī)范，而大數(shù)據(jù)領(lǐng)域的解決方案和產(chǎn)品，由于其涉及規(guī)模較為龐雜，而成為了很多人并不熟知的一個(gè)新生事物。

大數(shù)據(jù)需要有不同于傳統(tǒng)的技術(shù)，以有效地處理大量的容忍經(jīng)過時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù) ，包括大規(guī)模并行處理(MPP)數(shù)據(jù)庫(kù)，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫(kù)，云計(jì)算平臺(tái) ，互聯(lián)網(wǎng)，和可擴(kuò)展的存儲(chǔ)系統(tǒng)。

大數(shù)據(jù)解決方案，通常都是基于集群的物理設(shè)施平臺(tái)上，通過分布式處理系統(tǒng)來實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的處理和分析。也正是如此，這種解決方案更多的是側(cè)重于軟硬一體或者分布式的軟件系統(tǒng)平臺(tái)來實(shí)現(xiàn)。

在大數(shù)據(jù)解決方案中，最為常見的當(dāng)屬Hadoop。Hadoop 是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件 框架。Hadoop項(xiàng)目包括三部分，分別是Hadoop Distributed File System(HDFS)、HadoopMapReduce 編程模型，以及Hadoop Common。

英特爾：作為與Linux具有一樣都具有革命性意義的Hadoop，英特爾還推出了基于該平臺(tái)的發(fā)行版(包括免費(fèi)發(fā)行版)，以幫助用戶更輕松地構(gòu)建架構(gòu)和使用分布式計(jì)算平臺(tái)，開發(fā)和處理海量數(shù)據(jù)。

Intel Hadoop發(fā)行版(來源：Intel)

在英特爾所提出的大數(shù)據(jù)方案之中，至強(qiáng)處理器將為大數(shù)據(jù)分析提供原動(dòng)力。英特爾還展示了其即將發(fā)行的Hadoop發(fā)行版——Intel Hadoop Manager 2.0。英特爾的Hadoop發(fā)行版著重對(duì)英特爾平臺(tái)上的Hadoop進(jìn)行了優(yōu)化，企業(yè)可即時(shí)實(shí)施，安裝、配置都非常簡(jiǎn)單。

微軟：為幫助企業(yè)快速采用其大數(shù)據(jù)解決方案，微軟將在 Microsoft Windows Azure平臺(tái)上提供基于云端的Hadoop服務(wù)，同時(shí)在 Windows Server 上提供基于本地的 Hadoop 版本。 Hadoop 的豐富洞察可以與 Microsoft Business Intelligence (BI) 平臺(tái)無縫結(jié)合，使客戶能夠借助Office和SharePoint以及公用的數(shù)據(jù)和服務(wù)來豐富他們的模型。

Windows Azure Hadoop優(yōu)勢(shì)

EMC：Greenplum統(tǒng)一分析平臺(tái)(UAP)結(jié)合Greenplum DB 和Greenplum Hadoop為企業(yè)構(gòu)建高效處理結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化數(shù)據(jù)的大數(shù)據(jù)分析平臺(tái)。并且客戶可 以以此平臺(tái)為基礎(chǔ)利用Greenplum行業(yè)和數(shù)學(xué)統(tǒng)計(jì)方面 的專家，充分挖掘自身數(shù)據(jù)價(jià)值，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)從成本 中心到利潤(rùn)中心的轉(zhuǎn)變，以數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)。

甲骨文：提供了大數(shù)據(jù)軟硬一體優(yōu)化集成解決方案，其行業(yè)解決方案包括移動(dòng)應(yīng)用用戶行為統(tǒng)計(jì)分析、基于日志和訪問內(nèi)容的用戶畫像、機(jī)頂盒用戶使用習(xí)慣和精準(zhǔn)營(yíng)銷、語義分析和搜索引擎實(shí)時(shí)處理、海量指紋識(shí)別以及人臉識(shí)別查詢系統(tǒng)、分布式大數(shù)據(jù)存儲(chǔ)和管理系統(tǒng)、海量歷史數(shù)據(jù)分析平臺(tái)、基于互聯(lián)網(wǎng)的輿情監(jiān)控系統(tǒng)等。Exadata就是一個(gè)預(yù)配置的軟硬件結(jié)合體，可提供高性能的數(shù)據(jù)讀寫操作。

IBM：IBM 提供了全面的大數(shù)據(jù)解決方案，InfoSphere大數(shù)據(jù)分析平臺(tái)包括BigInsights和 Streams，Streams采用內(nèi)存計(jì)算方式分析實(shí)時(shí)數(shù)據(jù)，可以動(dòng)態(tài)地分析大規(guī)模的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。BigInsights基于Hadoop，增加了文本分析、統(tǒng)計(jì)決策工具，同時(shí)在可靠性、安全性、易用性、管理性方面提供了工具，并且可與DB2、Netezza等集成。

SAP：和甲骨文Exadata類似，SAP提供了一個(gè)高性能的數(shù)據(jù)查詢功能，用戶可以直接對(duì)大量實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)進(jìn)行查詢和分析的軟硬一體化解決方案HANA。#p# 

“信息將成為‘二十一世紀(jì)的石油’。”(Gartner，2010年)“數(shù)據(jù)正在成為商業(yè)的新型原材料：經(jīng)濟(jì)投入幾乎相當(dāng)于資本與勞動(dòng)力。”(援引《經(jīng)濟(jì)學(xué)家》，2010年)。這些，無不說明大數(shù)據(jù)帶來的巨大商機(jī)和潛在價(jià)值。在本文，主要給讀者介紹大數(shù)據(jù)帶來的兩方面益處：更智能;更富有。

更智能和更富有，有時(shí)候并不等同。隨著各大企業(yè)業(yè)務(wù)的擴(kuò)展和市場(chǎng)經(jīng)濟(jì)節(jié)奏的加快，人們?cè)谥贫ㄊ袌?chǎng)策略的時(shí)候，需要更多的真實(shí)有效的數(shù)據(jù)作為決策支撐平臺(tái)。而在大數(shù)據(jù)帶來的致富方面，不僅對(duì)于商家來說是潛在商機(jī)，對(duì)于個(gè)人來說，也是創(chuàng)業(yè)實(shí)現(xiàn)自身價(jià)值的良好途徑。手中握有數(shù)據(jù)的公司基 于數(shù)據(jù)交易即可產(chǎn)生很好的效益;其次，基于數(shù)據(jù)挖掘會(huì)有很多商業(yè)模式誕生。

大數(shù)據(jù)現(xiàn)象將無處不在

大數(shù)據(jù)成智能手段

君不見，各大網(wǎng)站的廣告都會(huì)根據(jù)網(wǎng)民行為而展示、推送類似用戶曾經(jīng)瀏覽過的商品的宣傳內(nèi)容?比如一個(gè)網(wǎng)民經(jīng)常瀏覽單反相機(jī)及其配件類產(chǎn)品，在訪問其他網(wǎng)站的時(shí)候，就很容易看到類似鏡頭、單反相機(jī)和閃關(guān)燈之類的廣告展示。

這種情況，在當(dāng)今的社交媒體(比如微博)平臺(tái)上，則會(huì)顯得更為普遍的。因?yàn)榇髷?shù)據(jù)時(shí)代下，展示給每一個(gè)微博用戶的品牌、產(chǎn)品宣傳內(nèi)容，這種無差異化的市場(chǎng)營(yíng)銷行為不僅無利于精準(zhǔn)挖掘潛在客戶，而且還有害于微博平臺(tái)本身的用戶體驗(yàn)。

谷歌搜索、Facebook的帖子和微博消息使得人們的行為和情緒的細(xì)節(jié)化測(cè)量成為可能。挖掘用戶的行為習(xí)慣和喜好，凌亂紛繁的數(shù)據(jù)背后找到更符合用戶興趣和習(xí)慣的產(chǎn)品和服務(wù)，并對(duì)產(chǎn)品和服務(wù)進(jìn)行針對(duì)性地調(diào)整和優(yōu)化。大數(shù)據(jù)也日益顯現(xiàn)出對(duì)各個(gè)行業(yè)的推進(jìn)力。

此外，大數(shù)據(jù)還可以幫助實(shí)現(xiàn)智能交通、智能城市，幫助銀行及時(shí)準(zhǔn)確評(píng)估客戶消費(fèi)和信用信息等等。

智能城市大數(shù)據(jù)的特征

大數(shù)據(jù)成致富捷徑

未來，數(shù)據(jù)可能成為***的交易商品。未來大數(shù)據(jù)將如同基礎(chǔ)設(shè)施一樣，有數(shù)據(jù)提供方、管理者、監(jiān)管者，數(shù)據(jù)的交叉復(fù)用將大數(shù)據(jù)變成一大產(chǎn)業(yè)。

相比傳統(tǒng)的致富資本——原材料、資金等等，它們一般都具有排他性，但數(shù)據(jù)卻能夠很容易地實(shí)現(xiàn)共享，并且通過共享實(shí)現(xiàn)更大的價(jià)值。此外，此數(shù)據(jù)和彼數(shù)據(jù)如果能有機(jī)地結(jié)合到一起，可能就會(huì)產(chǎn)生新的信息和知識(shí)，并且實(shí)現(xiàn)大幅增值。麥肯錫的報(bào)告就曾經(jīng)指出：“已經(jīng)有越來越多令人信服的證據(jù)表明：大數(shù)據(jù)將成為競(jìng)爭(zhēng)的關(guān)鍵性基礎(chǔ)，并成為下一波生產(chǎn)率提高、創(chuàng)新和為消費(fèi)者創(chuàng)造價(jià)值的支柱”。

可以預(yù)見，基于知識(shí)的競(jìng)爭(zhēng)，將集中表現(xiàn)為基于數(shù)據(jù)的競(jìng)爭(zhēng)。而這種數(shù)據(jù)競(jìng)爭(zhēng)，將成為經(jīng)濟(jì)發(fā)展的必然。隨著全球競(jìng)爭(zhēng)的不斷深化，企業(yè)的地理優(yōu)勢(shì)也將淡化，各種國(guó)家和地區(qū)性的保護(hù)措施也將逐步取消，一項(xiàng)專利很快會(huì)被模仿、復(fù)制、推廣，創(chuàng)新將越來越艱難。但在除去這些要素之外，還有一點(diǎn)可以構(gòu)成企業(yè)競(jìng)爭(zhēng)的基礎(chǔ)，那就是以“低成本、高效率”的方式來開展公司的業(yè)務(wù)。這種競(jìng)爭(zhēng)，要求公司制定流線型的商業(yè)過程，各個(gè)過程之間必須無縫隙、無摩擦地對(duì)接，并保證每一個(gè)商業(yè)決策明智、正確，在競(jìng)爭(zhēng)的過程中不犯錯(cuò)誤。(引自：美國(guó)信息經(jīng)濟(jì)領(lǐng)域的著名教授托馬斯·達(dá)文波特)

要做到這些，企業(yè)必須廣泛推行以事實(shí)為基礎(chǔ)的決策方法，大量使用數(shù)據(jù)分析來優(yōu)化企業(yè)的各個(gè)運(yùn)營(yíng)環(huán)節(jié)，通過基于數(shù)據(jù)的優(yōu)化，將業(yè)務(wù)流程中的價(jià)值充分得到提煉，從而***化節(jié)約成本、實(shí)現(xiàn)效益******。

編后語：

本文主要圍繞大數(shù)據(jù)的特點(diǎn)、行業(yè)應(yīng)用和面臨的挑戰(zhàn)、相應(yīng)解決方案和未來潛在價(jià)值這幾個(gè)最為重要的領(lǐng)域展開論述，由于大數(shù)據(jù)這個(gè)話題本身很“大”很寬泛，也不可能面面俱到，因此主要在于通過這些內(nèi)容的講解，給廣大網(wǎng)民和讀者提供普及性的分享。

另外一個(gè)特別值得關(guān)注的事實(shí)是，大數(shù)據(jù)時(shí)代已經(jīng)真真切切的來了，它已經(jīng)存在我們的現(xiàn)實(shí)生活中，未來也將會(huì)在個(gè)人、企業(yè)、政府、教育、科研和軍事等各種領(lǐng)域全面展開普及應(yīng)用。