大數(shù)據(jù)分析是現(xiàn)在十分火熱的話題，從農(nóng)業(yè)到工業(yè)、從金融到體育、從傳統(tǒng)企業(yè)到初創(chuàng)公司，各行各業(yè)都在積極應(yīng)用大數(shù)據(jù)分析，似乎你的企業(yè)不和大數(shù)據(jù)沾點(diǎn)邊就會(huì)顯得沒有逼格一樣。

隨著大數(shù)據(jù)分析的持續(xù)走紅，大數(shù)據(jù)分析工具也呈現(xiàn)出了遍地開花的態(tài)勢(shì)，我們今天要說的Hadoop就是其中之一。

Hadoop是Apache開發(fā)的一個(gè)開源項(xiàng)目，短短幾年的時(shí)間，我們就見證了Hadoop從無到有、從簡(jiǎn)陋到穩(wěn)定的轉(zhuǎn)變。目前Hadoop因其具有高度可擴(kuò)展性，靈活性和成本效益，已經(jīng)成為大數(shù)據(jù)分析的理想工具。

Hadoop對(duì)大數(shù)據(jù)存儲(chǔ)和預(yù)測(cè)分析有什么好處?

Apache Hadoop軟件庫(kù)是一個(gè)框架，允許在集群服務(wù)器上使用簡(jiǎn)單的編程模型對(duì)大數(shù)據(jù)集進(jìn)行分布式處理，它的可擴(kuò)展性非常好，可以從單臺(tái)服務(wù)器擴(kuò)展到數(shù)以千計(jì)的服務(wù)器。Hadoop在大數(shù)據(jù)存儲(chǔ)和分析方面表現(xiàn)十分出色：

低故障率

每臺(tái)機(jī)器都會(huì)進(jìn)行數(shù)據(jù)復(fù)制，這一特點(diǎn)也使得Hadoop成為大文件備份的一個(gè)好選擇。當(dāng)一個(gè)節(jié)點(diǎn)復(fù)制了一個(gè)數(shù)據(jù)塊，那么同一數(shù)據(jù)集群中的其他節(jié)點(diǎn)也會(huì)復(fù)制。數(shù)據(jù)備份跨越多個(gè)節(jié)點(diǎn)，所以數(shù)據(jù)被永久改變或破壞的可能性非常小，系統(tǒng)的容錯(cuò)性也隨之提高了。

成本效益

Hadoop是最具成本效益的大數(shù)據(jù)分析和存儲(chǔ)解決方案之一。 根據(jù)Cloudera的研究，Hadoop存儲(chǔ)數(shù)據(jù)的成本僅僅是其它大數(shù)據(jù)存儲(chǔ)解決方案很小的一部分。

Cloudera公司產(chǎn)品副總裁Zedlewski Zedlewski認(rèn)為，目前網(wǎng)絡(luò)存儲(chǔ)的市場(chǎng)行情大約是1TB數(shù)據(jù)5000美元，在具體情況下可能會(huì)有價(jià)格的上下浮動(dòng)。在數(shù)據(jù)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)倉(cāng)庫(kù)以及相關(guān)的硬件領(lǐng)域，通常1TB數(shù)據(jù)的價(jià)格可能要達(dá)到10000美元到15000美元。

靈活性

Hadoop是一個(gè)非常靈活的解決方案，用戶可以使用SQL輕松添加提取結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)集。這一特點(diǎn)對(duì)醫(yī)療行業(yè)來說特別有價(jià)值，因?yàn)獒t(yī)療行業(yè)需要不斷地更新患者記錄。根據(jù)Dezyre報(bào)告顯示：,美國(guó)醫(yī)療保健行業(yè)內(nèi)最大的軟件及服務(wù)提供商Sage已經(jīng)在利用Hadoop進(jìn)行基因組學(xué)、癌癥治療以及患者生命監(jiān)測(cè)等相關(guān)工作。

可擴(kuò)展性

Hadoop支持高度可擴(kuò)展，它可以存儲(chǔ)TB級(jí)數(shù)據(jù)，并同時(shí)運(yùn)行數(shù)千個(gè)數(shù)據(jù)節(jié)點(diǎn)。

利用SQL迎擊Hadoop和大數(shù)據(jù)分析的挑戰(zhàn)

Hadoop與SQL兼容，所以適用范圍廣泛，用戶可以使用多種SQL方法來提取和使用Hadoop存儲(chǔ)的大數(shù)據(jù)，如果已經(jīng)熟練掌握了SQL，那么Hadoop就可能成為最佳的大數(shù)據(jù)分析解決方案。

但是如果想要從Hadoop中提取數(shù)據(jù)，那么就需要一個(gè)復(fù)雜的SQL引擎，目前市面上有很多開源解決方案，Apache Hive就是其中之一。

Apache Hive有三個(gè)主要功能：運(yùn)行數(shù)據(jù)查詢、匯總數(shù)據(jù)、大數(shù)據(jù)分析，它可以自動(dòng)將SQL查詢轉(zhuǎn)換為Hadoop MapReduce作業(yè)，但是它有一個(gè)很大的缺點(diǎn)就是它隨著數(shù)據(jù)集群的大小會(huì)有時(shí)間延遲的問題。

“Hive本身就不是為OLTP工作負(fù)載設(shè)計(jì)的，所以不提供實(shí)時(shí)查詢或行級(jí)更新，它更適合于大量?jī)H附加數(shù)據(jù)(如Web日志)的批處理作業(yè)。”Hive在大數(shù)據(jù)集項(xiàng)目上的時(shí)間延遲十分明顯，因此它不適合需要實(shí)時(shí)分析數(shù)據(jù)的可擴(kuò)展項(xiàng)目。

除了Hadoop Hive之外，還有一些其它的SQL引擎：

Rick van der Lans報(bào)告表示：上圖這些解決方案基本上都能夠彌補(bǔ)Apache Hive的不足，它們的特性之一就是多語言持久性，這一特性意味著它們既可以跨數(shù)據(jù)庫(kù)訪問數(shù)據(jù)，也可以訪問存儲(chǔ)在Hadoop上的數(shù)據(jù)。另外，目前也有很多用于實(shí)時(shí)大數(shù)據(jù)分析的應(yīng)用程序。

InfoWorld報(bào)告顯示目前Spark、Storm和DataTorrent是Hadoop實(shí)時(shí)大數(shù)據(jù)分析領(lǐng)域的三大領(lǐng)先解決方案，目前Hadoop中的流數(shù)據(jù)實(shí)時(shí)處理通常會(huì)選擇Storm或Spark，而DataTorrent是開源自一個(gè)之前的商業(yè)產(chǎn)品，現(xiàn)在已經(jīng)加入到了Hadoop戰(zhàn)局中。