干貨|大數(shù)據(jù)Hadoop快速入門教程
1、Hadoop生態(tài)概況
Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)集成架構(gòu)，用戶可以在不了解分布式底層細(xì)節(jié)情況下，開發(fā)分布式程序，充分利用集群的威力來(lái)進(jìn)行高速運(yùn)算與存儲(chǔ)，具有可靠、高效、可伸縮的特點(diǎn)。
Hadoop的核心是YARN,HDFS,Mapreduce,常用模塊架構(gòu)如下
2、HDFS
源自谷歌的GFS論文，發(fā)表于2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop體系中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ)，它是一個(gè)高度容錯(cuò)的系統(tǒng)，能檢測(cè)和應(yīng)對(duì)硬件故障
HDFS簡(jiǎn)化了文件一致性模型，通過(guò)流式數(shù)據(jù)訪問，提供高吞吐量應(yīng)用程序數(shù)據(jù)訪問功能，適合帶有大型數(shù)據(jù)集的應(yīng)用程序，它提供了一次寫入多次讀取的機(jī)制，數(shù)據(jù)以塊的形式，同時(shí)分布在集群不同物理機(jī)器
3、Mapreduce
源自于谷歌的MapReduce論文，用以進(jìn)行大數(shù)據(jù)量的計(jì)算，它屏蔽了分布式計(jì)算框架細(xì)節(jié)，將計(jì)算抽象成map和reduce兩部分
4、HBASE(分布式列存數(shù)據(jù)庫(kù))
源自谷歌的Bigtable論文，是一個(gè)建立在HDFS之上，面向列的針對(duì)結(jié)構(gòu)化的數(shù)據(jù)可伸縮，高可靠，高性能分布式和面向列的動(dòng)態(tài)模式數(shù)據(jù)庫(kù)
5、zookeeper
解決分布式環(huán)境下數(shù)據(jù)管理問題，統(tǒng)一命名，狀態(tài)同步，集群管理，配置同步等
6、HIVE
由Facebook開源，定義了一種類似sql查詢語(yǔ)言，將SQL轉(zhuǎn)化為mapreduce任務(wù)在Hadoop上面執(zhí)行
7、flume
日志收集工具
8、yarn分布式資源管理器
是下一代mapreduce，主要解決原始的Hadoop擴(kuò)展性較差，不支持多種計(jì)算框架而提出的，架構(gòu)如下
9、spark
spark提供了一個(gè)更快更通用的數(shù)據(jù)處理平臺(tái)，和Hadoop相比，spark可以讓你的程序在內(nèi)存中運(yùn)行
10、kafka
分布式消息隊(duì)列，主要用于處理活躍的流式數(shù)據(jù)
11、Hadoop偽分布式部署
目前而言，不收費(fèi)的Hadoop版本主要有三個(gè)，都是國(guó)外廠商，分別是
- 1、Apache原始版本
- 2、CDH版本，對(duì)于國(guó)內(nèi)用戶而言，絕大多數(shù)選擇該版本
- 3、HDP版本
這里我們選擇CDH版本hadoop-2.6.0-cdh5.8.2.tar.gz，環(huán)境是CentOS7.1，jdk需要1.7.0_55以上
[root@hadoop1 ~]# useradd hadoop
我的系統(tǒng)默認(rèn)自帶的java環(huán)境如下
增加如下環(huán)境變量
做好如下授權(quán)
這里以Hadoop用戶來(lái)進(jìn)行管理和啟動(dòng)Hadoop的各種服務(wù)
查看服務(wù)啟動(dòng)情況
