hadoop-0.20.1部署手冊新手必備
本節(jié)向大家介紹一下hadoop-0.20.1部署步驟，主要包括部署Hadoop和初始化和啟動hadoop集群以及測試三部分內(nèi)容，相信通過本節(jié)的學習大家對hadoop-0.20.1部署有一定的了解。
hadoop-0.20.1部署
因為需要分析大量的訪問日志，現(xiàn)有的分析方式（單機）不能滿足需求，因此需要部署hadoop來解決這個問題。在我做分布式文件系統(tǒng)之前，曾經(jīng)部署測試過hadoop，使用的版本為hadoop-0.19.0，記得當時配置起來很快就成功了。這次測試，我使用的是***版本hadoop-0.20.1,在部署過程中，花了不少時間才做成功（2天）。為備忘，特記錄之。
hadoop-0.20.1跟舊的版相比，有些文件發(fā)生了變化，主要的變化是conf目錄，
網(wǎng)上現(xiàn)有的hadoop文章，需要修改的文件是hadoop-site.xml,可是hadoop-0.20.1版本確沒有這個文件，取而代之的是core-site.xml。
一、部署hadoop
hadoop部署分兩步：名稱節(jié)點（namenode）無密碼訪問各數(shù)據(jù)節(jié)點(datanode)和配置hadoop.我的實驗環(huán)境為一個名稱節(jié)點，兩個數(shù)據(jù)節(jié)點.不幸的是其中的一個數(shù)據(jù)節(jié)點壞了。因此只能用一個數(shù)據(jù)節(jié)點來測試。在這個測試中，namenode的ip:192.168.199.135，datanode的ip:192.168.199.136.
(一)、名稱節(jié)點（namenode）無密碼訪問各數(shù)據(jù)節(jié)點(datanode)
1、名稱節(jié)點和數(shù)據(jù)節(jié)點各自創(chuàng)建用戶hadoop,使用相同的密碼。
2、以hadoop用戶名登陸名稱節(jié)點執(zhí)行ssh-keygen-trsa然后一路回車，完畢后生成文件.ssh/id_rsa.pub,把這個文件復制到當前位置，命名為authorized_keys；然后執(zhí)行命令ssh127.0.0.1,如果不需要密碼則直接登陸進去的話，就達到要求；否則需檢查authorized_keys的權限，看是否為644（-rw-r–r–）。接下來，同樣也hadoop用戶登陸數(shù)據(jù)節(jié)點服務器，創(chuàng)建.ssh目錄，并給與600權限（chmod600.ssh）;再把名稱服務器上的authorized_keys復制到目錄./ssh,注意權限和目錄結構跟名稱節(jié)點保持一致，然后再從名稱節(jié)點用ssh登陸數(shù)據(jù)節(jié)點，如果不需要密碼能登陸成功，則ssh的配置結束。再來看一下hadoop-0.20.1部署中Hadoop的配置。
(二)hadoop配置
1、下載jdk并設置。我的JAVA_HOME=/usr/local/jdk1.6.0_06
2、下載hadoop，解包，復制到/usr/local/hadoop.即HADOOP_HOME=/usr/local/hadoop
3、數(shù)據(jù)存放目錄分離，即數(shù)據(jù)的實際存放不在HADOOP_HOME（網(wǎng)上的n多文章是在hadoop安裝目錄）.我用2個1TB的硬盤單獨來存放實際的數(shù)據(jù)塊，其名稱為/disk2,/disk3.格式化這兩個硬盤并創(chuàng)建文件系統(tǒng)，然后掛接到這2個目錄。相關步驟省略。
4、設置目錄、文件的屬主。chown-Rhadoop:hadoop/disk2/disk3/usr/local/hadoop
5、在文件/usr/local/hadoop/conf/mapred-site.xml加入如下內(nèi)容：
- <property>
- <name>mapred.job.tracker</name>
- <value>hadoopm:9001</value>
- <description>ThehostandportthattheMapReducejobtrackerrunsat.If“local”,thenjobsarerunin-processasasinglemapand
- reducetask.</description>
- </property>
6、修改文件/usr/local/hadoop/conf/slaves及/usr/local/hadoop/conf/masters,把數(shù)據(jù)節(jié)點的主機名加到slaves、名稱節(jié)點主機名加到masters。可以加多個，每行一個。注意主機名需要在每個服務器的/etc/hosts映射好。
7、修改文件/usr/local/hadoop/conf/hadoop-env.sh,加入exportJAVA_HOME=/usr/local/jdk1.6.0_06一行即可。
8、在每個數(shù)據(jù)節(jié)點重復1~6這些步驟。
二、初始化和啟動hadoop集群
（一）hadoop的大部分操作都是在命名節(jié)點進行的。以hadoop用戶登陸系統(tǒng)然后執(zhí)行hadoopnamenode-format,一般都能順利完成這個過程。執(zhí)行完初始化后，各數(shù)據(jù)節(jié)點并沒有進行任何操作（最重要的事情就是生成一堆目錄）。
（二）啟動hadoop服務。命名服務器以hadoop用戶執(zhí)行start-all.sh.查看進程，如果正常，應該看見2-3個java進程。啟動正常的話，數(shù)據(jù)節(jié)點開始生成相關的目錄。其對比輸出如下：
三、測試
1、查看hadoop狀態(tài)，使用命令$hadoopdfs-report.
2、創(chuàng)建目錄。$hadoopdfs-mkdirsery,然后再傳幾個大文件$hadoopdfs-put7.*sery.傳了900M左右的數(shù)據(jù)（2個iso文件），很快傳完。
3、故障測試。需要2個數(shù)據(jù)節(jié)點，先關閉一個數(shù)據(jù)節(jié)點，然后網(wǎng)hadoop創(chuàng)建目錄和拷貝數(shù)據(jù)。完畢后啟動被關閉的數(shù)據(jù)節(jié)點的服務，觀察其運行情況。本節(jié)關于hadoop-0.20.1部署介紹到這里。
【編輯推薦】
- Hadoop完全分布模式安裝實現(xiàn)詳解
- Windows下輕松實現(xiàn)Hadoop開發(fā)環(huán)境安全配置
- Hadoop文件系統(tǒng)如何快速安裝？
- Hadoop集群搭建過程中相關環(huán)境配置詳解
- Hadoop完全分布模式安裝實現(xiàn)詳解
