Hadoop應用介紹之Hadoop安裝環境配置
本節向大家介紹一下Hadoop應用中Hadoop的安裝方法，主要介紹介紹一下Hadoop概念的介紹以及安裝前的環境配置，歡迎大家一起來學習有關Hadoop應用方面的知識。首先看一下Hadoop的概念介紹。
hadoop應用之安裝篇
hadoop分布式文件系統安裝——ForFreeBSD7
Hadoop一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。
簡單地說來，Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。
Hadoop實現了一個分布式文件系統（HadoopDistributedFileSystem），簡稱HDFS。HDFS有著高容錯性（fault-tolerent）的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（highthroughput）來訪問應用程序的數據，適合那些有著超大數據集（largedataset）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streamingaccess）文件系統中的數據。
一，概述
1，安裝軟件版本
freebsd:7rc3[新裝系統請采用freebsd7正式發行版]
hadoop:0.16.0
jdk:1.5.0
OpenSSH:4.5p1
rsync:2.6.9
2，服務器硬件環境2臺x86計算機（作為安裝測試1-2臺機器已經足夠，如果作為性能測試考慮設備的硬件性能）
3,hadoop描述
Hadoop包括HDFS(HadoopDistributedFileSystem--Hadoop分布式文件系統)和MapReduce一種集約編程模型
以HDFS視角來看節點分為Namenode和Datanode，其中Namenode是唯一的，Datanode可以是多個，Namenode可以兼Datanode；
以MapReduce視角來看又分為Jobtracker和Tasktracker，其中Jobtracker只有一個，Tasktracker可以是多個同樣Jobtracker可以兼Tasktracker。更多請參考官網介紹
本測試中namenode和jobtracker部署在freebsd7test1.rhinux.com上，datanode和tasktracker部署在freebsd7test1.rhinux.com和freebsd7test2.rhinux.com。Hadoop應用介紹Hadoop的安裝時要進行環境配置。
二，os及環境配置
1，安裝jdk1.5
#cd/usr/ports/java/jdk15
#makeinstallclean
按照要求和提示下載好對應的包，如果找不到舊版本的依賴包請現updataports后再下載***安裝包
#portsnapfetchupdate
#portsnapextract
2，安裝rsync，bash，ssh
a,#cd/usr/ports/net/rsync
#makeinstallclean
b,#cd/usr/ports/shells/bash//一般Linux默認已經安裝好bash所以可以省略這一步
#makeinstallclean
c,freebsd7默認OpenSSH_4.5p1
3，系統配置
a,本次配置使用2臺服務器分別為
freebsd7test1.rhinux.com172.16.27.81(用在namenode由于本次測試只有2臺機器所以兼datanode，但實際生產環境中不推薦兼datanode)
freebsd7test2.rhinux.com172.16.27.82(用在datanode)
b,配置服務器的hosts文件使namenode能夠通過域名(freebsd7test2和freebsd7test2.rhinux.com）訪問到所有的datanode（如果namenode兼datanode也需要通過域名訪問到自己），
所有的datanode也能通過域名訪問到namenode
c，示例
==========================/etc/hosts===========================================
::1localhostlocalhost.rhinux.com
127.0.0.1localhostlocalhost.rhinux.com
172.16.27.82freebsd7test2.rhinux.comfreebsd7test2
172.16.27.81freebsd7test1.rhinux.comfreebsd7test1
======================172.16.27.82（namenode&datanode）=======================
4，OS配置按原標準安裝，測試階段/services目錄分區文件系統使用ZFS（文件系統請選擇自己喜歡的目前測試下來Freebsd7的ZFS并不穩定），本節關于Hadoop應用中Hadoop安裝環境配置介紹完畢，請繼續關注下節Hadoop應用介紹。
【編輯推薦】
