大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解

作者：憶往事_隨風(fēng) 2022-10-14 15:44:03

系統(tǒng) OpenHarmony

本篇使用大數(shù)據(jù) Hadoop 2.7.2環(huán)境搭建,希望能夠幫助到你！

??51CTO 開源基礎(chǔ)軟件社區(qū)??

??https://ost.51cto.com??

一、虛擬機(jī)環(huán)境準(zhǔn)備

1、虛擬機(jī)網(wǎng)絡(luò)模式設(shè)置為 NAT

點(diǎn)擊 “編輯虛擬機(jī)設(shè)置”。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

點(diǎn)擊 “網(wǎng)絡(luò)適配器” → “NAT模式” 即可。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

2、克隆虛擬機(jī)

右鍵需要克隆的虛擬機(jī) → 管理 → 克隆。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

選擇“虛擬機(jī)中的當(dāng)前狀態(tài)”，點(diǎn)擊下一步。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

選擇“創(chuàng)建完整克隆”，點(diǎn)擊下一步。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

更改虛擬機(jī)名稱以及位置，點(diǎn)擊下一步。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

創(chuàng)建完成后關(guān)閉即可。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

3、修改虛擬機(jī)為靜態(tài) IP

查看虛擬網(wǎng)卡信息。

輸入 ifconfig ，看到可以正常使用的網(wǎng)卡以及相關(guān)信息。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

可以看到我們這里的網(wǎng)卡是 ens33。

查看網(wǎng)關(guān)。

在 VMware 中的虛擬網(wǎng)絡(luò)編輯器中可以看到。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

修改網(wǎng)卡配置。

輸入以下命令，即可編寫網(wǎng)卡配置。

vim /etc/sysconfig/network-scripts/ifcfg-網(wǎng)卡名

我這里的網(wǎng)卡名是 ens33，則命令如下：

vim /etc/sysconfig/network-scripts/ifcfg-ens33

把有的部分注釋掉，沒有的部分在最后加上。

# 要配制的部分
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.182.128  #IP地址
NETMASK=255.255.255.0  #子網(wǎng)掩碼
NETWORK=192.168.0.0

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

修改網(wǎng)關(guān)配置。

輸入以下命令，編寫網(wǎng)關(guān)配置。

vim /etc/sysconfig/network

編寫以下內(nèi)容。

NETWORKING=yes
GATEWAY=192.168.182.2  #網(wǎng)關(guān)

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

修改 DNS 配置。

輸入以下內(nèi)容，編寫 DNS 配置。

vim /etc/resolv.conf

編寫以下內(nèi)容。

search localdomain
nameserver 8.8.8.8
nameserver 192.168.182.2

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

重啟網(wǎng)絡(luò)服務(wù)。

service network restart

4、修改主機(jī)名

查看本機(jī)主機(jī)名

查看本機(jī)主機(jī)名使用 hostname 即可。

hostname

修改主機(jī)名（CentOS 7）。

使用下面的命令修改主機(jī)名。

hostnamectl set-hostname 主機(jī)名

示例：

hostnamectl set-hostname node1

修改主機(jī)名（通用，CentOS7 與非 CentOS7）。

NETWORKING=yes
NETWORKING_IPV6=no
GATEWAY=192.168.182.2  #網(wǎng)關(guān)
HOSTNAME=node1  #主機(jī)名

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

修改 CentOS 的 hosts。

使用下面的命令編輯 hosts。

vim /etc/hosts

在每個(gè)虛擬機(jī)的 hosts 文件后面增加自己所安裝的虛擬機(jī)的 IP 地址以及主機(jī)名。

192.168.182.133 master
192.168.182.128 node1
192.168.182.129 node2

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

將 hosts 文件拷貝到 node1 和 node2 節(jié)點(diǎn)命令：

scp /etc/hosts node1:/etc/hosts  # 拷貝到 node1
scp /etc/hosts node2:/etc/hosts  # 拷貝到 node2

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

修改 Windows 的 hosts。

進(jìn)入 C:\Windows\System32\drivers\etc 路徑。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

打開 hosts 文件，填寫如下內(nèi)容：

192.168.182.133 master
192.168.182.128 node1
192.168.182.129 node2

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

保存文件，如果不行的話可以先移出來，再移回去。

5、關(guān)閉防火墻

查看防火墻狀態(tài)。

systemctl status firewalld.service

綠的running表示防火墻開啟。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

關(guān)閉防火墻。

systemctl stop firewalld.service

或：

service iptables stop

開機(jī)禁用防火墻自啟。

systemctl disable firewalld.service

或：

chkconfig iptables off

啟動(dòng)防火墻。

systemctl start firewalld.service

防火墻隨系統(tǒng)開啟啟動(dòng)。

systemctl enable firewalld.service

6、設(shè)置 ssh 免密??碼登錄（只在 Master 這臺(tái)主機(jī)操作）

生成密鑰并拷貝到子節(jié)點(diǎn)。

主節(jié)點(diǎn)執(zhí)行命令 ssh-keygen -t rsa 產(chǎn)生密鑰，一直回車執(zhí)行命令。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

將密鑰拷貝到其他兩個(gè)子節(jié)點(diǎn)，命令如下：

ssh-copy-id -i node1
ssh-copy-id -i node2

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

實(shí)現(xiàn)主節(jié)點(diǎn) master 本地免密??碼登錄。

首先進(jìn)入到 /root 命令：

cd /root

在進(jìn)入到 ./.ssh 目錄下：

cd ./.ssh/

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

將公鑰寫入本地執(zhí)行命令：

cat ./id_rsa.pub>> ./authorized_keys

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

二、用戶及文件權(quán)限配置

1、創(chuàng)建用戶

adduser atguigu  #添加用戶
passwd atguigu  #修改密??碼

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

2、配置用戶具有 root 權(quán)限

輸入以下命令進(jìn)行配置：

vi /etc/sudoers

配置 atguigu 用戶的信息：

## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
atguigu ALL=(ALL)       ALL

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

3、在 /opt 目錄下創(chuàng)建文件夾

在 /opt 目錄下創(chuàng)建 module、software 文件夾。

mkdir module  # 創(chuàng)建 module 文件夾
mkdir software  # 創(chuàng)建 software 文件夾

修改 module、software 文件夾的所有者 cd。

chown atguigu:atguigu module
chown atguigu:atguigu software

查看文件歸屬。

ls -al

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

三、JDK 安裝

1、卸載現(xiàn)有 jdk

查詢是否安裝 Java。

rpm -qa|grep java

如果安裝的版本低于 1.7，則卸載該 jdk。

sudo rpm -e 軟件包

2、將 jdk、Hadoop 導(dǎo)入到 opt 目錄的 software 文件夾下

導(dǎo)入 jdk 安裝包。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

導(dǎo)入 Hadoop 安裝包。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

3、查看軟件包是否導(dǎo)入成功

cd software/

ls

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

4、解壓 jdk 到 /opt/module 目錄下

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

5、配置 jdk 環(huán)境變量

獲取 jdk 路徑。

進(jìn)入 jdk 的解壓路徑，輸入以下命令即可查看 jdk 路徑：

pwd

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

打開 /etc/profile 文件：

輸入以下命令打開 profile 文件。

sudo vi /etc/profile

輸入以下命令配置 Java 環(huán)境變量。

export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

保存退出。

配置 jdk 環(huán)境生效。

source  /etc/profile

測(cè)試 jdk 是否安裝成功。

java -version

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

重啟（如果 java -version 可以用就不用重啟）。

sync
sudo reboot

四、Hadoop 安裝（master 主機(jī)）

1、進(jìn)入 Hadoop 安裝包路徑下

cd /opt/software/

2、解壓安裝文件到 /opt/module 目錄下

tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/

3、查看是否解壓成功

ls /opt/module/

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

4、將 Hadoop 添加到環(huán)境變量下

獲取 Hadoop 安裝路徑。

進(jìn)入 Hadoop 路徑，輸入以下命令查看 Hadoop 安裝路徑。

pwd

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

打開 /etc/profile 文件。

使用 vim 打開 profile 文件。

sudo vi /etc/profile

編輯 Hadoop 環(huán)境。

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存退出。

Hadoop 環(huán)境生效。

source /etc/profile

測(cè)試 Hadoop 是否安裝成功。

hadoop version

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

重啟（如果 hadoop version 可以用就不用重啟）。

sync
sudo reboot

5、修改 Hadoop 相關(guān)配置文件

(1) 修改 Hadoop 的 slaves 文件

進(jìn)入 /opt/module/hadoop-2.7.2/etc/hadoop 目錄。

cd /opt/module/hadoop-2.7.2/etc/hadoop

修改該目錄下的 slaves 文件。

使用 vim 編輯 slaves 文件。

vim slaves

刪除原來的內(nèi)容，修改為如下內(nèi)容。

node1
node2

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

(2) 修改 Hadoop 的 hadoop-env.sh 文件

進(jìn)入 /opt/module/hadoop-2.7.2/etc/hadoop 目錄。

cd /opt/module/hadoop-2.7.2/etc/hadoop

修改該目錄下的 hadoop-env.sh 文件。

添加 JAVA_HOME 路徑：

export JAVA_HOME=/opt/module/jdk1.8.0_144

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

(3) 修改 Hadoop 的 core-site.xml 文件

進(jìn)入 /opt/module/hadoop-2.7.2/etc/hadoop 目錄。

cd /opt/module/hadoop-2.7.2/etc/hadoop

修改該目錄下的 core-site.xml 文件。

<configuration>
        <property>
                <name>fs.defaultFS</name>
              <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop-2.7.2/tmp</value>
        </property>
        <property>
                <name>fs.trash.interval</name>
                <value>1440</value>
        </property>
</configuration>

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

(4) 修改 Hadoop 的 hdfs-site.xml 文件

進(jìn)入 /opt/module/hadoop-2.7.2/etc/hadoop 目錄。

cd /opt/module/hadoop-2.7.2/etc/hadoop

修改該目錄下的 hdfs-site.xml 文件。

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

(5) 修改 Hadoop 的 yarn-site.xml 文件

進(jìn)入 /opt/module/hadoop-2.7.2/etc/hadoop 目錄。

cd /opt/module/hadoop-2.7.2/etc/hadoop

修改該目錄下的 yarn-site.xml 文件。

<configuration>
<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>
</configuration>

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

(6) 修改 Hadoop 的 mapred-site.xml 文件

進(jìn)入 /opt/module/hadoop-2.7.2/etc/hadoop 目錄。

cd /opt/module/hadoop-2.7.2/etc/hadoop

復(fù)制 mapred-site.xml.template 為 mapred-site.xml。

cp mapred-site.xml.template mapred-site.xml

修改該目錄下的 mapred-site.xml 文件。

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

(7) 復(fù)制 Hadoop 的安裝目錄到其它子節(jié)點(diǎn)

scp -r /opt/module/hadoop-2.7.2 node1:/opt/module/hadoop-2.7.2
scp -r /opt/module/hadoop-2.7.2 node2:/opt/module/hadoop-2.7.2

6、驗(yàn)證（啟動(dòng) Hadoop）

首先看下 hadoop-2.7.2 目錄下有沒有 tmp 文件夾。如果沒有執(zhí)行一次格式化命令：

cd /opt/module/hadoop-2.7.2  #進(jìn)入 hadoop 安裝目錄
./bin/hdfs namenode -format  # 格式化命令

執(zhí)行完格式化命令會(huì)生成 tmp 文件。

啟動(dòng) Hadoop。

輸入以下命令啟動(dòng) Hadoop。

cd /opt/module/hadoop-2.7.2  #進(jìn)入 hadoop 安裝目錄
./sbin/start-all.sh  #啟動(dòng)程序

驗(yàn)證主節(jié)點(diǎn)進(jìn)程。

輸入以下命令查看進(jìn)程：

jps  #顯示所有 java 進(jìn)程 pid

主節(jié)點(diǎn)進(jìn)程：

ResourceManager
NameNode
SecondaryNameNode

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

子節(jié)點(diǎn)進(jìn)程

DataNode
NodeManager

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

④ 驗(yàn)證 HDFS：

瀏覽器登錄地址：192.168.182.133:50070（ip 地址是 master 節(jié)點(diǎn)的地址）。

出現(xiàn)以下界面則證明 HDFS 安裝成功：

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

剛搭建完成，什么都沒有。

PS：

如果第一次啟動(dòng)失敗了，請(qǐng)重新檢查配置文件或者哪里步驟少了。再次重啟的時(shí)候需要手動(dòng)將每個(gè)節(jié)點(diǎn)的 tmp 目錄刪除：

rm -rf /opt/module/hadoop-2.7.2/tmp

然后在<font color=“red”>主節(jié)點(diǎn)</font>執(zhí)行以下命令格式化 namenode。

./bin/hdfs namenode -format

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

文章相關(guān)附件可以點(diǎn)擊下面的原文鏈接前往下載：

https://ost.51cto.com/resource/2334。

??51CTO 開源基礎(chǔ)軟件社區(qū)??

??https://ost.51cto.com??。

責(zé)任編輯：jianghua

大數(shù)據(jù)Hadoop

国产精品电影_久久视频免费_欧美日韩国产激情_成年人视频免费在线播放_日本久久亚洲电影_久久都是精品_66av99_九色精品美女在线_蜜臀a∨国产成人精品_冲田杏梨av在线_欧美精品在线一区二区三区_麻豆mv在线看

大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解

一、虛擬機(jī)環(huán)境準(zhǔn)備

1、虛擬機(jī)網(wǎng)絡(luò)模式設(shè)置為 NAT

2、克隆虛擬機(jī)

3、修改虛擬機(jī)為靜態(tài) IP

4、修改主機(jī)名

5、關(guān)閉防火墻

6、設(shè)置 ssh 免密??碼登錄（只在 Master 這臺(tái)主機(jī)操作）

二、用戶及文件權(quán)限配置

1、創(chuàng)建用戶

2、配置用戶具有 root 權(quán)限

3、在 /opt 目錄下創(chuàng)建文件夾

三、JDK 安裝

1、卸載現(xiàn)有 jdk

2、將 jdk、Hadoop 導(dǎo)入到 opt 目錄的 software 文件夾下

3、查看軟件包是否導(dǎo)入成功

4、解壓 jdk 到 /opt/module 目錄下

5、配置 jdk 環(huán)境變量

四、Hadoop 安裝（master 主機(jī)）

1、進(jìn)入 Hadoop 安裝包路徑下

2、解壓安裝文件到 /opt/module 目錄下

3、查看是否解壓成功

4、將 Hadoop 添加到環(huán)境變量下

5、修改 Hadoop 相關(guān)配置文件

(1) 修改 Hadoop 的 slaves 文件

(2) 修改 Hadoop 的 hadoop-env.sh 文件

(3) 修改 Hadoop 的 core-site.xml 文件

(4) 修改 Hadoop 的 hdfs-site.xml 文件

(5) 修改 Hadoop 的 yarn-site.xml 文件

(6) 修改 Hadoop 的 mapred-site.xml 文件

(7) 復(fù)制 Hadoop 的安裝目錄到其它子節(jié)點(diǎn)

6、驗(yàn)證（啟動(dòng) Hadoop）