title: Hadoop 分布式集群的搭建
summary: 关键词：Hadoop ubuntu 分布式集群 环境搭建 ssh 网络配置 java 环境
date: 2019-5-19 11:09
author: foochane
urlname: 2019051901
categories: 大数据
tags:
- hadoop
- 大数据
本文作者：foochane
本文链接：https://foochane.cn/article/2019051901.html
1 安装说明
1.1 用到的软件
| 软件 | 版本 | 下载地址 |
|---|---|---|
| linux | Ubuntu Server 18.04.2 LTS | https://www.ubuntu.com/downlo… |
| hadoop | hadoop-2.7.1 | http://archive.apache.org/dis… |
| java | jdk-8u211-linux-x64 | https://www.oracle.com/techne… |
1.2 节点安排
| 名称 | ip | hostname |
|---|---|---|
| 主节点 | 192.168.233.200 | Master |
| 子节点 1 | 192.168.233.201 | Slave01 |
| 子节点 2 | 192.168.233.202 | Slave02 |
2 创建 hadoop 用户
所有的节点均创建一个名为 hadoop 的用户，并添加管理员权限。
注意：这里这是单纯为了方便管理，创建的用户名，也可以使用其他用户名，或者使用系统之前的用户，主要有管理员权限即可
$ sudo useradd -m hadoop -s /bin/bash #创建用户
$ sudo passwd hadoop #修改密码
$ sudo adduser hadoop sudo #添加管理员权限3 配置网络环境
3.1 修改主机名
修改 /etc/hostname文件，每个节点都要修改。
- 主节点修改为：Master
- 从节点分别修改为：Slave01,Slave02,…
注意：如果是 ubuntu18.04 桌面版直接修改 /etc/hostname 文件即可，ubuntu18.04 服务器版还需要修改 /etc/cloud/cloud.cfg 文件，修改如下：
# This will cause the set+update hostname module to not operate (if true)
preserve_hostname: true #这里是将 false 改成 true3.2 添加 IP 与主机名的映射关系
在 /etc/hosts 文件里添加如下内容（每个节点都要修改，根据实际情况修改 ip)
192.168.233.200 Master
192.168.233.201 Slave01
192.168.233.202 Slave02检查各个节点是否能相互 ping 通。
3.3 设置 SSH 无密码登录节点
让 Master 能够通过 SSH 无密码登录各个 Slave 节点
如果修改过主机名，需要重新生成的新的公钥。
在 Master 上执行如下命令：
$ cd ~/.ssh # 如果没有该目录，先执行一次 ssh localhost
$ rm ./id_rsa* # 删除之前生成的公匙（如果已经存在）$ ssh-keygen -t rsa # 执行该命令后，遇到提示信息，一直按回车就可以
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys接着将 Master 中的 id_rsa.pub 文件复制到各个 Slave 节点中
$ scp ~/.ssh/id_rsa.pub hadoop@Slave01:/home/hadoop/
$ scp ~/.ssh/id_rsa.pub hadoop@Slave02:/home/hadoop/在各个 Slave 节点中执行如下命令：
$ mkdir ~/.ssh # 如果不存在该文件夹需先创建
$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
$ rm ~/id_rsa.pub # 用完以后就可以删掉在 Master 中验证是否可以无密码登录，各个 Slave 节点。
如：
$ ssh Slave01 #如果成功登录，则配置完成
$ ssh Slave02 #如果成功登录，则配置完成4 安装 java 环境
每个节点都要安装，步骤相同
为了方便操作每个节点，默认在 /usr/local/ 下新建一个名为 bigdata 的文件夹，存放所有的大数据相关的软件。
$ sudo mkdir /usr/local/bigdata
$ sudo chown -R hadoop:hadoop /usr/local/bigdata/4.1 解压
$ sudo mkdir /usr/local/bigdata/java
$ sudo tar -zxvf jdk-8u211-linux-x64.tar.gz -C /usr/local/bigdata/java/
4.2 添加环境变量
在 ~/.bashrc 文件中添加如下内容，并执行 $ source ~/.bashrc 命令使其生效
#java
export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
5 解压 hadoop
下载 hadoop-2.7.1.tar.gz 文件，并解压到 /usr/local/bigdata/ 文件夹下
$ sudo tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/bigdata6 修改 hadoop 配置文件
需要修改 6 个文件，文件位于 /usr/local/bigdata/hadoop-2.7.1/etc/hadoop/ 下
6.1 slave 文件
将文件中原来的 localhost 删除，添加内容：
Slave01
Slave026.2 core-site.xml 文件
内容修改为：
<configuration>
<!-- 指定 HADOOP 所使用的文件系统 schema（URI）-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
<!-- 指定 hadoop 运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/bigdata/hadoop-2.7.1/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>6.3 hdfs-site.xml 文件
Hadoop 的分布式文件系统 HDFS 一般采用冗余存储，一份文件通常保存 3 份副本，所以 dfs.replication 的值还是设置为 3。
具体内容如下：
<configuration>
<property>
<!-- 指定 SecondaryNamenode 所在地址 -->
<name>dfs.namenode.secondary.http-address</name>
<value>Master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/dfs/data</value>
</property>
</configuration>6.4 mapred-site.xml 文件
修改内容如下：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
</configuration>6.5 yarn-site.xml 文件
内容如下：
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>6.6 hadoop-env.sh 文件
修改如下内容：
export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211
# 可以不用
export HADOOP_HOME=/usr/local/hadoop-2.7.17 设置 hadoop 环境变量
每个节点都要设置
在~/.bashrc文件中添加如下内容，并 $ source ~/.bashrc 使其生效
export PATH=$PATH:/usr/local/bigdata/hadoop-2.7.1/bin:/usr/local/bigdata/hadoop-2.7.1/sbin8 slave 节点配置
slave 节点只需将 master 节点上 /usr/local/ 下的 bigdata 文件夹和 ~/.bashrc 文件，放到 slave 节点即可
注意切换到对应机器执行 $ source ~/.bashrc 使环境变量生效。
后续的软件均可使用此方式配置。
在 master 节点：
$ sudo rm -r /usr/local/bigdata/hadoop-2.7.1/tmp # 删除 Hadoop 临时文件，如果之前有启动过
$ sudo rm -r /usr/local/bigdata/hadoop-2.7.1/logs/* # 删除日志文件，如果之前有启动过
$ tar -zcvf ~/bigdata.tar.gz /usr/local/bigdata/ # 先压缩再复制
$ scp ~/bigdata.tar.gz Slave01:/home/hadoop
$ scp ~/bigdata.tar.gz Slave02:/home/hadoop
$ scp ~/bashrc Slave01:/home/hadoop
$ scp ~/bashrc Slave02:/home/hadoop在各个 slave 节点上
$ sudo mkdir /usr/local/bigdata
$ sudo chown -R hadoop：hadoop /usr/local/bigdata
$ tar -zxvf ~/bigdata.tar.gz -C /usr/local/bigdata
$ sudo source ~/.bashrc9 启动 Hadoop 集群
在 Master 上执行
首次运行需要，执行
$ hdfs namenode -format 格式化名称节点，然后就可以启动 hadoop 了。
启动 hadoop：
$ start-dfs.sh
$ start-yarn.sh
$ mr-jobhistory-daemon.sh start historyserver使用 jps 查看启动的各个节点，缺少任何进程，都表示出错。
$ jps
3585 JobHistoryServer
2938 NameNode
3148 SecondaryNameNode
3308 ResourceManager
3629 Jps浏览器查看：http://192.168.233.200:50070/
查看相关信息：$ hdfs dfsadmin -report
关闭 hadoop：
$ stop-yarn.sh
$ stop-dfs.sh
$ mr-jobhistory-daemon.sh stop historyserver如果有问题，重复如下命令：
$ stop-dfs.sh # 关闭
$ rm -r /usr/local/bigdata/hadoop-2.7.1/tmp # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
$ hdfs namenode -format # 重新格式化名称节点
$ start-dfs.sh # 重启