共计 4812 个字符,预计需要花费 13 分钟才能阅读完成。
集群环境:
- centOs6.8:hadoop102,hadoop103,hadoop104
- jdk 版本:jdk1.8.0_144
- hadoop 版本:Hadoop 2.7.2
首先准备三台客户机(hadoop102,hadoop103,hadoop104),关闭防火墙,修改为静态 ip 和 ip 地址映射
配置集群
编写集群分发脚本
- 创建一个远程同步的脚本 xsync,并放到当前用户下新建的 bin 目录下,配置到 PATH 中,使得此脚本在任何目录下都可以执行
- 脚本实现
[kocdaniel@hadoop102 ~]$ mkdir bin
[kocdaniel@hadoop102 ~]$ cd bin/
[kocdaniel@hadoop102 bin]$ vim xsync
在文件中编写如下脚本代码
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径 –P 指向实际物理地址,防止软连接
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=103; host<105; host++)); do
echo ------------------- hadoop$host --------------
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done
- 修改脚本 xsync 具有执行权限,并调用脚本,将脚本复制到 103 和 104 节点
[kocdaniel@hadoop102 bin]$ chmod 777 xsync
[kocdaniel@hadoop102 bin]$ xsync /home/atguigu/bin
集群配置
- 集群部署规划
hadoop102 | hadoop103 | hadoop104 | |
---|---|---|---|
HDFS | NameNode DataNode | DataNode | SecondaryNameNode DataNode |
YARN | NodeManager | ResourceManager NodeManager | NodeManager |
由于计算机配置有限,只能使用三台虚拟机,工作环境中根据需要规划集群
- 配置集群
切换到hadoop 安装目录 /etc/hadoop/
- 配置 core-site.xml
[kocdaniel@hadoop102 hadoop]$ vim core-site.xml
# 在文件中写入如下内容
<!-- 指定 HDFS 中 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:9000</value>
</property>
<!-- 指定 Hadoop 运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
-
HDFS 配置文件
- 配置
hadoop-env.sh
[kocdaniel@hadoop102 hadoop]$ vim hadoop-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144
- 配置
注意:我们已经在 /etc/profile 文件中配置了 JAVA_HOME,这里为什么还需要配置 JAVA_HOME?
答:因为 Hadoop 运行是守护进程(守护进程是一个在后台运行并且不受任何终端控制的进程。– 摘自百度百科)),正是因为它后台运行,不接受任何终端控制,所以它读取不到我们配置好的环境变量,所以这里需要单独配置一下。
- 配置
hdfs-site.xml
[kocdaniel@hadoop102 hadoop]$ vim hdfs-site.xml
# 写入如下配置
<!-- 配置副本数量为 3,默认也为 3,所以这个也可以删掉 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定 Hadoop 辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:50090</value>
</property>
-
YARN 配置文件
- 配置
yarn-env.sh
[kocdaniel@hadoop102 hadoop]$ vim yarn-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144
- 配置
yarn-site.xml
[kocdaniel@hadoop102 hadoop]$ vi yarn-site.xml # 增加如下配置 <!-- Reducer 获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定 YARN 的 ResourceManager 的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop103</value> </property>
- 配置
-
MapReduce 配置文件
- 配置
mapred-env.sh
[kocdaniel@hadoop102 hadoop]$ vim mapred-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144
- 配置
mapred-site.xml
# 如果是第一次配置的话,需要先将 mapred-site.xml.template 重命名为 mapred-site.xml [kocdaniel@hadoop102 hadoop]$ cp mapred-site.xml.template mapred-site.xml [kocdaniel@hadoop102 hadoop]$ vim mapred-site.xml # 在文件中增加如下配置 <!-- 指定 MR 运行在 Yarn 上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
- 配置
- 将配置好的文件利用集群分发脚本同步到 hadoop103 和 hadoop104 节点
[kocdaniel@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/
- 最好在同步完成之后检查一下同步结果,避免错误
单点启动
- 如果是 第一次 启动,需要格式化 namenode,否则跳过此步
[kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop namenode -format
-
格式化需要 注意 的问题:
- 只有第一次启动需要格式化,以后不要总是格式化,否则会出现 namenode 和 datanode 的集群 id 不一致的情况,导致 datanode 启动失败
-
正确的格式化姿势:
- 在执行第一次格式化时会在 hadoop 安装目录下产生 data 文件夹,里面会生成 namenode 的信息
- 在启动 namenode 和 datanode 后,还会在同样的目录下产生 logs 的日志文件夹
- 所以在格式化之前需要先将这两个文件夹删除,然后再格式化,最后启动 namenode 和 datanode
- 在 hadoop102 上启动 namenode
[kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start namenode
[kocdaniel@hadoop102 hadoop-2.7.2]$ jps
3461 NameNode
- 在 hadoop102、hadoop103 以及 hadoop104 上分别启动 DataNode
[kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[kocdaniel@hadoop102 hadoop-2.7.2]$ jps
3461 NameNode
3608 Jps
3561 DataNode
[kocdaniel@hadoop103 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[kocdaniel@hadoop103 hadoop-2.7.2]$ jps
3190 DataNode
3279 Jps
[kocdaniel@hadoop104 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[kocdaniel@hadoop104 hadoop-2.7.2]$ jps
3237 Jps
3163 DataNode
- 访问 hadoop102:50070 查看结果
-
但是以上单点启动有一个问题:
- 每次都一个一个节点启动,如果节点数增加到 1000 个怎么办?
配置 ssh 免密登录
-
配置 ssh
- ssh 另一个节点的 ip 就可以切换到另一台机器,但是得输入密码
-
免密 ssh 配置
- 免密登录原理
-
在配置 namenode 的主机 hadoop102 上生成私钥和公钥
-
切换目录到
/home/ 用户名 /.ssh/
[kocdaniel@hadoop102 .ssh]$ ssh-keygen -t rsa
-
- 然后敲(三个回车),就会生成两个文件 id_rsa(私钥)、id_rsa.pub(公钥)- 将公钥拷贝到要免密登录的目标机器上
```shell
[kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop103
[kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop104
# 注意:ssh 访问自己也需要输入密码,所以我们需要将公钥也拷贝给 102
[kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop102
```
- 同样,在配置 resourcemanager 的主机 hadoop103 上执行同样的操作,然后就可以群起集群了
群起集群
-
配置 slaves
- 切换目录到:
hadoop 安装目录 /etc/hadoop/
- 在目录下的 slaves 文件中添加如下内容
[kocdaniel@hadoop102 hadoop]$ vim slaves # 注意结尾不能有空格,文件中不能有空行 hadoop102 hadoop103 hadoop104
- 同步所有节点的配置文件
[kocdaniel@hadoop102 hadoop]$ xsync slaves
- 切换目录到:
-
启动集群
- 同样,如果是第一次启动,需要格式化
- 启动 HDFS
[kocdaniel@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh # 查看启动结果,和集群规划(配置文件中)的一致 [atguigu@hadoop102 hadoop-2.7.2]$ jps 4166 NameNode 4482 Jps 4263 DataNode [atguigu@hadoop103 hadoop-2.7.2]$ jps 3218 DataNode 3288 Jps [atguigu@hadoop104 hadoop-2.7.2]$ jps 3221 DataNode 3283 SecondaryNameNode 3364 Jps
- 启动 YARN
# 注意:NameNode 和 ResourceManger 如果不是同一台机器,不能在 NameNode 上启动 YARN,应该在 ResouceManager 所在的机器上启动 YARN [kocdaniel@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh
- web 端查看相关信息
正文完