乐趣区

关于大数据:12-Apache-Hadoop完全分布式集群搭建

本系列文章次要记录了在拉勾大数据课程中的学习心得


1. 虚拟机环境筹备

应用 vmware 虚拟机虚构三台 linux 节点,应用 Centos7

1.1 虚拟机硬盘调配

  • 内存:2G
  • 硬盘:20G
  • /boot 调配 200M
  • swap 调配 2G
  • / 调配所有残余空间

1.2 配置动态 IP

最好在关机状态下,批改网络。
点击编辑,抉择倒数第⼆个选项“虚构网络编辑器”, 呈现上面的“虚构网络编辑器”窗⼝口。抉择 NAT 模式,留神子网 IP 前三位与 NAT 设置的网关 IP、DHCP 网段统一。

虚拟机设置实现后,进入零碎应用命令:

vi /etc/sysconfig/network-scripts/ifcfg-ens33

关上 ifcfg-ens33 文件,批改配置:

  • ONBOOT 改为 yes 开启主动启用网络连接
  • BOOTPROTO 改为动态 static
  • IPADDR 改为你⾃自⼰己设置的 ip (ip 能够通过命令 ip addr 来取得)


GATEWAY 设置网关
设置 DNS1 作为主 DNS,也能够加个 DNS2 作为备用。
常见的 DNS1=8.8.8.8 DNS2=8.8.4.4
按 esc 退出编辑模式后 :wq! 强制退出并保留;
此时,运⽤用命令 ping baidu.com
即可看出曾经连通。

1.3 敞开防火墙与 selinux

1.3.1 敞开防火墙

systemctl status firewalld.service 查看 firewall 状态
systemctl stop firewalld.service 停⽌止 firewall
systemctl disable firewalld.service 禁⽌止 firewall 开机启动

1.3.2 敞开 selinux

vi /etc/selinux/config

1.4 设置 hostname 并配置与 IP 的映射

设置 hostname

[root@linux121 ~]其中的 linux121 就是 hostname
能够通过 vi /etc/sysconfig/network 关上 network 编辑

保留退出后输出 hostname, 即可显示出 linux121。
留神:改变配置文件后要进行网络重启
或重启 init 6 从而使配置文件失效
命令为 service network restart
设置 hostname 与 IP 映射

IP 地址 主机名
第一台机器 192.168.80.121 linux121
第一台机器 192.168.80.122 linux122
第一台机器 192.168.80.123 linux123
vi /etc/hosts


此时曾经配置了了三台机器的 IP 与 hostname 映射,从而能够达到,在本机 ping hostname 可通,如果没有配此映射,需用 ping IP 地址可通。如果是三台机器相互用 hostname 来 ping,那么三台机器必须同时配好三个 IP 和 hostname 的映射。

1.5 配置免密登录

  1. 参见 1.4 配置 hostname 与 IP 映射
  2. 在所有主机上创立目录并赋予权限

    mkdir /root/.ssh chmod 700 /root/.ssh
  3. 在三台机器执行以下命令,生成公钥与私钥

    cd ~ #进入用户⽬目录
    ssh-keygen -t rsa -P ""是生成 ssh 明码的命令,-t 参数示意⽣生成算法,有 rsa 和 dsa 两种;- P 示意应用的明码,这里应用"" 空字
    符串示意无明码。cd ~/.ssh 进⼊入.ssh
    cat id_rsa.pub >> authorized_keys
    #这个命令将 id_rsa.pub 的内容追加到了了 authorized_keys 的内容后⾯面


    4. 复制第一台机器的认证到其余机器

    scp authorized_keys linux121:/root/.ssh/
    scp authorized_keys linux123:/root/.ssh/

    明码传输过程中只应用一次,当前再应用 ssh linux121 或 ssh linux123 即不再须要明码,实现免密钥登录。

1.6 集群工夫同步

工夫同步的形式:在集群中找一台机器器,作为工夫服务器。

通过网络连接外网进行时钟同步, 必须保障虚拟机连上外网
ntpdate us.pool.ntp.org
阿里云时钟同步服务器
ntpdate ntp4.aliyun.com

集群中其余机器与这台机器定时的同步工夫,⽐如,每隔十分钟,同步一次工夫。
工夫服务器配置(必须 root 用户)

  1. 确定是否装置了了 ntpd 的服务

    如果没有装置, 能够进行在线装置
    yum -y install ntp
    启动 ntpd 的服务
    service ntpd start
    设置 ntpd 的服务开机启动
    chkconfig ntpd on 第一步: 确定是否装置了了 ntpd 的服务
    rpm -qa | grep ntpd
  2. 编辑 /etc/ntp.conf

    编辑第一台机器的 /etc/ntp.conf
    vim /etc/ntp.conf
    在⽂件中增加如下内容
    restrict 192.168.80.0 mask 255.255.255.0 nomodify notrap
    正文⼀下四行内容
    #server 0.centos.pool.ntp.org
    #server 1.centos.pool.ntp.org
    #server 2.centos.pool.ntp.org
    #server 3.centos.pool.ntp.org
    去掉以下内容的正文,如果没有这两行正文,那就⾃己增加上
    server 127.127.1.0 # local clock
    fudge 127.127.1.0 stratum 10


    配置以下内容,保障 BIOS 与零碎工夫同步

    vim /etc/sysconfig/ntpd

    增加一行内容

    SYNC_HWLOCK=yes
  3. 重新启动 ntpd

    service ntpd status

    ntpd 已停

    service ntpd start

    使 NTP 服务能够在零碎疏导的时候主动启动:

    chkconfig ntpd on

其余机器配置(必须 root 用户)

  1. 在其余机器配置 10 分钟与工夫服务器同步⼀次

    crontab -e

    编写脚本
    另外两台机器器与 192.168.80.121 进⾏行行时钟同步

    */10 * * * * /usr/sbin/ntpdate 192.168.80.121
  2. 批改任意机器工夫,进行测试

    date -s "2021-05-24 23:00:00"
  3. 十分钟后查看机器是否与工夫服务器同步

    date

2. 装置 Hadoop

集群布局

框架 linux121 linux122 linux123
HDFS NameNode、DataNode DataNode SecondaryNameNode、DataNode
YARN NodeManager NodeManager NodeManager、ResourceManager

2.1 装置 java 和 Hadoop 并配置环境变量

在 /opt 目录下创立文件夹

mkdir -p /opt/lagou/software -- 软件安装包寄存目录
mkdir -p /opt/lagou/servers -- 软件装置目录

下载 jdk 和 Hadoop 安装文件,上传到 /opt/lagou/software,文章应用的 jdk 版本为 java8,Hadoop 版本为 2.9.2
java 官网:https://www.oracle.com/java/
Hadoop 官网:http://hadoop.apache.org/

  1. 解压

    tar -zxvf jdk-8u231-linux-x64.tar.gz -C /opt/lagou/servers/
    tar -zxvf hadoop-2.9.2.tar.gz -C /opt/lagou/servers
  2. 增加环境变量

    vi /etc/profile
    
    ## JAVA_HOME
    export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
    export PATH=:$JAVA_HOME/bin:$PATH
    ## HADOOP_HOME
    export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
  3. 使环境变量失效

    source /etc/profile


    验证 hadoop

    hadoop version
  4. hadoop 目录

    drwxr-xr-x. 2 root root 194 Nov 13 2018 bin
    drwxr-xr-x. 3 root root 20 Nov 13 2018 etc
    drwxr-xr-x. 2 root root 106 Nov 13 2018 include
    drwxr-xr-x. 3 root root 20 Nov 13 2018 lib
    drwxr-xr-x. 2 root root 239 Nov 13 2018 libexec
    -rw-r--r--. 1 root root 106210 Nov 13 2018 LICENSE.txt
    -rw-r--r--. 1 root root 15917 Nov 13 2018 NOTICE.txt
    -rw-r--r--. 1 root root 1366 Nov 13 2018 README.txt
    drwxr-xr-x. 3 root root 4096 Nov 13 2018 sbin
    drwxr-xr-x. 4 root root 31 Nov 13 2018 share
    
    1.bin 目录: 对 Hadoop 进行操作的相干命令,如 hadoop,hdfs 等
    2.etc 目录:Hadoop 的配置文件目录,入 hdfs-site.xml,core-site.xml 等
    3.lib 目录:Hadoop 本地库(解压缩的依赖)4.sbin 目录:寄存的是 Hadoop 集群启动进行相干脚本,命令
    5.share 目录:Hadoop 的一些 jar, 官网案例 jar,文档等

2.2 集群配置

Hadoop 集群配置 = HDFS 集群配置 + MapReduce 集群配置 + Yarn 集群配置

留神:Hadoop 装置目录所属用户和所属用户组信息,默认是 501 dialout,而咱们操作 Hadoop 集群的用户应用的是虚拟机的 root 用户,所以为了避免出现信息凌乱,批改 Hadoop 装置目录所属用户和用户组!

chown -R root:root /opt/lagou/servers/hadoop-2.9.2

进入 /opt/lagou/servers/hadoop-2.9.2/etc/hadoop 目录进行集群配置:

2.2.1 HDFS 集群配置

  • 指定 HDFS 应用的 JDK 门路(批改 hadoop-env.sh)

    vim hadoop-env.sh
    
    export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
  • 指定 NameNode 节点以及数据存储目录(批改 core-site.xml)

    vim core-site.xml
    
    <!-- 指定 HDFS 中 NameNode 的地址 -->
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://linux121:9000</value>
    </property>
    <!-- 指定 Hadoop 运行时产生文件的存储目录 -->
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>
    </property>

    官网默认配置:https://hadoop.apache.org/doc…

  • 指定 secondarynamenode 节点(批改 hdfs-site.xml)

    vim hdfs-site.xml
    
    <!-- 指定 Hadoop 辅助名称节点主机配置 -->
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>linux123:50090</value>
    </property>
    <!-- 正本数量 -->
    <property>
      <name>dfs.replication</name>
      <value>3</value>
    </property>

    官网默认配置:https://hadoop.apache.org/doc…

  • 指定 datanode 从节点(批改 slaves 文件,每个节点配置信息占一行)

    vim slaves
    
    linux121
    linux122
    linux123

    留神:该文件中增加的内容结尾不容许有空格,文件中不容许有空行。

2.2.2 MapReduce 集群配置

  • 指定 MapReduce 应用的 jdk 门路(批改 mapred-env.sh)

    vim mapred-env.sh
    
    export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
  • 指定 MapReduce 计算框架运行 Yarn 资源调度框架(批改 mapred-site.xml)

    mv mapred-site.xml.template mapred-site.xml
    vim mapred-site.xml
    
    <!-- 指定 MR 运行在 Yarn 上 -->
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>

    官网默认配置:https://hadoop.apache.org/doc…

2.2.3 Yarn 集群配置

  • 指定 Yarn 应用的 JDK 门路(批改 yarn-env.sh)

    vim yarn-env.sh
    
    export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
  • 指定 ResourceMnager 的 master 节点信息(批改 yarn-site.xml)

    vim yarn-site.xml
    
    <!-- 指定 YARN 的 ResourceManager 的地址 -->
    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>linux123</value>
    </property>
    <!-- Reducer 获取数据的形式 -->
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>

    官网默认配置:https://hadoop.apache.org/doc…

  • 指定 NodeManager 节点(slaves 文件已批改)

2.3 应用 rsync 散发配置

rsync 次要用于备份和镜像。具备速度快、防止复制雷同内容和反对符号链接的长处。
rsync 和 scp 区别:用 rsync 做文件的复制要比 scp 的速度快,rsync 只对差别文件做更新。scp 是把所有文件都复制过来。
根本语法

命令   选项参数   要拷贝的文件门路 / 名称   目标用户 @主机: 目标门路 / 名称
rsync  -rvl      $pdir/$fname          $user@$host:$pdir/$fname

参数阐明

参数 性能
-r 递归
-v 显示复制过程
-l 拷贝合乎链接

散发脚本
需要:循环复制文件到集权所有节点的雷同目录下

  • 装置 rsync

    [root@linux121 ~]# yum install -y rsync
  • 脚本实现
    /usr/local/bin 目录下创立文件 rsync-script,脚本内容如下:

    #!/bin/bash
    #1 获取命令输出参数的个数,如果个数为 0,间接退出命令
    paramnum=$#
    if((paramnum==0)); then
    echo no params;
    exit;
    fi
    #2 依据传入参数获取文件名称
    p1=$1
    file_name=`basename $p1`
    echo fname=$file_name
    #3 获取输出参数的绝对路径
    pdir=`cd -P $(dirname $p1); pwd`
    echo pdir=$pdir
    #4 获取用户名称
    user=`whoami`
    #5 循环执行 rsync
    host_name=`hostname`
    echo hostname=$host_name
    for((host=121; host<124; host++)); do
    if ["linux$host" != "$host_name"];then
    echo ------------------- linux$host --------------
    rsync -rvl $pdir/$file_name $user@linux$host:$pdir
    fi
    done

    批改脚本 rsync-script 具备执行权限

    [root@linux121 bin]$ chmod 777 rsync-script

    调用脚本模式:rsync-script 文件名称

    [root@linux121 bin]$ rsync-script /home/root/bin

    调用脚本散发 Hadoop 装置目录到其它节点

    [root@linux121 bin]$ rsync-script /opt/lagou/servers/hadoop-2.9.2

3. 集群启动与测试

3.1 集群启动

留神:如果集群是第一次启动,须要在 Namenode 所在节点格式化 NameNode,非第一次不必执行格式化 Namenode 操作!!

[root@linux121 hadoop-2.9.2]$ hadoop namenode -format

格式化命令执行成果:

格式化后创立的文件:/opt/lagou/servers/hadoop-2.9.2/data/tmp/dfs/name/current

3.1.1 单节点启动

  • 在 linux121 上启动 HDFS 的 NameNode 和 DataNode, 在 linux122 启动 DataNode,在 linux123 上启动 NameNode 和 SecondaryNameNode

    [root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start namenode
    [root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start 
    datanode
    [root@linux121 hadoop-2.9.2]$ jps
    3461 NameNode
    3608 Jps
    3561 DataNode
    
    [root@linux122 hadoop-2.9.2]$ hadoop-daemon.sh start 
    datanode
    [root@linux122 hadoop-2.9.2]$ jps
    3190 DataNode
    3279 Jps
    
    [root@linux123 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
    [root@linux123 hadoop-2.9.2]$ hadoop-daemon.sh start 
    secondaryNameNode
    [root@linux123 hadoop-2.9.2]$ jps
    3237 Jps
    3163 DataNode
    3283 SecondaryNameNode

    web 端查看 HDFS 界面:http://linux121:50070/dfsheal…
    留神:如果想间接应用 linux121,须要在 win 主机配置对应的 hostname

    查看 HDFS 集群失常节点:

  • 在 linux123 上启动 Yarn 的 ResourceManager, 在 linux121 和 linux122 上别离启动 NodeManager

    [root@linux123 servers]# yarn-daemon.sh start resourcemanager
    [root@linux123 servers]# jps
    7881 ResourceManager
    8094 Jps
    
    [root@linux122 servers]# yarn-daemon.sh start nodemanager
    [root@linux122 servers]# jps
    8166 NodeManager
    8223 Jps
    
    [root@linux121 servers]# yarn-daemon.sh start nodemanager
    [root@linux121 servers]# jps
    8166 NodeManager
    8223 Jps

3.1.2 集群群启

  • 启动 / 敞开 HDFS

    [root@linux121 hadoop-2.9.2]$ sbin/start-dfs.sh
    [root@linux121 hadoop-2.9.2]$ sbin/stop-dfs.sh
  • 启动 / 敞开 Yarn

    [root@linux123 hadoop-2.9.2]$ sbin/start-yarn.sh
    [root@linux123 hadoop-2.9.2]$ sbin/stop-yarn.sh

3.2 集群测试

3.2.1 存储测试

hdfs dfs -mkdir -p /test/input
#本地 hoome 目录创立一个文件
cd /root
vim test.txt
hello hdfs
#上传 linxu 文件到 Hdfs
hdfs dfs -put /root/test.txt /test/input
#从 Hdfs 下载文件到 linux 本地
hdfs dfs -get /test/input/test.txt

3.2.2 计算测试

调用 MapReduce 自带的 wordcount 统计文本单词数量

  • 在 HDFS 文件系统根目录上面创立一个 wcinput 文件夹

    [root@linux121 hadoop-2.9.2]$ hdfs dfs -mkdir /wcinput
  • 在 /root/ 目录下创立一个 wc.txt 文件(本地文件系统)

    [root@linux121 hadoop-2.9.2]$ cd /root/
    [root@linux121 wcinput]$ touch wc.txt
    [root@linux121 wcinput]$ vim wc.txt
    
    hadoop mapreduce yarn
    hdfs hadoop mapreduce
    mapreduce yarn lagou
    lagou
    lagou
    
  • 上传 wc.txt 到 Hdfs 目录 /wcinput 下

    hdfs dfs -put wc.txt /wcinput
  • 回到 Hadoop 目录 /opt/lagou/servers/hadoop-2.9.2,执行程序

    [root@linux121 hadoop-2.9.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput
    /wcoutput
  • 查看后果

    [root@linux121 hadoop-2.9.2]$ hdfs dfs -cat /wcoutput/part-r-00000
    hadoop 2
    hdfs 1
    lagou 3
    mapreduce 3
    yarn 2

4 配置历史服务器

4.1 配置历史服务器

在 Yarn 中运行的工作产生的日志数据不能查看,为了查看程序的历史运行状况,须要配置一下历史日志服务器。具体配置步骤如下:

  1. 配置 mapred-site.xml

    [root@linux121 hadoop]$ vi mapred-site.xml

    在该文件外面减少如下配置:

    <!-- 历史服务器端地址 -->
    <property>
     <name>mapreduce.jobhistory.address</name>
     <value>linux121:10020</value>
    </property>
    <!-- 历史服务器 web 端地址 -->
    <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>linux121:19888</value>
    </property>
  2. 散发 mapred-site.xml 到其它节点

    rsync-script mapred-site.xml
  3. 启动历史服务器

    [root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
  4. 查看 JobHistory:http://linux121:19888/jobhistory

4.2 配置日志的汇集

日志汇集:利用 (Job) 运行实现当前,将利用运行日志信息从各个 task 汇总上传到 HDFS 零碎上。
日志汇集性能益处:能够不便的查看到程序运行详情,不便开发调试。
留神:开启日志汇集性能,须要重新启动 NodeManager、ResourceManager 和 HistoryManager。
开启日志汇集性能具体步骤如下:

  1. 配置 yarn-site.xml

    [root@linux121 hadoop]$ vi yarn-site.xml

    在该文件外面减少如下配置:

    <!-- 日志汇集性能使能 -->
    <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
    </property>
    <!-- 日志保留工夫设置 7 天 -->
    <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
    </property>
  2. 散发 yarn-site.xml 到集群其它节点

    rsync-script yarn-site.xml
  3. 敞开 NodeManager、ResourceManager 和 HistoryManager

    [root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop resourcemanager
    [root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop nodemanager
    [root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver
  4. 启动 NodeManager、ResourceManager 和 HistoryManager

    [root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh start resourcemanager
    [root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh start nodemanager
    [root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
  5. 删除 HDFS 上曾经存在的输入文件

    [root@linux121 hadoop-2.9.2]$ bin/hdfs dfs -rm -R /wcoutput
  6. 执行 WordCount 程序

    [root@linux121 hadoop-2.9.2]$ hadoop jar share/hadoop/mapreduce/hadoopmapreduce-
    examples-2.9.2.jar wordcount /wcinput /wcoutput
  7. 查看日志:http://linux121:19888/jobhistory


退出移动版