关于大数据:大数据开发之Hadoop集群安装教程

配置文件的批改
留神:以下所有操作都在node01主机进行。
1.1 hadoop-env.sh
1、介绍
文件中设置的是Hadoop运行时须要的环境变量。JAVA_HOME是必须设置的,即便咱们以后的零碎中设置了JAVA_HOME,它也是不意识的,因为Hadoop即便是在本机上执行,它也是把以后的执行环境当成近程服务器。

2、配置
cd /export/server/hadoop-3.0.0/etc/hadoop
vim hadoop-env.sh
增加以下内容:
export JAVA_HOME=/export/server/jdk1.8.0_2411.2 core-site.xml
1、介绍
hadoop的外围配置文件,有默认的配置项core-default.xml。
core-default.xml与core-site.xml的性能是一样的,如果在core-site.xml里没有配置的属性,则会主动会获取core-default.xml里的雷同属性大数据培训的值。
2、配置
在该文件中的<configuration>标签中增加以下配置,
cd /export/server/hadoop-3.0.0/etc/hadoop
vim core-site.xml
<configuration>
配置内容如下:
<!– 用于设置Hadoop的文件系统,由URI指定 –>
<property>

<name>fs.defaultFS</name>
<value>hdfs://node01:8020</value>

</property>
<!– 配置Hadoop存储数据目录,默认/tmp/hadoop-${user.name} –>
<property>
<name>hadoop.tmp.dir</name>
<value>/export/server/hadoop-3.0.0/hadoopDatas/tempDatas</value>
</property>
<!– 缓冲区大小,理论工作中依据服务器性能动静调整 –>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<!– 开启hdfs的垃圾桶机制,删除掉的数据能够从垃圾桶中回收,单位分钟 –>
<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
</configuration>
1.3 hdfs-site.xml
1、介绍
HDFS的外围配置文件,次要配置HDFS相干参数,有默认的配置项hdfs-default.xml。hdfs-default.xml与hdfs-site.xml的性能是一样的,如果在hdfs-site.xml里没有配置的属性,则会主动会获取hdfs-default.xml里的雷同属性的值。
2、配置
在该文件中的<configuration>标签中增加以下配置,
<configuration>
在这里增加配置
</configuration>
cd /export/server/hadoop-3.0.0/etc/hadoop
vim hdfs-site.xml

配置以下内容
<!– 指定SecondaryNameNode的主机和端口 –>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node02:50090</value>
</property>
<!– 指定namenode的页面拜访地址和端口 –>
<property>
<name>dfs.namenode.http-address</name>
<value>node01:50070</value>
</property>
<!– 指定namenode元数据的寄存地位 –>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///export/server/hadoop-3.0.0/hadoopDatas/namenodeDatas</value>
</property>
<!– 定义datanode数据存储的节点地位 –>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///export/server/hadoop-3.0.0/hadoopDatas/datanodeDatas</value>
</property>
<!– 定义namenode的edits文件寄存门路 –>
<property>
<name>dfs.namenode.edits.dir</name>
<value>file:///export/server/hadoop-3.0.0/hadoopDatas/nn/edits</value>
</property>
<!– 配置检查点目录 –>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file:///export/server/hadoop-3.0.0/hadoopDatas/snn/name</value>
</property>
<property>
<name>dfs.namenode.checkpoint.edits.dir</name>
<value>file:///export/server/hadoop-3.0.0/hadoopDatas/dfs/snn/edits</value>
</property>
<!– 文件切片的正本个数–>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!– 设置HDFS的文件权限–>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<!– 设置一个文件切片的大小:128M–>
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
<!– 指定DataNode的节点配置文件 –>
<property>
<name> dfs.hosts </name>
<value>/export/server/hadoop-3.0.0/etc/hadoop/slaves </value>
</property>
1.4 mapred-site.xml
1、介绍
MapReduce的外围配置文件,Hadoop默认只有个模板文件mapred-site.xml.template,须要应用该文件复制进去一份mapred-site.xml文件

2、配置
在mapred-site.xml文件中的<configuration>标签中增加以下配置,
<configuration>
在这里增加配置
</configuration>
cd /export/server/hadoop-3.0.0/etc/hadoop
cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

配置以下内容:
<!– 指定分布式计算应用的框架是yarn –>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!– 开启MapReduce小工作模式 –>
<property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
<!– 设置历史工作的主机和端口 –>
<property>
<name>mapreduce.jobhistory.address</name>
<value>node01:10020</value>
</property>
<!– 设置网页拜访历史工作的主机和端口 –>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node01:19888</value>
</property>1.5 mapred-env.sh
在该文件中须要指定JAVA_HOME,将原文件的JAVA_HOME配置前边的正文去掉,而后依照以下形式批改:
cd /export/server/hadoop-3.0.0/etc/hadoop
vim mapred-env.sh
export JAVA_HOME=/export/server/jdk1.8.0_2411.6 yarn-site.xml
YARN的外围配置文件,在该文件中的<configuration>标签中增加以下配置,
<configuration>
在这里增加配置
</configuration>
cd /export/server/hadoop-3.0.0/etc/hadoop
vim yarn-site.xml

增加以下配置:
<!– 配置yarn主节点的地位 –>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!– 开启日志聚合性能 –>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!– 设置聚合日志在hdfs上的保留工夫 –>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<!– 设置yarn集群的内存调配计划 –>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>

      <name>yarn.scheduler.minimum-allocation-mb</name>
      <value>2048</value>

</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>1.7 workers
1、介绍
workers文件外面记录的是集群主机名。个别有以下两种作用:
一是:配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候slaves文件外面的主机标记的就是从节点角色所在的机器。
二是:能够配合hdfs-site.xml外面dfs.hosts属性造成一种白名单机制。dfs.hosts指定一个文件,其中蕴含容许连贯到NameNode的主机列表。必须指定文件的残缺路径名,那么所有在workers中的主机才能够退出的集群中。如果值为空,则容许所有主机。
2、配置
cd /export/server/hadoop-3.0.0/etc/hadoop
vim workers
删除workers中的localhost,而后增加以下内容:
node01
node02
node03
数据目录创立和文件散发
留神:以下所有操作都在node01主机进行。
2.1 目录创立
创立Hadoop所需目录
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/tempDatas
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/namenodeDatas
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/datanodeDatas
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/nn/edits
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/snn/name
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/dfs/snn/edits2.2 文件散发
将配置好的Hadoop目录散发到node02和node03主机。
scp -r /export/server/hadoop-3.0.0/ node02:/export/server/
scp -r /export/server/hadoop-3.0.0/ node03:/export/server/配置Hadoop的环境变量
留神:三台机器都须要执行以下命令
vim /etc/profile
增加以下内容:
export HADOOP_HOME=/export/server/hadoop-3.0.0
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
配置实现之后失效
source /etc/profile启动集群
4.1 启动形式
要启动Hadoop集群,须要启动HDFS和YARN两个集群。
留神:首次启动HDFS时,必须对其进行格式化操作。实质上是一些清理和筹备工作,因为此时的HDFS在物理上还是不存在的。
在node01上执行格式化指令
hadoop namenode -format4.2 单节点一一启动
在node01主机上应用以下命令启动HDFS NameNode:
hadoop-daemon.sh start namenode在node01、node02、node03三台主机上,别离应用以下命令启动HDFS DataNode:
hadoop-daemon.sh start datanode在node01主机上应用以下命令启动YARN ResourceManager:
yarn-daemon.sh start resourcemanager在node01、node02、node03三台主机上应用以下命令启动YARN nodemanager:
yarn-daemon.sh start nodemanager以上脚本位于/export/server/hadoop-3.0.0/sbin目录下。如果想要进行某个节点上某个角色,只须要把命令中的start改为stop即可。
4.3 脚本一键启动
启动HDFS
start-dfs.sh
启动Yarn
start-yarn.sh
启动历史工作服务过程
mr-jobhistory-daemon.sh start historyserver启动之后,应用jps命令查看相干服务是否启动,jps是显示Java相干的过程命.
进行集群:stop-dfs.sh、stop-yarn.sh、mr-jobhistory-daemon.sh stophistoryserver
留神:如果在启动之后,有些服务没有启动胜利,则须要查看启动日志,Hadoop的启动日志在每台主机的/export/server/hadoop-3.0.0/logs/目录,须要依据哪台主机的哪个服务启动状况去对应的主机上查看相应的日志。

【腾讯云】云产品限时秒杀,爆款1核2G云服务器,首年50元

阿里云限时活动-2核2G-5M带宽-60G SSD-1000G月流量 ,特惠价99元/年(原价1234.2元/年,可以直接买3年),速抢

本文由乐趣区整理发布,转载请注明出处,谢谢。

You may also like...

发表评论

邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据