Hadoop集群的部署分为分布式集群和伪分布式集群的部署。这篇文章中，我会对伪散布集群的装置和部署做阐明。为什么先进行伪分布式集群部署呢，这是因为它只须要一台虚拟机（因为在本人的电脑上进行部署，应用的就是虚拟机），而分布式集群的部署个别须要三台及以上的虚拟机（一台为主节点，）。

并且，在实际操作的时候，分布式和伪分布式根本是没有区别的，在思考电脑启动多个虚拟机可能会卡，所以先对伪散布集群进行阐明。

伪散布集群的部署

虚拟机筹备

首先筹备一台虚拟机，我这里应用的是Centos6.x，如果应用其余版本的linux，前面的局部命令会有所不同，本人在试验时须要留神。

配置动态ip和主机名

配置ip

终端输出:

vim /etc/sysconfig/network-scripts/ifcfg-eth0

配置文件：

BOOTPROTO=staticIPADDR=192.168.19.0GATEWAY=192.168.19.2NETMASK=255.255.255.0DNS1=114.114.114.114

这里须要留神的是，ip地址要对应本人的虚拟机的地址。我这里网络连接应用的是NAT模式。

设置主机名

终端输出：

vim /etc/sysconfig/network

批改HOSTNAME:

设置ip和主机名的绑定映射

终端输出：

vim /etc/hosts

批改hosts文件：

敞开防火墙

形式1：

service iptables stop

形式二：

chkconfig iptables off

设置ssh免明码登录

ssh hadoop100

这时会提醒输出明码。咱们要做的就是实现输出下面的命令的时候，间接连贯主机，不必输出明码。

留神：如果下面没有将ip和主机名绑定的话，ssh是不能解析主机的
ssh -keygen -t rsa

前面一路回车就行。这个命令会生成一个公钥和私钥。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

这步会向本机复制一个公钥。

这样免密就搞定了。

装置jdk

这里首先须要将jdk的安装包传到虚拟机里。能够共享文件，或应用近程连贯工具进行上传。这里就不做演示了。

首先先解压，重命名文件为jdk1.8（为了不便）：

而后配置环境变量：

vim /etc/profile
export JAVA_HOME=/opt/jdk1.8export PATH=.:$JAVA_HOME/bin:$PATH

Hadoop的装置

同样，先上传Hadoop的安装包。

https://archive.apache.org/dist/hadoop/common/

能够在这里找到想要下的所有历史版本。

而后就须要对Hadoop外面的一些配置做批改了。

1.hadoop-env.sh

先进入Hadoop的配置文件目录：

cd /opt/hadoop-3.2.1/etc/hadoop

批改hadoop-env.sh文件：

vim hadoop-env.sh
export JAVA_HOME=/opt/jdk1.8export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop
这里留神，如果没有data目录，须要当初根目录下创立一个。

2.core-site.xml

vim core-site.xml
<configuration>    <property>        <name>fs.defaultFS</name>        <value>hdfs://hadoop100:9000</value>    </property>    <property>        <name>hadoop.tmp.dir</name>        <value>/data/hadoop_repo</value>    </property></configuration>
留神：本人的主机名是不是hadoop100，如果不是，批改为本人的。上面的目录hadoop会本人创立，只须要保障有/data目录即可。

3.hdfs-site.xml

vim hdfs-site.xml
<configuration>    <property>        <name>dfs.replication</name>        <value>1</value>    </property></configuration>
留神：这个配置示意正本数量，咱们这里是伪散布集群，只有一台机器，只容许一个正本。

4.mapred-site.xml

vim mapred-site.xml
<configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property></configuration>

他示意mapreduce在yarn这个引擎里去执行。

5.yarn-site.xml

vim yarn-site.xml
<configuration>    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>    <property>        <name>yarn.nodemanager.env-whitelist</name>        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>    </property></configuration>

他示意yarn外面运行mapreduce这个计算引擎，上面的执行环境的一些白名单。

这样一些根本的配置就批改实现。

对hdfs进行格式化

咱们先回退到hadoop的根目录下：

bin/hdfs namenode -format

留神：格式化只能执行一次，如果因为某些起因格式化失败，倡议先进入/data目录下，删掉hadoop_repo，再进行格式化。

批改hadoop启动项

1.start-dfs.sh

vim sbin/start-dfs.sh
HDFS_DATANODE_USER=rootHDFS_DATANODE_SECURE_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root

2.stop-dfs.sh

vim sbin/stop-dfs.sh
HDFS_DATANODE_USER=rootHDFS_DATANODE_SECURE_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root

3.start-yarn.sh

vim sbin/start-yarn.sh
YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root

4.stop-yarn.sh

vim sbin/stop-yarn.sh
YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root

启动集群

sbin/start-all.sh

输出jps,如果过程除了JPS外还有5个，阐明启动胜利。

参考：
https://www.imooc.com/video/20728