关于运维:大数据平台搭建合集伪分布式平台部署

一. 简化配置

0. 更改主机名并配置 hosts 映射

# 更改主机名
hostnamectl set-hostname master
# 配置 hosts 映射
vi /etc/hosts
[填以后机器真是 ip] master

1. 配置免密

ssh-keygen
ssh-copy-id master

2. 敞开防火墙与 Selinux

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

3. 解压组件

cd /opt
tar -zxvf jdk-8u77-linux-x64.tar.gz
tar -zxvf hadoop-2.6.0.tar.gz
mv jdk1.8.0_77/ jdk 
mv hadoop-2.6.0/ hadoop

4. 配置文件:hdfs-site.xml

cd /opt/hadoop
vi etc/hadoop/hdfs-site.xml
<!-- 增加以下内容 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

5. 配置文件:core-site.xml

vi etc/hadoop/core-site.xml
<!-- 追加以下内容 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-repo/tmp</value>
</property> 

6. 配置文件:hadoop-env.sh

vi etc/hadoop/hadoop-env.sh
# 更改以下内容
export JAVA_HOME=/opt/jdk

7. 配置环境变量

vi /etc/profile
# 追加以下内容
export JAVA_HOME=/opt/jdk
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 使环境变量立刻失效
source /etc/profile

8. 格式化 hdfs

hdfs namenode -format

9. 启动 hdfs

start-dfs.sh 

二. 具体配置 (yarn)

10. 配置文件:mapred-site.xml

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vi etc/hadoop/mapred-site.xml
<!-- 追加以下内容 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

11. 配置文件:yarn-site.xml

vi etc/hadoop/yarn-site.xml

<!-- 追加以下内容 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 配置 yarn 的主机名 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>

12. 启动 yarn

start-yarn.sh