关于hadoop:hadoop安装

一、装置 VM
二、装置 centos8.4
三、装置 hadoop
1. 创立用户
①切换 root 用户 su
②减少用户 useradd -m hadoop -s /bin/bash
③明码 passwd hadoop
④为用户减少管理员权限 vim /etc/sudoers 或者 visudo
找到 root ALL=(ALL) ALL 这行，按 i，进入插入模式，在这行上面减少一行内容 hadoop ALL=(ALL) ALL，按 ESC 键，而后输出 ”:wq”，再按回车退出编辑 (空格为 tab 键)
⑤后面减少管理员账号后，须要用 sudo 能力执行管理员权限，为了不便间接更改 /opt/ 下文件的权限 chmod -R 777 /opt/
⑥/opt/ 下创立文件夹用于贮存数据
用于贮存软件 mkdir soft
用于贮存数据 mkdir datas
用于贮存 hadoop 等装置 mkdir modules

2.SSH
①查看是否装置 SSH rpm -qa | grep ssh
②[hadoop@my ~]$ cd ~/.ssh/
[hadoop@my .ssh]$ ssh-keygen -t rsa
始终按回车
[hadoop@my .ssh]$ cat id_rsa.pub >> authorized_keys
[hadoop@my .ssh]$ chmod 600 ./authorized_keys

3. 装置 jdk
①查问是否装置 JAVA 环境 rpm -qa | grep java
②若有 JAVA 环境，则卸载 rpm -e –nodeps [各个 JAVA]
③将文件解压到目录 tar -zxvf jdk-7u80-linux-x64.tar.gz -C /opt/modules/
④配置 JVAV 环境变量 vim /etc/profile
export JAVA_HOME=/opt/modules/jdk1.8.0_301
export PATH=$PATH:$JAVA_HOME/bin
强制刷新配置文件 source /etc/profile

4. 装置 hadoop
①解压文件 tar -zxvf hadoop-3.3.1.tar.gz -C /opt/modules/
② 批改 etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/modules/jdk1.8.0_301
③创立文件目录 [hadoop@my hadoop-3.3.1]$ mkdir data
[hadoop@my hadoop-3.3.1]$ cd data
[hadoop@my data]$ mkdir tmp
批改 etc/hadoop/core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://my:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/modules/hadoop-3.3.1/data/tmp</value>
</property>

④批改 etc/hadoop/hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

⑤批改 etc/hadoop/mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.application.classpath</name>
    <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>

⑥批改 etc/hadoop/mapred-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
</property>

⑦
⑧
⑨
备注：
firewall-cmd –state – 查看防火墙状态
systemctl start firewalld.service – 关上防火墙
systemctl stop firewalld.service – 敞开防火墙
systemctl disable firewalld.service – 永恒敞开防火墙
[hadoop@my hadoop-3.3.1]$ bin/hdfs dfs -mkdir /user
[hadoop@my hadoop-3.3.1]$ bin/hdfs dfs -mkdir /user/hadoop