共计 2139 个字符,预计需要花费 6 分钟才能阅读完成。
依赖环境
首先须要 java 反对
这里下载 1.8 版本的 jdk
地址:https://blog.csdn.net/qq_2118…
下载完解压,并且在环境变量里申明 JAVA_HOME
JAVA_HOME=/usr/local/java/jdk1.8.0_161i
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:
export JAVA_HOME
export PATH
保留后应用 source 命令使环境变量失效
下载 hadoop 文件
https://mirrors.cnnic.cn/apac…
这里抉择 2.10 版本
同 java 程序一样解压到想搁置的目录
执行 XXX(这里是解压完的目录地址)/bin/hadoop version
能呈现版本号阐明解压正确了
进行单机版本的配置
1./etc/hadoop 下,须要批改 2 个配置文件 core-site.xml 和 hdfs-site.xml。
这个是 core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
这个是 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
注:dfs.replication 就是指备份的份数;dfs.namenode.name.dir 和 dfs.datanode.data.dir 别离指名称节点和数据节点存储门路
2. 执行初始化
回到 Hadoop 主目录,执行 ./bin/hdfs namenode -format
初始化完结最初这样证实胜利了
18/08/20 11:07:16 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
18/08/20 11:07:16 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at phenix/127.0.1.1
************************************************************/
3. 手动增加 JAVA_HOME
在 XXX/etc/hadoop/hadoop-env.sh 这个文件里配置 JAVA_HOME 门路
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
4. 开启 NameNode 和 DataNode 守护过程:
执行./sbin/start-dfs.sh
5. 开启 yarn 资源管理器:
执行./sbin/start-yarn.sh
最初执行 jps
有以下 6 个后台程序就证实启动胜利
[root@VM-0-16-centos hadoop-2.10.1]# jps
14880 NameNode
15220 SecondaryNameNode
15384 ResourceManager
15690 NodeManager
20814 Jps
15038 DataNode
将 hadoop 配置进配置文件
这样就能间接应用 hadoop 命令了
JAVA_HOME=/usr/local/java/jdk1.8.0_161i
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.10.1
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
export JAVA_HOME
export PATH
WebUi
http://localhost:50070 HDFS 页面
http://localhost:8088/cluster YARN 页面
进行服务
./sbin/stop-dfs.sh
./sbin/stop-yarn.sh
参考:https://blog.csdn.net/qq_3693…
正文完