乐趣区

hadoop241伪分布式搭建

jiezi

1. 准备 Linux 环境

1.0 点击 VMware 快捷方式，右键打开文件所在位置 -> 双击 vmnetcfg.exe -> VMnet1 host-only -> 修改 subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok

 回到 windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键 VMnet1 -> 属性 -> 双击 IPv4 -> 设置 windows 的 IP：192.168.1.100 子网掩码：255.255.255.0 -> 点击确定
在虚拟软件上 --My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok

1.1 修改主机名 

vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=itcast    ###

1.2 修改 IP

 两种方式：第一种：通过 Linux 图形界面进行修改（强烈推荐）进入 Linux 图形界面 -> 右键点击右上方的两个小电脑 -> 点击 Edit connections -> 选中当前网络 System eth0 -> 点击 edit 按钮 -> 选择 IPv4 -> method 选择为 manual -> 点击 add 按钮 -> 添加 IP：192.168.1.101 子网掩码：255.255.255.0 网关：192.168.1.1 -> apply

第二种：修改配置文件方式（屌丝程序猿专用）vim /etc/sysconfig/network-scripts/ifcfg-eth0
    
    DEVICE="eth0"
    BOOTPROTO="static"               ###
    HWADDR="00:0C:29:3C:BF:E7"
    IPV6INIT="yes"
    NM_CONTROLLED="yes"
    ONBOOT="yes"
    TYPE="Ethernet"
    UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
    IPADDR="192.168.1.101"           ###
    NETMASK="255.255.255.0"          ###
    GATEWAY="192.168.1.1"            ###

1.3 修改主机名和 IP 的映射关系 

vim /etc/hosts
    
192.168.1.101    itcast

1.4 关闭防火墙 

# 查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off

1.5 重启 Linux

reboot

2. 安装 JDK 2.1 上传 alt+p 后出现 sftp 窗口，然后 put d:xxxyylljdk-7u_65-i585.tar.gz

2.2 解压 jdk

# 创建文件夹
mkdir /home/hadoop/app
#解压
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app

2.3 将 java 添加到环境变量中 

vim /etc/profile
#在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
export PATH=$PATH:$JAVA_HOME/bin

#刷新配置
source /etc/profile

3. 安装 hadoop2.4.1

 先上传 hadoop 的安装包到服务器上去 /home/hadoop/
注意：hadoop2.x 的配置文件 $HADOOP_HOME/etc/hadoop
伪分布式需要修改 5 个配置文件

3.1 配置 hadoop

 第一个：hadoop-env.sh
    vim hadoop-env.sh
    #第 27 行
    export JAVA_HOME=/usr/java/jdk1.7.0_65
    
第二个：core-site.xml

    <!-- 指定 HADOOP 所使用的文件系统 schema（URI），HDFS 的老大（NameNode）的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://weekend-1206-01:9000</value>
    </property>
    <!-- 指定 hadoop 运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>
    
第三个：hdfs-site.xml   hdfs-default.xml  (3)
    <!-- 指定 HDFS 副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
    
第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
    mv mapred-site.xml.template mapred-site.xml
    vim mapred-site.xml
    <!-- 指定 mr 运行在 yarn 上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
    
第五个：yarn-site.xml
    <!-- 指定 YARN 的老大（ResourceManager）的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>weekend-1206-01</value>
</property>
    <!-- reducer 获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
 </property>
     
3.2 将 hadoop 添加到环境变量

vim /etc/proflie
    export JAVA_HOME=/usr/java/jdk1.7.0_65
    export HADOOP_HOME=/itcast/hadoop-2.4.1
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

3.3 格式化 namenode（是对 namenode 进行初始化）hdfs namenode -format (hadoop namenode -format)
    
3.4 启动 hadoop
    先启动 HDFS
    sbin/start-dfs.sh
    
    再启动 YARN
    sbin/start-yarn.sh
    
3.5 验证是否启动成功
    使用 jps 命令验证
    27408 NameNode
    28218 Jps
    27643 SecondaryNameNode
    28066 NodeManager
    27803 ResourceManager
    27512 DataNode
退出移动版