乐趣区

01Hadoop的介绍

jiezi

title: Hadoop 的介绍
date: 2019/11/20 08:16:25
updated: 2019/11/20 21:52:30
comments: true
tags:

 Hadoop

categories:

 - BigData

Hadoop 的介绍

  1. Hadoop 最早起源于 Nutch.Nutch 的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题.
  2. 2003 年、2004 年谷歌发表的两篇论文为该问题提供了可行的解决方案.
    ——分布式文件系统(GFS)，可用于处理海量网页的存储
    ——分布式计算框架 MAPREDUCE，可用于处理海量网页的索引计算问题.
  3. Nutch 的开发人员完成了相应的开源实现 HDFS 和 MAPREDUCE，并从 Nutch 中剥离成为独立项目 HADOOP，到 2008 年 1 月，HADOOP 成为 Apache 顶级项目.
    狭义上来说，hadoop 就是单独指代 hadoop 这个软件，
    HDFS : 分布式文件系统
    MapReduce : 分布式计算系统
    广义上来说，hadoop 指代大数据的一个生态圈，包括很多其他的软件

1.hadoop 的历史版本介绍

1.x 版本系列:hadoop 版本当中的第二代开源版本，主要修复 0.x 版本的一些 bug 等
2.x 版本系列: 架构产生重大变化，引入了 yarn 平台等许多新特性
3.x 版本系列: 加入多 namenoode 新特性

hadoop 三大公司发型版本介绍

免费开源版本 apache:

http://hadoop.apache.org/
优点: 拥有全世界的开源贡献者，代码更新迭代版本比较快，
缺点: 版本的升级，版本的维护，版本的兼容性，版本的补丁都可能考虑不太周到，
apache 所有软件的下载地址(包括各种历史版本):
http://archive.apache.org/dist/

免费开源版本 hortonWorks:

https://hortonworks.com/
hortonworks 主要是雅虎主导 Hadoop 开发的副总裁，带领二十几个核心成员成立 Hortonworks，核心产品软件 HDP(ambari)，HDF 免费开源，并且提供一整套的 web 管理界面，供我们可以通过 web 界面管理我们的集群状态，web 管理界面软件 HDF 网址(http://ambari.apache.org/)

软件收费版本 ClouderaManager:

https://www.cloudera.com/
cloudera 主要是美国一家大数据公司在 apache 开源 hadoop 的版本上，通过自己公司内部的各种补丁，实现版本之间的稳定运行，大数据生态圈的各个版本的软件都提供了对应的版本，解决了版本的升级困难，版本兼容性等各种问题

hadoop 的架构模型(1.x，2.x 的各种架构模型介绍)

1.x 的版本架构模型介绍

文件系统核心模块:
NameNode: 集群当中的主节点，管理元数据 (文件的大小，文件的位置，文件的权限)，主要用于管理集群当中的各种数据
secondaryNameNode: 主要能用于 hadoop 当中元数据信息的辅助管理
DataNode: 集群当中的从节点，主要用于存储集群当中的各种数据
数据计算核心模块:
JobTracker: 接收用户的计算请求任务，并分配任务给从节点
TaskTracker: 负责执行主节点 JobTracker 分配的任务

2、2.x 的版本架构模型介绍

第一种:NameNode 与 ResourceManager 单节点架构模型
文件系统核心模块:

NameNode: 集群当中的主节点，主要用于管理集群当中的各种数据
secondaryNameNode: 主要能用于 hadoop 当中元数据信息的辅助管理
DataNode: 集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块:

ResourceManager: 接收用户的计算请求任务，并负责集群的资源分配
NodeManager: 负责执行主节点 APPmaster 分配的任务

第二种:NameNode 单节点与 ResourceManager 高可用架构模型
文件系统核心模块:

NameNode: 集群当中的主节点，主要用于管理集群当中的各种数据
secondaryNameNode: 主要能用于 hadoop 当中元数据信息的辅助管理
DataNode: 集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块:

ResourceManager: 接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分，通过 zookeeper 实现 ResourceManager 的高可用
NodeManager: 负责执行主节点 ResourceManager 分配的任务

第三种:NameNode 高可用与 ResourceManager 单节点架构模型
文件系统核心模块:

NameNode: 集群当中的主节点，主要用于管理集群当中的各种数据，其中 nameNode 可以有两个，形成高可用状态
DataNode: 集群当中的从节点，主要用于存储集群当中的各种数据
JournalNode: 文件系统元数据信息管理

数据计算核心模块:

ResourceManager: 接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分
NodeManager: 负责执行主节点 ResourceManager 分配的任务

第四种:NameNode 与 ResourceManager 高可用架构模型
文件系统核心模块:

NameNode: 集群当中的主节点，主要用于管理集群当中的各种数据，一般都是使用两个，实现 HA 高可用
JournalNode: 元数据信息管理进程，一般都是奇数个
DataNode: 从节点，用于数据的存储

数据计算核心模块:

ResourceManager:Yarn 平台的主节点，主要用于接收各种任务，通过两个，构建成高可用
NodeManager:Yarn 平台的从节点，主要用于处理 ResourceManager 分配的任务

2、appache 版本 hadoop 重新编译

2.1 为什么要编译 hadoop

由于 appache 给出的 hadoop 的安装包没有提供带 C 程序访问的接口, 所以我们在使用本地库 (本地库可以用来做压缩, 以及支持 C 程序等等) 的时候就会出问题, 需要对 Hadoop 源码包进行重新编译.

2.2 编译环境的准备

2.2.1：准备 linux 环境

准备一台 linux 环境, 内存 4G 或以上, 硬盘 40G 或以上, 我这里使用的是 Centos6.9 64 位的操作系统(注意：一定要使用 64 位的操作系统)

2.2.2：虚拟机联网, 关闭防火墙, 关闭 selinux

关闭防火墙命令：

service  iptables   stop
chkconfig   iptables  off

关闭 selinux
vim /etc/selinux/config

2.2.3：安装 jdk1.7

注意 hadoop-2.7.5 这个版本的编译, 只能使用 jdk1.7, 如果使用 jdk1.8 那么就会报错
查看 centos6.9 自带的 openjdk
rpm -qa | grep java
将所有这些 openjdk 全部卸载掉

rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64

注意：这里一定不要使用 jdk1.8, 亲测 jdk1.8 会出现错误
将我们 jdk 的安装包上传到 /export/softwares(我这里使用的是 jdk1.7.0_71 这个版本)
解压我们的 jdk 压缩包
统一两个路径

mkdir -p /export/servers
mkdir -p /export/softwares
cd /export/softwares
tar -zxvf jdk-7u71-linux-x64.tar.gz -C ../servers/

配置环境变量
vim /etc/profile

export JAVA_HOME=/export/servers/jdk1.7.0_71
export PATH=:$JAVA_HOME/bin:$PATH

让修改立即生效
source /etc/profile

2.2.4：安装 maven

这里使用 maven3.x 以上的版本应该都可以, 不建议使用太高的版本, 强烈建议使用 3.0.5 的版本即可
将 maven 的安装包上传到 /export/softwares
然后解压 maven 的安装包到 /export/servers

cd /export/softwares/
tar -zxvf apache-maven-3.0.5-bin.tar.gz -C ../servers/

配置 maven 的环境变量
vim /etc/profile

export MAVEN_HOME=/export/servers/apache-maven-3.0.5
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=:$MAVEN_HOME/bin:$PATH

让修改立即生效
source /etc/profile
解压 maven 的仓库
tar -zxvf mvnrepository.tar.gz -C /export/servers/
修改 maven 的配置文件

cd  /export/servers/apache-maven-3.0.5/conf
vim settings.xml

指定我们本地仓库存放的路径
添加一个我们阿里云的镜像地址, 会让我们下载 jar 包更快

 <mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>
    </mirror>
2.2.5：安装 findbugs

解压 findbugs
tar -zxvf findbugs-1.3.9.tar.gz -C ../servers/
配置 findbugs 的环境变量

vim /etc/profile

export JAVA_HOME=/export/servers/jdk1.7.0_75
export PATH=:$JAVA_HOME/bin:$PATH
export MAVEN_HOME=/export/servers/apache-maven-3.0.5
export PATH=:$MAVEN_HOME/bin:$PATH
export FINDBUGS_HOME=/export/servers/findbugs-1.3.9
export PATH=:$FINDBUGS_HOME/bin:$PATH

让修改立即生效
source /etc/profile

2.2.6：在线安装一些依赖包
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install lzo-devel zlib-devel gcc gcc-c++

bzip2 压缩需要的依赖包

yum install -y  bzip2-devel
2.2.7：安装 protobuf

解压 protobuf 并进行编译

cd  /export/softwares
tar -zxvf protobuf-2.5.0.tar.gz -C ../servers/
cd   /export/servers/protobuf-2.5.0
./configure
make && make install
2.2.8、安装 snappy
cd /export/softwares/
tar -zxf snappy-1.1.1.tar.gz  -C ../servers/
cd ../servers/snappy-1.1.1/
./configure
make && make install
2.2.9：编译 hadoop 源码

对源码进行编译

cd  /export/softwares
tar -zxvf hadoop-2.7.5-src.tar.gz  -C ../servers/
cd  /export/servers/hadoop-2.7.5

编译支持 snappy 压缩：
mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X
编译完成之后我们需要的压缩包就在下面这个路径里面

/export/servers/hadoop-2.7.5/hadoop-dist/target
退出移动版