简介： 大数据是指无奈在肯定工夫范畴内用惯例软件工具进行捕获、治理和解决的数据汇合，是须要新解决模式能力具备更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术则次要用来解决海量数据的存储和剖析。

一、大数据简介

1、根底概念

大数据是指无奈在肯定工夫范畴内用惯例软件工具进行捕获、治理和解决的数据汇合，是须要新解决模式能力具备更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术则次要用来解决海量数据的存储和剖析。

2、特点剖析

大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

3、倒退过程

Google在2004年前后发表的三篇论文，别离是文件系统GFS、计算框架MapReduce、NoSQL数据库系统BigTable。海量数据文件，剖析计算，并存储，确立了大数据的基本原理和思路。

蠢才程序员DougCutting，也是Lucene、Nutch我的项目发起人。依据Google论文原理初步实现相似GFS和MapReduce的性能，起初倒退成为赫赫有名的Hadoop。

再起初，Hadoop通过高速的倒退，曾经造成一个生态体系，基于Hadoop之上，有实时计算，离线计算，NoSQL存储，数据分析，机器学习等一系列内容。

从这一系列事件倒退看技术法则：Google业务实际中创造性的提出论文作为根底，业务的成长和需要，迫使技术一直更新换代。所以业务是技术一直倒退的要害。

二、Hadoop框架

1、Hadoop简介

留神这里基于Hadoop2.X版本形容。后续如果没有特地阐明，都是2.7版本。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构；

提供海量的数据存储能力，和剖析计算能力；

作为Apache的顶级我的项目，蕴含泛滥子项目是一个生态圈；

2、框架特点

可靠性：Hadoop按位存储和存储多个数据正本，提供牢靠服务；

扩展性：Hadoop利用计算机集群调配数据并实现计算工作，能够不便地扩大到数以千计的节点中；

高效性：基于MapReduce思维，为海量的数据提供高效的并行计算；

容错性：主动保留数据的多个正本，并且可能主动将失败的工作重新分配；

3、组成构造

HDFS存储

NameNode

存储文件相干的元数据，例如：文件名，文件目录，创立工夫，权限正本数等。

DataNode

文件系统存储文件块数据，以及和数据块ID的映射关系。

Yarn调度

负责资源管理和作业调度，将零碎资源分配给在Hadoop集群中运行的各种应用程序，并调度要在不同集群节点上执行的工作。

MapReduce计算

MapReduce将计算过程分为两个阶段：Map阶段并行处理输出数据，Reduce阶段对Map后果进行汇总。

三、大数据技术栈

1、Kafka中间件

开源组织： Apache软件

利用场景：

Kafka是一种高吞吐量的分布式公布订阅音讯零碎，通过磁盘数据结构提供音讯的长久化，这种构造对于即便数以TB的音讯存储也可能放弃长时间的稳定性能。高吞吐量：即便是十分一般的硬件Kafka也能够反对每秒数百万的音讯。反对通过Kafka服务器和消费机集群来分区音讯。反对Hadoop并行数据加载。

2、Flume日志零碎

开源组织： Cloudera公司

利用场景：

Flume是Cloudera提供的一个高可用的，高牢靠的，分布式的海量日志采集、聚合和传输的零碎，Flume反对在日志零碎中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简略解决，并写到各种数据接受方（可定制）的能力。

3、Sqoop同步工具

开源组织： Apache软件

利用场景：

Sqoop是一款开源的工具，次要用于在Hadoop、Hive与传统的数据库例如：MySql间进行数据的传递，能够将一个关系型数据库（例如：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS中，也能够将HDFS的数据导进到关系型数据库中。

4、HBase数据库

开源组织： Apache软件

利用场景：

HBase是一个分布式的、面向列的开源数据库，HBase在Hadoop之上提供了相似于Bigtable的能力。HBase是Apache的Hadoop我的项目的子项目。HBase不同于个别的关系数据库，它是一个适宜于非结构化数据存储的数据库，并且基于列的而不是基于行的存储模式。

5、Storm实时计算

开源组织： Apache软件

利用场景：

Storm用于实时计算，对数据流做间断查问，在计算时就将后果以流的模式输入给用户。Storm绝对简略，能够与任何编程语言一起应用。

6、Spark计算引擎

开源组织： Apache软件

利用场景：

Spark是专为大规模数据处理而设计的疾速通用的计算引擎，领有Hadoop的MapReduce所具备的长处；但不同于MapReduce的是——Job两头输入后果能够保留在内存中，从而不再须要读写HDFS，因而Spark能更好地实用于数据挖掘与机器学习等须要迭代的MapReduce的算法。Spark是在Scala 语言中实现的，它将Scala用作其应用程序框架。

7、R语言

开源组织：微软公司

利用场景：

R是用于统计分析、绘图的语言和操作环境。R是属于GNU零碎的一个自在、收费、源代码凋谢的软件，它是一个用于统计计算和统计制图的优良工具。

8、Hive数仓工具

开源组织：脸书公司

利用场景：

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种能够存储、查问和剖析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查问性能，能将SQL语句转变成MapReduce工作来执行。

9、Oozie组件

开源组织： Apache软件

利用场景：

Oozie是一个治理Hdoop作业（job）的工作流程调度管理系统。

10、Azkaban组件

开源组织： Linkedin公司

利用场景：

批量工作流任务调度器。用于在一个工作流内以一个特定的程序运行一组工作和流程。Azkaban定义了一种KV文件格式来建设工作之间的依赖关系，并提供一个易于应用的web用户界面保护和跟踪的工作流。

11、Mahout组件

开源组织： Apache软件

利用场景：

Mahout提供一些可扩大的机器学习畛域经典算法的实现，旨在帮忙开发人员更加方便快捷地创立智能应用程序。Mahout蕴含许多实现，包含聚类、分类、举荐过滤、频繁子项开掘。

12、ZooKeeper组件

开源组织： Apache软件

利用场景：

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的性能包含：配置保护、域名服务、分布式同步、组服务等。

四、技术栈分类

存储体系：Hadoop-HDFS、HBase、MongoDB、Cassandra

计算体系：Hadoop-MapReduce、Spark、Storm、Flink

数据同步：Sqoop、DataX

资源调度：YARN、Oozie、Zookeeper

日志收集：Flume、Logstash、Kibana

剖析引擎：Hive、Impala、Presto、Phoenix、SparkSQL

集群监控：Ambari、Ganglia、Zabbix

五、源代码地址

GitHub·地址https://github.com/cicadasmile/big-data-parentGitEE·地址https://gitee.com/cicadasmile/big-data-parent