关于后端:MapReduce的基础知识

1、什么是MapReduce

1. Hadoop MapReduce 是一个 分布式计算框架，用于轻松编写分布式应用程序，这些应用程序以牢靠，容错的形式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集）
2. MapReduce 是一种面向海量数据解决的一种指导思想，也是一种用于对大规模数据进行分布式计算的编程模型。

2、Map Reduce的优缺点

2.1 长处

• MapReduce易于编程： 它简略的实现一些接口，就能够实现一个分布式程序
• 良好的扩展性： 当你的计算资源不能失去满足的时候，你能够通过简略的减少机器来扩大它的计算能力。
• 高容错性： MapReduce设计的初衷就是使程序可能部署在便宜的PC机器上，这就要求它具备很高的容错性。比方其中一台机器挂了，它能够把下面的计算工作转移到另外一个节点上运行，不至于这个工作运行失败，而且这个过程不须要人工参加，而齐全是由Hadoop外部实现的。

• 适宜PB级以上海量数据的离线解决： 能够实现上千台服务器集群并发工作，提供数据处理能力。

  2.2 毛病

• 实时计算性能差： MapReduce 次要利用于离线作业，无奈做到秒级或者是亚秒级别的数据响应。
• 不能进行流式计算： 流式计算的输出数据是动静的，而MapReduce的输出数据集是动态的，不能动态变化。这是因为MapReduce本身的设计特点决定了数据源必须是动态的。
• 不善于DAG（有向无环图）计算
  多个应用程序存在依赖关系，后一个应用程序的输出为前一个的输入。在这种状况下，MapReduce并不是不能做，而是应用后，每个MapReduce作业的输入后果都会写入到磁盘，会造成大量的磁盘IO，导致性能十分的低下。

3、 MapReduce过程

一个残缺的MapReduce程序在分布式运行时有三类实例过程：
（1）MrAppMaster：负责整个程序的过程调度及状态协调。
（2）MapTask：负责Map阶段的整个数据处理流程。
（3）ReduceTask：负责Reduce阶段的整个数据处理流程。

4、MapReduce编程标准

• 用户编写的程序代码分成三个局部： Mapper、Reducer和Driver(客户端提交作业驱动程序)
• 用户自定义的Mapper和Reducer都要继承各自的父类。

Mapper阶段：

1. 用户自定义的Mapper要继承本人的父类
2. Mapper的输出数据是KV对的模式（KV的类型可自定义）
3. Mapper中的业务逻辑写在map()办法中
4. Mapper的输入数据是KV对的模式（KV的类型可自定义）
5. map()办法（MapTask过程）对每一个<K,V>调用一次

Reducer阶段：

1. 用户自定义的Reducer要继承本人的父类
2. Reducer的输出数据类型对应Mapper的输入数据类型，也是KV
3. Reducer的业务逻辑写在reduce()办法中
4. ReduceTask过程对每一组雷同k的<k,v>组调用一次reduce()办法

Driver： 形容的是提交Job对象须要的各种必要的信息。

MapReduce内置了很多默认属性，比方： 排序（key的字典序）、分组(reduce阶段key雷同的为一组，一组调用一次reduce解决)等，这些都和数据的K无关，所以说kv的类型数据确定是及其重要的。

5、罕用数据序列化类型