一、Shuffle 机制
1）Map 办法之后 Reduce 办法之前这段处理过程叫 Shuffle
2）Map 办法之后，数据首先进入到分区办法，把数据标记好分区，而后把数据发送到环形缓冲区；环形缓冲区默认大小 100m，环形缓冲区达到 80% 时，进行溢写；溢写前对数据进行排序，排序依照对 key 的索引进行字典程序排序，排序的伎俩快排；溢写产生大量溢写文件，须要对溢写文件进行归并排序；对溢写的文件也能够进行 Combiner 操作，前提是汇总操作，求平均值不行。最初将文件依照分区存储到磁盘，期待 Reduce 端拉取。
3）每个 Reduce 拉取 Map 端对应分区的数据。拉取数据后先存储到内存中，内存不够了，再存储到磁盘。拉取完所有数据后，采纳归并排序将内存和磁盘中的数据都进行排序。在进入 Reduce 办法前，能够对数据进行分组操作。
关键词：大数据培训