适用范围 本文涉及到的配置项主要针对 Hadoop 2.x，Spark 2.x。 MapReduce 官方文档 [链接]左下角: mapred-default.xml 配置项举例 mapreduce.job.reduce.slowstart.completedmaps 当 Map Task 完成的比例达到该…

经常被报表折磨的人一定听过这样一句话：“新人不识愁滋味，爱接需求，爱接需求，为做报表晕转头，一张能做一个周。“

一、前置条件 Hadoop 的运行依赖 JDK，需要预先安装，安装步骤见： Linux 下 JDK 的安装 二、配置免密登录 Hadoop 组件之间需要基于 SSH 进行通讯。 2.1 配置映射 配置 ip 地址和主机名映射： {代码…} 2.2 生成…

其中，第一次回车是让KEY存于默认位置，以方便后续的命令输入。第二次和第三次是确定passphrase，相关性不大。两次回车输入完毕以后，如果出现类似于下图所示的输出，即成功：图片描述

Hadoop MapReduce 是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到 Hadoop 集群上用于并行处理大规模的数据集。

什么是MapReduce? 什么是MapReduce设计模式？ 是使用MapReduce模式解决数据处理问题的通用解决模板。 学习资料 [链接] 《MapReduce设计模式》

Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.0 引入的集群资源管理系统。用户可以将各种服务框架部署在 YARN 上，由 YARN 进行统一地管理和资源分配。

1、ERROR: Unable to write in /usr/local/hadoop/logs. Aborting.权限不足，需要将读写权限传递给日志目录

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么，和自建Hadoop平台有什么区别。

“今朝有酒今朝醉，报表不做不能睡，借问酒家何处有，报表还得编一宿”，这句带有些许幽默感的打油诗背后，却是我从业多年的心酸历程，没错，我就是你们口中做报表的哥哥——表哥。