关于hive:关于在hive任务中number-of-reducers的探讨

55次阅读

共计 435 个字符,预计需要花费 2 分钟才能阅读完成。

1.在默认状况下(set mapreduce.job.reduces=-1), 理论运行计算过程中 reducer 的数量会由所读取文件的大小来决定。文件默认大小是 256M,即每 256M 对应一个 reduce。比方当文件大小为 1G 时,会启用 4 个 reducer 解决数据;当文件大小为 400M 时,会启用 2 个 reducer 来解决。

2. 在进行分区或者 sort by 操作时,须要设置 mapreduce.job.reduces 的数量,此时理论启用的 reducer 的个数等于设置值。

3.1 在进行分桶操作的状况下,当 set mapreduce.job.reduces=- 1 或 0 时,此时理论启用 rediucer 的数量会等于桶的个数 i。

3.2 在进行分桶操作的状况下,当桶的个数是 i 时,并且 0 < set mapreduce.job.reduces<= i 时,启用 reducer 的数量正好是 i 的因数。在 i 相邻的两个因数之间,启用 reducer 的个数是不变的。详见下表:

当 i 为偶数时:

当 i 为奇数时:

关键词:大数据培训

正文完
 0