MapReduce中partitioner的作用

30次阅读

共计 265 个字符,预计需要花费 1 分钟才能阅读完成。

Partitioner 决定 maptask 输出的数据交由哪个 reducetask 处理
默认处理:分发的 key 的 hash 值与 reduce task 取模
是可以自定义自己的 partitioner 类的,如果是手机号当 key,186 开始的一组,130 开始的一组,其他的一组
if(phone.startwith(“186”) return 2;
elif(phone.startwith(“130″)return 1;
else return 0
在 main 里指定 reducer 的 partition 为自己自定义的那个即可
同时也要自定义 numreducetask 为 3

正文完
 0