MapReduce中partitioner的作用

Partitioner决定maptask输出的数据交由哪个reducetask处理
默认处理:分发的key的hash值与reduce task取模
是可以自定义自己的partitioner类的,如果是手机号当key, 186开始的一组,130开始的一组,其他的一组
if(phone.startwith(“186”) return 2;
elif(phone.startwith(“130″) return 1;
else return 0
在main里指定reducer的partition为自己自定义的那个即可
同时也要自定义numreducetask为3

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

这个站点使用 Akismet 来减少垃圾评论。了解你的评论数据如何被处理