标签： mapreduce
-
MapReduce设计模式之数据组织模式
分层结构模式 应用场景 将基于行的数据转化成分层格式，如JSON。可以用在文章和评论的关系上等等。 代码实现 …
-
MapReduce设计模式之过滤模式
在Mapper阶段，用正则表达式对值进行过滤。在Ruducer阶段，生成double类型的随机数，判断是否小于…
-
MapReduce设计模式之概要设计模式
什么是概要设计模式 概要分析师将相似数据分组到一起并执行类似统计计算、索引生成或简单计数等后续的分析操作。 概…
-
MapReduce中partitioner的作用
Partitioner决定maptask输出的数据交由哪个reducetask处理默认处理：分发的key的ha…
-
HBase二级索引方案
HBase二级索引方案 [TOC] 使用HBase Coprocessor方案 测试案例需求：在原表LJK_T…
-
Hadoop的搭建和第一个Hadoop小项目单词计数
Hadoop的搭建 我自己是在windows10上搭建的hadoop。 参考资料如下: 1.hadoop详细安…
-
使用Python操作Hadoop，Python-MapReduce
本次我们来讨论如何使用Python操作HDFS，进行文件上传，下载，查看文件夹，以及如何使用Python进行M…
-
windows调试hadoop-mapreduce任务踩坑记录（使用idea）
首先准备Hadoop连接驱动，放到任意一个文件夹中，并将其bin目录写入path环境环境变量，另取其中的had…
-
MapReduce精髓
MapReduce是一种重视容错性的分布式并行计算模式，它把分布式并行计算分为map和reduce两个阶段：