分类： hadoop
-
YARN架构简记
HA：RM启动时会向zk的/mrstore路径下写入lock文件，写入成功的则为active RM，否则为st…
-
HDFS架构
读写：客户端通过命名空间发请求，可以无感知的找到active NN，active NN所做操作会保存在edit…
-
从数据谈起存储/计算/分布式
分片，元数据hash(事先分多)，range(hbase 热点)，一致性hash(不推荐，写不好)一般三个副本…
-
HDFS Architecture
HDFS(Hadoop Distributed File System)是一个分布式文件系统，它具有很高的容错…
-
windows调试hadoop-mapreduce任务踩坑记录（使用idea）
首先准备Hadoop连接驱动，放到任意一个文件夹中，并将其bin目录写入path环境环境变量，另取其中的had…
-
用于大数据测试、学习的测试数据
近期在做一个数据报表的项目，原数据在mysql中，现数据量上百万后，整个报表无法查询。故学习hadoop、ky…
-
全面了解大数据“三驾马车”的开源实现
3.DataNode 负责文件数据的存储和读写操作，HDFS 将文件数据分割成若干数据块（Block），每个 …
-
Hadoop小文件解决方案-基于文件整合的解决方案
通过研究一些不太常用的替代方案来解决MapReduce性能问题以及选择解决方案时要考虑的因素。 解决MapRe…
-
Hadoop小文件解决方案-基于NameNode内存和MapReduce性能解决方案
在第一篇文章中，我讨论了什么构成了一个小文件，以及为什么Hadoop存在小文件问题。我将一个小文件定义为小于H…