EC（纠删码）是一种编码技术，在HDFS之前，这种编码技术在便宜磁盘冗余阵列（RAID）中利用最宽泛(RAID介绍：大数据准备常识-存储磁盘、磁盘冗余阵列RAID介绍)，RAID通过条带化技术实现EC，条带化技术就是一种主动将 I/O 的负载平衡到多个物理磁盘上的技术，原理就是将一块间断的数据分成很多小局部并把他们别离存储到不…

因为HBase的数据存储应用的是HDFS，而HDFS是不反对随机读写的，所以HBase的数据写入采纳LSM算法。LSM算法个别会分内存和磁盘两局部存放数据，在HBase的实现中，内存局部称作MemStore，采纳的是跳跃表实现，保护了一个有序的KeyValue汇合，磁盘局部有0到多个外部KeyValue有序的HFile文件组成。这些HFile文件，就是一些机…

逻辑概念上，数据库表是一种二维的数据结构，具备行和列。但在内存、磁盘等物理存储上，数据个别是须要线性程序组织的。所以为了存储数据库表中的数据，有了两种常见的组织形式：基于行的存储和基于列的存储。

Hadoop原生的特点是解决大规模数据的离线批量解决场景，HDFS具备弱小存储能力，然而并没有提供很强的数据查问机制。HBase组件则是基于HDFS文件系统之上提供相似于BigTable服务。

集群搭建起来，是不是就高枕无忧了呢？如果只是用来学习或者做做试验，貌似够了，但生产环境中还不够，因为咱们还没有对集群进行测试，是不是能达到咱们预期。

明天在整顿笔记的时候，发现了好几篇长期记录都是记录的集群间文件复制须要留神的中央，尽管记录的货色和重点不同，然而外围的货色都是distcp相干的，所以，感觉还是有点必要归总一下，这篇文章的内容次要是一点细节问题，更多的是偏重在遇到疑难的时候如何疾速去找到本人的答案参考地址

YARN 是 Hadoop2.x 版本中的一个新个性。在1.x版本中，MapReduce版本承当了过重的工作，包含资源调度，而到2.x版本中，则将资源调度这部分独立进去了，就是Yarn，这使得hadoop更加巩固，领有更好的扩展性，可用性，可靠性。

序列化就是把内存中的对象，转换成字节序列，或这是其余传入协定，而后进行网络传输或者长久化到磁盘中。反序列化就是一个相同的过程，将收到的字节序列或者磁盘中长久化的数据，转换成内存中的对象。

就是将 MapTask 输入的后果数据，依照 Partitioner 分区制订的规定分发给ReduceTask执行，并在散发的过程中，对数据进行分区和排序。

一个残缺的MapReduce程序在分布式运行中蕴含两类实例过程：1）MrAppMaster ：负责整个程序运行过程的调度及状态协调2）YarnChild：负责Map阶段的整个数据处理流程3）YarnChild：负责Reduce阶段的整个数据处理流程。MapTask和ReduceTask都是跑在YarnChild的过程中，当然是各自的YarnChild过程。