Hbase 结构图
Hbase 自身蕴含三局部,Zookeeper,HMaster,HRegionServer
- Zookeeper:
1. 保障任何时候只有一个沉闷的 Master
2. 存储所有的 Region 的地址, 晓得哪个 Region 存储在哪台机器上
3. 时刻监控 RegionServer 的状态, 将 RegionServer 的高低线信息,RegionServer 不间接向 HMaster 汇报，加重 HMaster 的压力，通过 Zookeeoer 发送信息
4. 存储 Hbase 的元数据结构 (Schema), 晓得集群中有哪些 Table, 每个 Table 有哪些 Column Family
- HMaster:
1. 为所有的 RegionServer 调配 Region
2. 负责 RegionServer 的负载平衡
3. 发现生效的 RegionServer, 重新分配下面的 Region
4.HDFS 的垃圾文件
5. 解决 Schema 申请 (表的创立, 删除, 批改, 列族的减少等)
- HRegionServer: 负责数据的读写操作, 客户端间接和 RegionServer 交互
RegionServer 介绍
- 一个 RegionServer 会有多个 Region,
- 每个 Region 有多个 Store
- 每个 Store 有多个 StoreFile(HFile)
- 每个 Store 有一个 Memstore
客户端通过发申请到 RegionServer 端，写入的时候会先写入 WAL 日志中，其次会将数据写入 memstore 内存，当数据达到肯定大小后会 flush 成一个个的 StoreFile(HFile) 文件，当文件达到肯定数量后，通过 compaction 的操作合并成更大文件，这样数据读取会更快。
1）HRegion：
（1）、简介：Table 在行的方向上分隔为多个 Region，Region 是 HBase 中分布式存储和负载平衡的最小单元，即不同的 Region 能够分在不同的 RegionServer 下面，但同一个 Region 是不会拆分到多个 Server 下面的。随着数据的增多，某个列族的达到一个阈值就会分成两个新的 Region。构造：< 表名，startRowkey，创立工夫 >，由目录表（-ROOT-，.META.）记录该 Region 的 endRowkey
（2）、Store：
（1）简介：每一个 Region 由一个或则多个 Store 组成，至多是一个 Store，HBase 会把拜访的数据寄存在 Store 中，即每一个列族建一个 Store，如果有多个 ColumnFamily，就多多个 Store，一个 Store 由一个 MemStore 和 0 或则多个 StoreFile 组成。HBase 通过 Store 的大小判断是否须要切分 Region。
（2）MemStore：它是放在内存中的，保留批改的数据，即 key/values。当 MemStore 的大小达到肯定的阈值的时候（默认 128M），MemStore 会被 Flush 到文件，即生成一个快照 StoreFile，Flush 过程由一个线程实现。
（3）StoreFile：StoreFile 底层是 HFile，HFile 是 Hadoop 的二进制格式文件，
（2）HLog：WAL 文件，用来劫难复原应用，HLog 记录数据的所有变更，一旦 RegionServer 宕机，就从 HLog 中进行复原，HLog 文件就是一个一般的 Hadoop Sequence File，Sequence File 记录了写入数据的归属信息，除了 Table 和 Region 名字外，还同时包含了 Sequence Number 和 TimeStamp，Sequence File 的 value 是 HBase 的 key/value 对象，即对应的 HFile 中的 key/value。
Hbase 中的 Compaction
其实 Compaction 操作属于资源密集型操作特地是 IO 密集型，这点前面也会提及到，Compaction 实质上其实就是就义了局部 IO，以换取绝对稳固的读取性能。
compaction 的核心作用是：通过合并大量小文件为一个大文件来缩小 hfile 的总数量，进而保障读提早的稳固。
HBase Compaction 分为两种：Minor Compaction 与 Major Compaction，通常咱们简称为小合并、大合并