关于hbase:Hbase架构入门

38次阅读

共计 1721 个字符,预计需要花费 5 分钟才能阅读完成。

Hbase 结构图


Hbase 自身蕴含三局部,Zookeeper,HMaster,HRegionServer

  • Zookeeper:

1. 保障任何时候只有一个沉闷的 Master
2. 存储所有的 Region 的地址, 晓得哪个 Region 存储在哪台机器上
3. 时刻监控 RegionServer 的状态, 将 RegionServer 的高低线信息,RegionServer 不间接向 HMaster 汇报,加重 HMaster 的压力,通过 Zookeeoer 发送信息
4. 存储 Hbase 的元数据结构 (Schema), 晓得集群中有哪些 Table, 每个 Table 有哪些 Column Family

  • HMaster:

1. 为所有的 RegionServer 调配 Region
2. 负责 RegionServer 的负载平衡
3. 发现生效的 RegionServer, 重新分配下面的 Region
4.HDFS 的垃圾文件
5. 解决 Schema 申请 (表的创立, 删除, 批改, 列族的减少等)

  • HRegionServer: 负责数据的读写操作, 客户端间接和 RegionServer 交互

RegionServer 介绍

  • 一个 RegionServer 会有多个 Region,
  • 每个 Region 有多个 Store
  • 每个 Store 有多个 StoreFile(HFile)
  • 每个 Store 有一个 Memstore

客户端通过发申请到 RegionServer 端,写入的时候会先写入 WAL 日志中,其次会将数据写入 memstore 内存,当数据达到肯定大小后会 flush 成一个个的 StoreFile(HFile) 文件,当文件达到肯定数量后,通过 compaction 的操作合并成更大文件,这样数据读取会更快。

1)HRegion:

(1)、简介:Table 在行的方向上分隔为多个 Region,Region 是 HBase 中分布式存储和负载平衡的最小单元,即不同的 Region 能够分在不同的 RegionServer 下面,但同一个 Region 是不会拆分到多个 Server 下面的。随着数据的增多,某个列族的达到一个阈值就会分成两个新的 Region。构造:< 表名,startRowkey,创立工夫 >,由目录表(-ROOT-,.META.)记录该 Region 的 endRowkey
(2)、Store:

(1)简介:每一个 Region 由一个或则多个 Store 组成,至多是一个 Store,HBase 会把拜访的数据寄存在 Store 中,即每一个列族建一个 Store,如果有多个 ColumnFamily,就多多个 Store,一个 Store 由一个 MemStore 和 0 或则多个 StoreFile 组成。HBase 通过 Store 的大小判断是否须要切分 Region。

(2)MemStore:它是放在内存中的,保留批改的数据,即 key/values。当 MemStore 的大小达到肯定的阈值的时候(默认 128M),MemStore 会被 Flush 到文件,即生成一个快照 StoreFile,Flush 过程由一个线程实现。

(3)StoreFile:StoreFile 底层是 HFile,HFile 是 Hadoop 的二进制格式文件,

(2)HLog:WAL 文件,用来劫难复原应用,HLog 记录数据的所有变更,一旦 RegionServer 宕机,就从 HLog 中进行复原,HLog 文件就是一个一般的 Hadoop Sequence File,Sequence File 记录了写入数据的归属信息,除了 Table 和 Region 名字外,还同时包含了 Sequence Number 和 TimeStamp,Sequence File 的 value 是 HBase 的 key/value 对象,即对应的 HFile 中的 key/value。

Hbase 中的 Compaction

其实 Compaction 操作属于资源密集型操作特地是 IO 密集型,这点前面也会提及到,Compaction 实质上其实就是就义了局部 IO,以换取绝对稳固的读取性能。
compaction 的核心作用是:通过合并大量小文件为一个大文件来缩小 hfile 的总数量,进而保障读提早的稳固。

HBase Compaction 分为两种:Minor Compaction 与 Major Compaction,通常咱们简称为小合并、大合并


正文完
 0