HBase Compaction

1.Compaction作用
  • 合并小文件，缩小文件数，稳固随机读提早
  • 进步数据的本地化率
  • 革除有效数据，缩小数据存储量
HFile越多，查问须要的IO操作也会变多，读提早越来越大。Compaction稳固HFile文件个数，缩小IO操作。

本地化率越高，hdfs上拜访数据时提早就越小，本地化率低，拜访数据就须要通过网络拜访，提早必然增大，Compaction后会将大文件在以后DataNode上保留一个正本，进步本地化率。Major Compaction能够将以后region的本地化率进步到100%

  • Compaction的副作用

    • 带宽压力和短时间的IO压力，小文件读取须要IO，传输须要带宽。
    • 读取后写新的文件须要有3个正本
2.Compaction组成
从一个Region上的一个Store中选取局部HFile文件进行合并，从这些待合并的文件中一次读取出KeyValue,再由小到大排序后写入一个新的文件，由这个新的文件对外提供服务

  • Minor Compaction

    • 选取局部小的、相邻的HFile合并成一个HFile,造成一个更大的HFile（TTL过期数据也会被清理）

  • Major Compaction

    • 将一个Store中所有HFile合并成一个HFile,会清理被删除的数据、TTL过期数据、版本号超过设定版本号的数据
    • Major Compaction持续时间较长，耗费大量系统资源，影响大
    • 生产举荐敞开主动触发的Major Compaction，在业务低峰期手动触发
3.Compaction根本流程
  • 先实现flush操作（后续补充）、周期性的Compaction查看操作都会触发Compaction
  • 抉择适合的HFile合并
  • 筛选适合的线程池
  • 执行HFile文件合并
Compaction由独立的线程解决，该线程会从对应的store中抉择适合的HFile进行合并，选文件有许多条件。现实状况是选取那些IO负载中、文件小的文件集
4.Compaction触发机会

  • MemStore Flush

    MemStore Flush产生HFile文件，数据一直写入，就会有更多的HFile文件产生，每次flush完后都会对以后store中的hfile数量进行判断

    一旦总文件数大于 hbase.hstore.compactionThreshold，就会触发compaction

    compaction都是以store为单位，flush触发条件下，整个region的store都会执行compact操作

    一个region可能在短时间内执行屡次compaction（这是十分不好的景象）

  • 后盾线程定期检查

    • 默认7天左右一次major compaction,敞开需将参数 hbase.hregion.majorcompection=0

  • 手动触发

    • 防止major compaction影响业务的读写性能或是硬盘容量不够。低峰期手动执行major compaction（咱们的业务就是采纳的这种形式）
5.HFile汇合选取策略
  1. 排除正在Compaction的文件以及比这些文件更新的文件
  2. 排除某些过大的文件，大文件会产生大量IO
  3. 通过1 2 留下来的文件就是Compaction的候选文件

  4. 判断是否满足major compaction的条件，只有满足一下任意一条就会执行major compaction，对全副文件进行合并

    1. 用户强制执行major compaction
    2. 长时间没有进行major compaction且候选文件数小于10

      长时间 = 上次执行major compaction的工夫早于以后工夫-hbase.hregion.majorcompection

    3. Store中含有reference文件，reference是region决裂产生的临时文件，在compaction过程中必须清理

若满以上任意一条件，文件抉择就完结了，间接合并。若不满足，则为minor compaction。

  1. minor compaction的文件选取策略：

    1. RatioBasedCompactionPolicy（从老到新选取文件）
    2. ExploringCompactionPolicy（选取到适合的文件后就进行选取，缩小IO操作）
6.筛选适合的线程池

CompactSplitThread类负责接管compaction申请和split申请。

不同线程池如下：    largeCompations        解决大compaction    smallCompations        解决下小compaction    splits        解决所有split申请

将申请独立解决，进步零碎解决性能。依据阈值来决定是否为大或小compaction

7.HFile文件合并执行
  • 选出了待合并的HFile和适合的解决线程，执行合并流程
  1. 读取待合并HFile的keyValue，进行归并排序，写到./tmp目录下的临时文件中
  2. 将临时文件挪动到对应的store目录中
  3. 将Compaction的输出文件门路和输入文件封装为kv写入hlog日志中，打上compaction标记，强制执行sync
  4. 将对应Store数据目录下的Compaction输出文件全副删除

至此实现了一次Compaction操作