摘要：HBase是Hadoop Database的简称，是建设在Hadoop文件系统之上的分布式面向列的数据库，它具备高牢靠、高性能、面向列和可伸缩的个性，提供疾速随机拜访海量数据能力。

本文分享自华为云社区《Apache HBase MTTR 优化实际》，作者： pippo。

HBase介绍

HBase是Hadoop Database的简称，是建设在Hadoop文件系统之上的分布式面向列的数据库，它具备高牢靠、高性能、面向列和可伸缩的个性，提供疾速随机拜访海量数据能力。

HBase采纳Master/Slave架构，由HMaster节点、RegionServer节点、ZooKeeper集群组成，底层数据存储在HDFS上。

整体架构如图所示：

HMaster次要负责：

  • 在HA模式下，蕴含主用Master和备用Master。
  • 主用Master：负责HBase中RegionServer的治理，包含表的增删改查；RegionServer的负载平衡，Region散布调整；Region决裂以及决裂后的Region调配；RegionServer生效后的Region迁徙等。
  • 备用Master：当主用Master故障时，备用Master将取代主用Master对外提供服务。故障复原后，原主用Master降为备用。

RegionServer次要负责：

  • 寄存和治理本地HRegion。
  • RegionServer负责提供表数据读写等服务，是HBase的数据处理和计算单元，间接与Client交互。
  • RegionServer个别与HDFS集群的DataNode部署在一起，实现数据的存储性能。读写HDFS，治理Table中的数据。

ZooKeeper集群次要负责：

  • 寄存整个 HBase集群的元数据以及集群的状态信息。
  • 实现HMaster主从节点的Failover。

HDFS集群次要负责：

  • HDFS为HBase提供高牢靠的文件存储服务，HBase的数据全副存储在HDFS中。

构造阐明：

Store

  • 一个Region由一个或多个Store组成，每个Store对应图中的一个Column Family。

MemStore

  • 一个Store蕴含一个MemStore，MemStore缓存客户端向Region插入的数据，当RegionServer中的MemStore大小达到配置的容量下限时，RegionServer会将MemStore中的数据“flush”到HDFS中。

StoreFile

  • MemStore的数据flush到HDFS后成为StoreFile，随着数据的插入，一个Store会产生多个StoreFile，当StoreFile的个数达到配置的阈值时，RegionServer会将多个StoreFile合并为一个大的StoreFile。

HFile

  • HFile定义了StoreFile在文件系统中的存储格局，它是以后HBase零碎中StoreFile的具体实现。

HLog（WAL）

  • HLog日志保障了当RegionServer故障的状况下用户写入的数据不失落，RegionServer的多个Region共享一个雷同的HLog。

HBase提供两种API来写入数据。

  • Put：数据间接发送给RegionServer。
  • BulkLoad：间接将HFile加载到表存储门路。

HBase为了保证数据可靠性，应用WAL（Write Ahead Log）来保证数据可靠性。它是HDFS上的一个文件，记录HBase中数据的所有更改。所有的写操作都会先保障将数据写入这个文件后，才会真正更新MemStore，最初写入HFile中。如果写WAL文件失败，则操作会失败。在失常状况下，不须要读取WAL文件，因为数据会从MemStore中长久化为HFile文件。然而如果RegionServer在长久化MemStore之前解体或者不可用，零碎依然能够从WAL文件中读取数据，回放所有操作，从而保证数据不失落。

写入流程如图所示：

默认状况下RegionServer上治理的所有HRegion共享同一个WAL文件。WAL文件中每个记录都包含相干Region的信息。当关上Region时，须要回放WAL文件中属于该Region的记录信息。因而，WAL文件中的记录信息必须按Region进行分组，以便能够回放特定Region的记录。按Region分组WAL的过程称为WAL Split。

WAL Split由HMaster在集群启动时实现或者在RegionServer敞开时由ServershutdownHandler实现。在给定的Region再次可用之前，须要复原和回放所有的WAL文件。因而在数据恢复之前，对应的Region无奈对外服务。

HBase启动时，Region调配简要调配流程如下：

  • HMaster启动时初始化AssignmentManager。
  • AssignmentManager通过hbase:meta表查看以后Region调配信息。
  • 如果Region调配仍然无效（Region所在RegionServer仍然在线），则保留调配信息。
  • 如果Region调配有效，调用LoadBalancer来进行重调配。
  • 调配实现后更新hbase:meta表。

本文次要关注集群重新启动和复原相干内容，着重形容相干优化，缩小HBase复原时长。

RegionServer故障复原流程

当HMaster检测到故障时，会触发SCP（Server Crash Procedure）流程。SCP流程包含以下次要步骤：

  • HMaster创立WAL Split工作，用于对属于解体RegionServer上Region进行记录分组。
  • 将原属于解体RegionServer上Region进行重调配，调配给失常RegionServer。
  • 失常RegionServer执行Region上线操作，对须要复原数据进行回放。

故障复原常见问题

HMaster期待Namespace表超时终止

当集群进行重启时，HMaster进行初始化会找到所有的异样RegionServer（Dead RegionServer）并开始SCP流程，并持续初始化Namespace表。

如果SCP列表中存在大量的RegionServer，那么Namespace表的调配将可能被提早并超过配置的超时工夫（默认5分钟），而这种状况在大集群场景下是最常见的。为长期解决该问题，经常将默认值改大，然而必不能保障肯定会胜利。

另外一种形式是在HMaster上启用表来防止此问题（hbase.balancer.tablesOnMaster=hbase:namespace)，HMaster会优先将这些表进行调配。然而如果配置了其它表也能够调配到HMaster或者因为HMaster性能问题，这将无奈做到100%解决此问题。此外在HBase 2.X版本中也不举荐应用HMaster来启用表。解决这个问题的最佳办法是反对优先表和优先节点，当HMaster触发SCP流程时，优先将这些表调配到优先节点上，确保调配的优先级，从而齐全打消此问题。

批量调配时RPC超时

HBase专门线性可扩展性而设计。如果集群中的数据随着表减少而增多，集群能够很容易扩大增加RegionServer来治理表和数据。例如：如果一个集群从10个RegionServer扩大到20个RegionServer，它在存储和解决能力方面将会减少。

随着RegionServer上Region数量的减少，批量调配RPC调用将会呈现超时（默认60秒）。这将导致从新进行调配并最终对调配上线工夫产生重大影响。

在10个RegionServer节点和20个RegionServer节点的测试中，RPC调用别离破费了约60秒和116秒。对于更大的集群来说，批量调配无奈一次胜利。次要起因在于对ZooKeeper进行大量的读写操作和RPC调用，用来创立OFFLINE ZNode节点，创立正在复原的Region ZNode节点信息等。

复原可扩展性测试

在10到100个节点的集群测试中，咱们察看到复原工夫随着集群规模的增大而线性减少。这意味着集群越大，复原所需的工夫就越多。特地是当要复原WAL文件时，复原工夫将会十分大。在100个节点的集群中，通过Put申请写入数据的状况下，复原须要进行WAL Split操作，发现须要100分钟能力从集群解体中完全恢复。而在雷同规模的集群中，如果不写入任何数据大概须要15分钟。这意味着85%以上的工夫用于WAL Split操作和回放用于复原。

上面咱们将分析测试过程中发现的瓶颈在哪里？

复原耗时剖析

HDFS负载

在10个节点的HBase集群上，通过JMX来获取HDFS的RPC申请监控信息，发现在启动阶段有1200万读取RPC调用。

其中GetBlockLocationNumOps：380万、GetListingNumOps：13万、GetFileInfoNumOps：840万。

当集群规模达到100个时，RPC调用和文件操作将会十分大，从而对HDFS负载造成很大压力，成为瓶颈。可能因为以下起因导致HDFS写入失败、WAL Split和Region上线迟缓超时重试。

  • 微小的预留磁盘空间。
  • 并发拜访达到DataNode的xceiver的限度。

HMaster负载

HMaster应用基于ZooKeeper的分配机制时，在Region上线过程中HMaster会创立一个OFFLINE ZNode节点，RegionServer会将该ZNode更新为OPENING和OPENED状态。对于每个状态变动，HMaster都会进行监听并解决。

对于100个节点的HBase集群，大略将会有6，000，000个ZNode创立和更新操作和4,000,000个监听事件要进行解决。

ZooKeeper的监听事件告诉解决是程序的，旨在保障事件的程序。这种设计在Region锁获取阶段将会导致提早。在10个节点的集群中发现等待时间为64秒，而20节点的集群中等待时间为111秒。

GeneralBulkAssigner 在批量发送OPEN RPC申请到RegionServer之前会获取相干Region的锁，再收到RegionServer的OPEN RPC申请响应时才会开释该锁。如果RegionServer再解决批量OPEN RPC申请时须要工夫，那么在收到确认响应之前GeneralBulkAssigner将不会开释锁，其实局部Region曾经上线，也不会独自解决这些Region。

HMaster依照程序创立OFFLINE ZNode节点。察看发现在执行批量调配Region到RegionServer之前将会有35秒的提早来创立ZNode。

采纳不依赖ZooKeeper的分配机制将会缩小ZooKeeper的操作，能够有50%左右的优化。HMaster仍然会协调和解决Region的调配。

晋升WAL Split性能

长久化FlushedSequenceId来减速集群重启WAL Split性能(HBASE-20727)

ServerManager有每个Region的flushedSequenceId信息，这些信息被保留在一个Map构造中。咱们能够利用这些信息来过滤不须要进行回放的记录。然而这个Map构造并没有被长久化，当集群重启或者HMaster重启后，每个Region的flushedSequenceId信息将会失落。

如果这些信息被长久化那么即便HMaster重启，这些仍然存在可用于过滤WAL记录，放慢复原记录和回放。‘hbase.master.persist.flushedsequenceid.enabled’ 可用于配置是否开启此性能。flushedSequenceId信息将会定时长久化到如下目录<habse root dir>/.lastflushedseqids。能够通过参数’hbase.master.flushedsequenceid.flusher.interval’ 来配置长久化距离，默认为3小时。

留神：此个性在HBase 1.X版本不可用。

改善WAL Split在故障切换时稳定性(HBASE-19358)

在WAL记录复原期间，WAL Split工作将会将RegionServer上的所有待复原记录输入文件关上。当RegionServer上治理的Region数量较多时将会影响HDFS，须要大量的磁盘保留空间然而磁盘写入十分小。

当集群中所有RegionServer节点都重启进行复原时，状况将变得十分蹩脚。如果一个RegionServer上有2000个Region，每个HDFS文件为3正本，那么将会导致每个WAL Splitter关上6000个文件。

通过启用hbase.split.writer.creation.bounded能够限度每个WAL Splitter关上的文件。当设置为true时，不会关上任何recovered.edits的写入直到在内存积攒的记录曾经达到 hbase.regionserver.hlog.splitlog.buffersize（默认128M），而后一次性写入并敞开文件，而不是始终处于关上状态。这样会缩小关上文件流数量，从hbase.regionserver.wal.max.splitters the number of region the hlog contains缩小为hbase.regionserver.wal.max.splitters hbase.regionserver.hlog.splitlog.writer.threads。

通过测试发现在3节点集群中，领有15GB WAL文件和20K Region的状况下，集群整体重启工夫从23分钟缩短为11分钟，缩小50%。

hbase.regionserver.wal.max.splitters = 5

hbase.regionserver.hlog.splitlog.writer.threads= 50

WAL Split为HFile(HBASE-23286)

WAL复原时应用HFile文件替换Edits文件这样能够防止在Region上线过程中写入。Region上线过程中须要实现HFile文件校验、执行bulkload加载并触发Compaction来合并小文件。此优化能够防止读取Edits文件和长久化内存带来的IO开销。当集群中的Region数量较少时（例如50个Region）察看发现性能有显著晋升。

当集群中有更多的Region时，测试发现因为大量的HFile写入和合并将会导致CPU和IO的减少。能够通过如下额定的措施来缩小IO。

  • 将故障RegionServer作为首选WAL Splitter，缩小近程读取。
  • 将Compaction提早后盾执行，放慢region上线解决。

Observer NameNode(HDFS-12943)

当HBase集群规模变大时，重启会触发大量的RPC申请，使得HDFS可能成为瓶颈，能够通过应用Observer NameNode累赘读申请来升高HDFS的负载。

总结

通过上述剖析，能够配置如下参数来晋升HBase MTTR，尤其是在集群整体从解体中复原的状况。

参考

  • HBase ZK-less Region Assignment : Apache HBase
  • Apache HBase ™ Reference Guide
  • NoSQL HBase schema design and SQL with Apache Drill (http://slideshare.net)
  • MapReduce服务 MRS_华为云 (huaweicloud.com)

点击关注，第一工夫理解华为云陈腐技术~