关于数据库:最火的HTAP数据库-京东智联云新一代分布式数据库TiDB架构揭秘

9次阅读

共计 3182 个字符，预计需要花费 8 分钟才能阅读完成。

作者丨京东智联云数据库团队

2020 年伊始，一场从天而降的新冠疫情，席卷了华夏大地。为了抵制疫情，全国人民万众一心，独特抗疫。疫情期间，各行各业受到了微小影响，少数线下服务和流动根本陷入了停滞状态。而与此同时，人们对线上服务的需要则大大晋升。线上业务随同着大量的数据涌入，首当其冲经受考验的就是承载外围业务的数据库系统。

咱们对数百位企业用户进行了在线调研，发现绝大多数用户心目中现实的数据库都具备以下几个特点：

可通过动静减少机器来满足业务增长需要，应用层能够不必关怀容量和吞吐量等问题；

具备残缺的 ACID 事务，能提供数据的强一致性，反对 SQL 并能兼容 MySQL；

提供跨数据中心的高可用性，数据中心内的故障可主动疾速复原，无需人工染指；任意一个数据中心故障，不影响数据库服务。

为了满足这些需要，京东智联云联结 PingCAP，打造了开箱即用的 新一代分布式数据库——TiDB 服务。

TiDB 是为 云而设计的数据库，实现了一键程度伸缩，反对多数据中心部署，具备强一致性的多正本数据，可实现故障的主动复原。同时，TiDB 还具备弱小的 OLAP 性能，可提供一站式的 HTAP 解决方案。

TiDB 分布式数据库在内核设计上将整体的架构拆分成多个大的模块，大的模块之间相互通信，组成残缺的 TiDB 零碎。

TiDB：SQL 层，负责承受客户端的连贯，执行 SQL 解析和优化，最终生成分布式执行打算。TiDB 层自身是无状态的，实际中能够启动多个 TiDB 节点，客户端的连贯能够平均地摊派在多个 TiDB 节点上以达到负载平衡的成果。TiDB 节点自身并不存储数据，只是解析 SQL，将理论的数据读取申请转发给底层的存储层 TiKV。
TiKV：分布式 KV 存储，反对齐全弹性的扩容和缩容，数据分布在多个 TiKV 存储节点中，零碎会动静且主动地进行平衡，不须要人工染指。TiKV 的 API 可能在 KV 键值对层面提供对分布式事务的原生反对，默认提供了 SI（Snapshot Isolation）的隔离级别。TiKV 中的数据都会主动保护多正本（默认为 3），人造反对高可用和主动故障转移。
Placement Driver (简称 PD)：整个 TiDB 集群的元信息管理模块，负责存储每个 TiKV 节点实时的数据分布状况和集群的整体拓扑构造，并为分布式事务调配事务 ID。同时 PD 会依据 TiKV 节点实时上报的数据分布状态，下发数据调度命令给具体的 TiKV 节点，能够说是整个集群的「大脑」。PD 自身也是由至多 3 个对等节点形成，领有高可用的能力。

京东智联云上的 TiDB 基于 Kubernetes 部署，使得 TiDB 更加灵便牢靠。具体部署架构如下图：

*（为了便于形容，TiDB 的数据库实例咱们称为 TiDB 集群，单个 TiDB-server 咱们称之为 TiDB 节点）

用户 VPC 内的云主机通过 网络负载平衡（NLB）拜访 TiDB 集群，集群中的多个 TiDB 节点能够进行负载分担，独特提供服务，实现了 “双活” 乃至 “多活” 的能力。京东智联云 TiDB 集群反对 3 可用区的部署架构，默认 3 数据正本，每个可用区一个数据正本。即便某一可用区生效后，数据库服务依然可用并且不产生数据失落。同时通过设置亲和性，可保障每个可用区的 TiKV 实例数放弃大抵平衡。

此外，PD 节点默认为 3 个节点，每一个可用区都有 PD 实例，保障 PD 的高可用。在这种架构下，集群中的所有节点，包含 TiDB、TiKV 及 PD 节点都具备高可用性，整个数据库环节无单点故障，任一节点的故障均不影响 TiDB 集群的对外提供服务。

同时，TiDB 集群还接入了 京东智联云整体的监控告警服务及日志零碎，可全面监控 TiDB 实例的运行状况，用户通过控制台即可 TiDB 实例进行创立，扩容、删除等生命周期的治理。

上面再简要介绍一下京东智联云 TiDB 集群的次要能力及实现：

京东智联云 TiDB 可 主动进行全量备份，并将备份数据存储在对象存储（OSS）中。在备份过程中，TiDB 不会间接把数据写到本地磁盘上，而是先缓存在内存中，而后再传送到对象存储上，通过这种形式岂但进步了备份的效率，也升高了对磁盘的耗费。在进行复原时，也反对将对象存储上的备份数据恢复到一个新的 TiDB 集群外面，而不笼罩原 TiDB 实例，最大水平的保障用户数据的平安，避免误操作。

TiDB 在京东智联云上的升降配是通过在线动静减少节点（或缩小节点），来达到扩容的目标。TiDB 可提供近似有限的程度扩大能力，这是 TiDB 的最大特点。这里说的程度扩大包含两方面：计算能力 和存储能力。

TiDB 节点负责解决 SQL 申请，随着业务的增长，能够简略的增加 TiDB 节点，进步整体的解决能力，提供更高的吞吐量。
TiKV 节点负责存储数据，随着数据量的增长，能够部署更多的 TiKV 解决数据扩大的问题。TiKV 节点之间以 Region 为单位做调度，将局部数据迁徙到新加的节点上。

所以在业务的晚期，能够只部署大量的服务实例（举荐至多部署 3 个 TiKV，3 个 PD，2 个 TiDB），随着业务量的增长，依照需要增加 TiKV 或者 TiDB 实例。

京东智联云 TiDB 通过 TiFlash 节点能够反对在线剖析性能。TiFlash 是 TiDB HTAP 状态的要害组件，它是 TiKV 的列存扩大，TiFlash 实时复制 TiKV 集群中的数据，并同时提供与 TiKV 一样的一致性读取，且能够保障读取到最新的数据。TiDB 能够主动抉择应用 TiFlash 列存或者 TiKV 行存，甚至在同一查问内混合应用提供最佳查问速度。

TiDB 集群反对 CSV 格局的数据文件高速导入到 TiDB 集群，导入速度每小时可达500G，是传统 SQL 导入速度的数倍。TiDB 应用对象存储（OSS）存储要导入的数据文件，首先会对数据源进行解析，筛选出 DDL 这些建表的语句，并在指标集群建设库和表；而后对表数据进行解析和编码，转换成与 TiDB 雷同编码的键值对，并对键值对排序，写入本地长期存储文件中。最初批量将这些键值对写到各个 TiKV 节点中。导入后，TiDB 会比照导入数据源及指标集群的校验和 (checksum)，确保导入的数据是正确的。

京东智联云 TiDB 可反对主从集群，可通过 binlog 进行数据同步，准实时的将主集群的数据同步到从集群（本地或异地）。主集群负责利用接入提供读写服务，从集群负责同步主集群数据以及故障接管。同时从集群还能够承载如数据查问，报表剖析等数据查问业务，分担主集群业务压力，进步资源利用率的影响。（该性能行将推出）

TiDB 具备欠缺的监控和告警性能。TiDB 的报警分为两类：

一是资源层面的报警，由 Task Monitor 组件监控数据库中资源状态和应用状况，例如 CPU，存储以及集群中各个节点的运行状态等。如果发现资源状态或应用异样则会产生告警，并通过邮件或短信形式进行告诉。
另一类报警是通过日志采集 K8S 集群中 POD 和 TiDB 集群中的节点的日志，通过配置报警规定过滤对应的关键字触发报警。

此外，TiDB 集群本身也提供了极其丰富的监控指标，用户能够间接应用浏览器拜访 TiDB 集群的监控端口，查看 TiDB 上百个指标的详细信息。