关于数据库:过期不候有生命周期的-TiDB-数据表

近日，由 TiDB 社区主办，专属于寰球开发者与技术爱好者的顶级挑战赛事——TiDB Hackathon 2020 较量圆满闭幕。往年是 TiDB Hackathon 第四次举办，参赛队伍规模创历届之最，共有 45 支来自寰球各地的队伍报名，首次实现寰球联动。通过 2 天工夫的极限挑战，大赛涌现出不少令人激动的我的项目。

本篇文章的作者为 T4 队的孙晓光，他们团队在本次 Hackathon 较量中为 TiDB 的数据表减少了 TTL 能力，让数据以指定的 TTL 策略主动过期并回收对应的资源，实现了数据价值的实时蒸馏，萃取高价值的陈腐数据。

随同着万物互联的趋势，当今各种利用场景的数据体量都在迅速收缩。岂但传统意义上的大数据分析场景在迅速扩大范畴，在线业务交易系统所承载的数据规模也在迅速向 BigData scale 迈进。用更正当的老本撑持更大规模的业务数据流量是 TiDB 始终在致力解决的问题，更好的匹配 TiDB 老本和所承载数据的价值是扩充 TiDB 利用场景的关键因素。数据总价值超过 TiDB 老本越高，TiDB 为业务发明的价值越大。

数据价值和 TiDB 老本的匹配在从前就有过许多的探讨，并且 TiDB 曾经在分级存储方向做了诸多的摸索，充分利用更低成本的介质搁置性能要求绝对宽松的冷数据。除了从升高单位数据老本角度登程降低成本之外，咱们也能够通过晋升数据价值密度的形式取得数据价值和存储的优化匹配，将 TiDB 的能力用于存储最有价值的数据上。

在许多利用场景中数据价值同工夫有着十分强的相关性，数据的价值随着工夫的推移会迅速升值导致存储收益越来越低。思考到这种利用场景的普遍性，咱们在 TiDB Hackathon 2020 中尝试为 TiDB 引入 TTL 表，让 TiDB 可能利用工夫维度对数据进行自动化的生命周期治理。利用数据主动蒸馏的机制让 TiDB 的每一份资源投入都利用在高度萃取的高价值陈腐数据上。

技术背景

Time To Live 是大家十分相熟的能力，宽泛存在于各类缓存和存储类零碎中，如 Redis、RocksDB 和 MyRocks 等等。同这些零碎相似，TiDB 中的 TTL 表可能在无用户干涉的状况下主动治理写入数据的生命周期，在数据写入工夫超过设定的过期阈值后主动过期并回收占用的资源。这种自动化的机制岂但可能将用户从乏味的数据生命周期治理中解放出来，还可能充分利用零碎外部的工作机制优化数据删除门路，耗费更少的资源，更快的回收更多的数据。在综合思考 TiDB 的运作机制和用户应用复杂度后，咱们为数据表减少了过期工夫和过期颗粒度两个设置。用户能够从「行」和「分区」过期两种颗粒度中进行抉择，如果对数据过期工夫精确度要求不高能够抉择按「分区」形式过期，取得更高的资源回收效率。

TTL 表定义

这两种 TTL 表的定义非常简单，只需参考上面的样例在建表时提供相应的过期工夫设置并抉择冀望的数据过期颗粒度即可。因为两种颗粒度背地实现的机制不同，应用 ALTER TABLE 咱们只能将一个现有的 TiDB 表转化为「行」颗粒度的 TTL 表，具体起因在前面的实现机制局部再进行介绍。

「行」颗粒度 TTL 表 DDL

CREATE TABLE ttl_table {
    id BIGINT PRIMARY KEY AUTO_RANDOM,
    author VARCHAR(255),
    post VARCHAR(255)
} TTL=’1h’, TTL_GRANULARITY=’ROW’;

「分区」颗粒度 TTL 表 DDL

CREATE TABLE ttl_table {
    id BIGINT PRIMARY KEY AUTO_RANDOM,
    author VARCHAR(255),
    post VARCHAR(255)
} TTL=’1d’, TTL_GRANULARITY=’PARTITION’;

实现形式

「行」颗粒度 TTL 表

当 TTL 表工作与「行」颗粒度模式时，咱们能够利用 TiDB 周期驱动 TiKV 进行 MVCC GC 的机会对过期的数据以「行」为单位进行回收。为了将过期策略下发到 TiKV 上，咱们将所有 TTL 表对应的数据范畴（key range）连同他们的 TTL 设定一起随 GC 工作下发到 TiKV 中。在 GC 过程中对于存在于 TTL key range 中的数据，可能依据 MVCC 信息计算失去数据的存活时长，对于那些 MVCC GC 无效但存活工夫超过 TTL 阈值的数据能够在 GC 过程中进行删除回收空间。须要留神的是目前 绝大多数 TiDB 表的存储布局都是非聚簇的（non-clustered），如果主键索引或其它的二级索引同主数据之间删除进度不统一，则会导致在主数据删除的状况下索引数据依然可见导致的回表失败。为了解决这个问题咱们将 TTL 表拆分成数据和索引两个范畴（key range），将数据的 TTL 设定为索引 TTL 加最近两轮 GC 的工夫距离。通过这种机制咱们可能确保所有的数据比索引多存活至多一个 GC 周期，从而防止数据不统一导致的回表问题。除了利用 GC 机会对过期数据进行删除之外，Compaction 阶段也很适宜对已过期的数据进行回收。因为 Hackathon 工夫缓和咱们仅实现了 GC 回收机制，将来在 TiDB 上处于产品级状态的 TTL 表肯定会采纳更加优化的实现。

「分区」颗粒度 TTL 表

对于数据库来说删除大量数据是一个从资源耗费角度看十分低廉的操作，采纳周期 GC 或 Compaction 的机制对数据删除可能极大的升高资源上的耗费。但大家可能想到为什么不可能利用 TRUNCATE 的机制实现更高效率的数据过期呢？

通过将 TTL 表实现为一个用户不可感知的非凡分区表，利用通过滑动窗口切换分区的形式咱们可能将数据以较粗的颗粒度按工夫程序搁置在多个物理分区中。通过周期轮转的形式创立新分区并对最老的一个分区进行 TRUNCATE 和删除操作，处于最老分区的所有过期数据可能以非常低的代价迅速删除。对于这种非凡的删除操作，RocksDB 可能间接将对应范畴的数据逻辑删除转化为物理文件删除操作，达成低成本疾速回收空间的指标。

在了解了「分区」颗粒度 TTL 表的工作原理之后，大家应该不难理解因为目前 TiDB 并不容许「一般表」同「分区表」以及不同类型的「分区表」之间进行自在的转换，所以任何现有的 TiDB 表都不能被转化为「分区」颗粒度的 TTL 表。

利用场景

为了让大家更好的了解 TTL 表的适用范围，咱们联合已经遇到的一些理论问题对 一些开源我的项目进行了革新让它们反对以 TiDB 作为存储介质，并利用 TTL 表作为存储让存储在这些零碎中的数据在零碎无感知的状况下主动维持数据的生命周期。

Apache Kylin

维度报表在大数据场景中被宽泛的利用于各种决策的撑持，具备数据价值高、时效性强的特点。Kylin 以 MOLAP 的形式对原始数据进行预处理，提供疾速的数据切片（slicing）、切块（dicing）、上卷（rollup）和下钻（drill down）等剖析能力。在这样的利用场景下，维度报表的数据规模同维度数量和基数正相干，在许多场景下数据规模远超单机数据库所能撑持的数据下限。随着工夫的推移对历史报表数据进行灵便决策分析的需要会迅速缩小，因而相应数据也会随着剖析需要的缩小而迅速升值。维度报表的数据往往一周甚至更短的工夫就不再具备即席（Adhoc）剖析价值，须要对大量无价值历史数据进行繁难高效的清理。利用 TTL 表存储数据岂但可能主动保护维度报表数据的生命周期，还可能充分利用 TiDB 索引查问能力简化 Kylin 的实现并且可能通过对立治理报表数据和元数据进一步简化 Kylin 的治理老本。

Jaeger Tracing

Jaeger Tracing 实现了 OpenTracing 凋谢规范并且提供了它的下一代规范 OpenTelemetry 的实验性反对。目前 Jaeger 官网反对的存储系统包含 Cassandra 和 ElasticSearch，除此之外还提供了 gRPC 插件不便用户接入本人的存储系统。咱们利用插件机制为 Jaeger 带来了 TiDB 存储后端的反对，在 TTL 表的帮忙下岂但可能充分利用底层存储 TiKV 提供的高吞吐和扩展性，还可能自动化的治理历史追踪数据的生命周期升高系统管理老本。

Kubernetes Events 长期存储

K8s 的 event 对象记录了集群中所产生的各种事件，这些事件在剖析排查异常现象或者操作审计方面都十分有价值。在 K8s 集群规模较大且变更频繁时咱们通常会抉择将集群事件存储在独立的 etcd 集群，但受限于 etcd 存储空间依然无奈在频繁部署更新的场景下记录较长时间内的 K8s 集群事件。抉择将事件存储在 TiDB 中岂但能够带来更大的存储空间存储更长时间的记录，还可能利用 TiDB 的二级索引能力为存储的集群事件带来灵便且高性能的查问能力。在 TTL 表的帮忙下，存储在 TiDB 集群中的历史事件可能主动过期回收空间。

MQTT QoS 1 & 2 音讯长久化

MQTT 被广泛应用于挪动互联网和 IoT 场景中各种实时音讯的上行和下发场景。思考到挪动设施和 IoT 设施网络接入品质的波动性，须要将确保投递的 QoS 1 & 2 的音讯长久化存储来应答客户端长时间不在线的状况。当长久化存储系统内置数据过期反对时，可能很好的适配同时具备牢靠投递和投递时效性要求的利用场景，例如新闻热点、AMBER Alert、天气预报等等。在 Hackathon 中咱们尝试将一个风行的 MQTT Broker 进行革新，为其引入了 MySQL 存储后端反对。在 TTL 表的帮忙下业务无需对数据的生命周期进行任何治理，数据可能依照用户设置的 Retention 周期主动过期删除。在高手星散创意有限的 TiDB Hackathon 中，许多我的项目的创新性和实用性都远超 TTL 表。尽管 TTL 表没能取得奖项，但咱们置信它背地试图解决的问题具备事实的意义和普适性。心愿后续持续投入精力欠缺 TTL 表的设计和实现，同时也欢送大家来一起参加 TTL 表的需要和设计 RFC（https://github.com/pingcap/tidb/pull/22763）探讨，推动社区对 TTL 性能的认可并最终将它带到 TiDB 中更好的服务大家。