简介： MaxCompute新增Transaction Table2.0（下文简称事务表2.0)表类型在2023年6月27日开始邀测，反对基于事务表2.0实现近实时的增全量一体的数据存储、计算解决方案。
作者： 石玉阳 人力家 高级数据研发工程师
业务简介
人力家是由阿里钉钉和人力窝独特投资成立，帮忙客户进入人力资源数字化，依附产品技术创新驱动策略的互联网公司。公司次要提供包含人事管理、薪酬治理、社保治理、增值服务在内的人力资源SaaS服务，减速对人力资源畛域赋能，实现人力资源新工作形式。目前已服务电子商务、批发服务等畛域的多行业客户。
人力家是一家典型的守业公司，目前处于一个竞争强烈的市场环境中，公司具备多产品性质，每个产品的数据具备独立性，同时为了配合外部CRM数据需要，更好地把数据整合，对于数仓团队来说是一个不小的挑战，对于数仓团队要求的是稳，准，及时响应。须要数仓团队既要满足外部的数据需要，也须要在计算的老本上实现优化。
业务痛点
在应用阿里云大数据计算服务MaxCompute过程中发现随着存量数据减少，增量数据去重老本越来越大，具体分析发现有如下4个起因
增量数据量级少
公司尽管是多产品，但每天新增的用户数据和历史变动的数据量绝对于历史全量数据的量级（GB）比拟下处于较小的数据量级（MB）。
历史数据二次计算
对于增量数据去重，每天利用昨日历史全量+今日新增数据开窗去重计算，但历史全量数据须要更新的数据局部其实很少，每次都须要把历史数据拉进去进行开窗去重计算，这无疑一笔比拟大的计算成本。
开窗去重计算成本大
应用row_number函数开窗去重获得业务主键的最新数据须要把昨日历史数据+今日数据合并计算，用户表有亿级别大小，但为了数据去重节俭存储老本和后续的建模运算，这部分老本是偏大的，其实大部分历史数据没有更新，实质上是不须要再次参加运算解决，每天一次的用户表去重单条SQL预估费用达到4.63元（按量付费）。
全量拉取老本大
如果每天全量拉取业务库数据，数据量是亿级别，但其实更新的数据量级少，对于业务端的db压力大，重大影响业务端db性能。
Transaction Table2.0数据去重改良
MaxCompute新增Transaction Table2.0（下文简称事务表2.0)表类型在2023年6月27日开始邀测，MaxCompute反对基于事务表2.0实现近实时的增全量一体的数据存储、计算解决方案。人力家数仓研发团队开始第一工夫理解其个性和性能，人力家数仓团队发现其个性主键模型能够用来进行数据去重，缩小开窗计算成本问题，次要实现形式如下。
- 每日增量用户根底信息开窗去重；
- 因为主键表的主键不能为空，须要过滤出业务主键为空的数据；
- 把每日增量数据开窗去重后的数据间接insert into 主键表，零碎会主动进行依照业务主键进行去重计算。
具体改良实际措施
整体比照
| 去重SQL执行工夫(单位s） | 去重SQL预估老本(单位元） | |
|---|---|---|
| 一般表 | 151 | 4.63 |
| Transaction Table2.0 | 72 | 0.06 |
老本和计算工夫比照
1、建表语句和插入更新语句
更新语句
2、老本和计算
分区表去重运行预估老本：
预估费用，不能作为理论计费规范，仅供参考，理论费用请以账单为准。
主键表去重运行预估老本：
预估费用，不能作为理论计费规范，仅供参考，理论费用请以账单为准。
分区表计算工夫和资源
事务表2.0主键表计算工夫和资源
通过上述比照，用户表每天的计算SQL老本从4.63元降落到0.06元，计算工夫缩短一半，reduce_num明显增加，map端缩小，reduce端的数据量显著变多。
合并小文件
事务表2.0反对近实时增量写入和timetravel查问个性，在数据频繁写入的场景中，必然会引入大量的小文件，须要设计正当高效的合并策略来对小文件进行合并以及数据去重，解决大量小文件读写IO低效以及缓解存储系统的压力，但也要防止频繁Compact引发重大的写放大和抵触失败。
目前次要反对两种数据合并形式：
- Clustering：只是把Commit的DeltaFile合并成一个大文件，不扭转数据内容。零碎外部会依据新增的文件大小、文件数量等因素周期性地执行，不须要用户手动操作。次要解决小文件IO读写效率和稳定性问题。
- Compaction：会把所有的数据文件依照肯定策略进行Merge操作，生成一批新的BaseFile，雷同PK的数据行只存储最新的状态，不蕴含任何历史状态，也不会蕴含任何零碎列信息，因而BaseFile自身不反对timetravel操作，次要用于晋升查问效率。反对用户依据业务场景被动触发，也反对通过设置表属性由零碎周期性主动触发。
综上面对主键外表对增量数据时，并不会马上对其进行小文件合并，这样会有大量的小文件产生，小文件会占有大量的存储空间且不利于数据查问速度，针对以上状况，咱们能够在insert into 后减少手动合并下主键表的小文件或者也可通过配置表属性依照工夫频率、Commit次数等维度主动触发Compaction机制，或期待零碎进行的Clustering合并。如果是每日的新增仅一次的数据更新，这里更举荐应用零碎的Clustering机制。
留神点：
desc extend table_name显示进去的file_num 和 size是蕴含回收站数据的，目前没方法精确显示，能够清空回收站数据或者Compaction 察看日志结尾的filenum数量。
数据时空旅行查问和历史数据修复
对于事务表2.0类型的表，MaxCompute反对查问回溯到源表某个历史工夫或者版本进行历史Snapshot查问（TimeTravel查问），也反对指定源表某个历史工夫区间或者版本区间进行历史增量查问（Incremental查问）, 须要设置acid.data.retain.hours才能够应用TimeTravel查问和Incremental查问。
数据时空旅行查问
1、基于TimeTravel 查问截止到指定工夫（例如datetime格局的字符串常量）的所有历史数据（须要设置）
select * from mf_tt2 timestamp as of '2023-06-26 09:33:00' where dd='01' and hh='01';查问历史数据和版本号
show history for table mf_tt2 partition(dd='01',hh='01');查问截止到指定version常量的所有历史数据
select * from mf_tt2 version as of 2 where dd='01' and hh='01';2、基于Incremental 查问指定工夫（例如datetime格局的字符串常量）区间的历史增量数据，常量值须要依据具体操作的工夫来配置
select * from mf_tt2 timestamp between '2023-06-26 09:31:40' and '2023-06-26 09:32:00' where dd= '01' and hh='01';查问指定version区间的历史增量数据
select * from mf_tt2 version between 2 and 3 where dd ='01' and hh = '01';数据修复
基于TimeTravel 查问截止到指定工夫的全量数据间接insert into 一张长期表，清空以后事务表2.0主键表数据，把长期表数据insert into以后事务表2.0主键表。
注意事项及将来布局
动静硬删数据
对于历史数据没方法硬删除（这部分须要依赖flink-cdc），目前能够通过软删实现，或者通过一段时间的历史数据积攒，拿出所有历史数据进行过滤从新整体插入主键表；这里提一点就是flink-cdc+flink-sql反对delete实时硬删数据，然而单表的flink-cdc工作比拟重，多个表须要不同的server-id，对于业务零碎源头断的db压力大，不是很举荐，期待后续的cdas整库同步。
存储空间减少
事务表2.0主键模型数据存储空间相比于分区表开窗后的数据占有的存储空间大一点，次要是开窗后的数据分布更平均，数据压缩比更大，然而绝对于sql每次的每天一次的计算成本，存储空间所占有的每日费用处于较低的费用级（可疏忽）。
flink-cdc
配合flink-cdc间接能够间接实现准实时数据同步，进步数据新鲜度。
整库同步
期待阿里云实时计算Flink的cdas语法指标端整合MaxCompute端做到整库同步和ddl变更。
物化视图
利用物化视图+flink-cdc组合形式能够做到