关于etl:开发方案宽表ETL实现方案

1. 指标

通过底层零碎数据的拉通，数据治理对立数据口径，实现控制塔 KPI 体系的线上数字化存储计算和灵便展示，撑持我的项目的顺利落地。

2. 方案设计

2.1 支流 ETL 工具调研

2.2 kettle 应用体验

根据上述调研，抉择了最风行且收费的 kettle 作为体验对象。

1. 长处：
2. 无需开发，通过界面操作，即可实现数据 ETL 流程（对非开发人员敌对）。
3. 毛病：
4. 对开发人员来说，新增同步时，界面操作的效率，不肯定比本人实现的效率高。
5. 简单的计算逻辑依然须要写代码，并且是在工具的界面上，按工具要求的标准来写。

根据上述体验后果，联合以后业务“有大量的计算字段”的特点，最终抉择了自主开发计划。

2.3 自主开发计划

• 数据同步计划
  
• ETL 繁难流程
  

3. 计划实现

3.1 设计准则

宽表同步 & 计算有以下特点：

• 须要从多个业务表中同步数据，每个表都要执行“查问数据“和”映射字段值到宽表中 ”，同时后续可能会新增映射字段（包含新加原始业务表）。
• 除了已有的业务字段外，宽表还有依据以后字段计算出来的“计算结果”字段，并且后续也可能会 继续新增 此类字段。
• 流程环节可能会新增，也可能会删除。

以上都是可预感的会扩大、批改比拟频繁的点，依据 开闭准则 （对扩大凋谢，对批改敞开），将业务表的数据查问和映射剥离进去，提供形象对象来反对扩大；“计算结果”字段也是一样； 将每个流程环节独立成一个类，多个类按程序串成一个链，新增 / 删除的时候就在链中插入 / 删除节点。

3.2 具体流程

3.3 JAVA 类图

3.4 重点类介绍

3.4.1 通用对象：

• BaseMerger：封装了流程通用的“启动流程前”、“执行流程”、“流程失常执行实现（失常执行实现时进入）”、“流程异样解决（异样时进入）”、“流程执行实现（不论是否异样都会进入本办法）”办法，同时提供扩大办法“流程名称”，由子类实现，用于获取子类须要的流程节点列表（从所有的 FlowNode 列表中筛选出属于该流程的列表）。
• MergeContext：上下文对象，用于在各个节点中传递数据。
• BaseFlowNode：流程节点父类，封装了每个节点执行时通用的办法，如日志记录，子类只须要实现外围的“doExecute”办法即可。

• BaseLoopFlowNode：可循环的流程节点父类，当流程判断（以后节点为 BaseLoopFlowNode 子类，且上下文中“循环次数”> 1 时），会开始进入循环状态，直到（下一个节点不是 BaseLoopFlowNode，且循环次数达到最大次数）时，才会跳出循环。

  protected void executeFlow(MergeContext<T> context) {BaseFlowNode<T> currentNode = flowNodes.get(0);
    BaseFlowNode<T> beginLoopNode = null;
    do {if (!context.isRunning()) {break;}
        currentNode.execute(context);
        int totalLoopTimes = context.getTotalLoopTimes();
        // 循环节点，且须要循环
        if (currentNode instanceof BaseLoopFlowNode && totalLoopTimes > 0) {
            // 启动循环
            if (beginLoopNode == null) {beginLoopNode = currentNode;}
            BaseFlowNode<T> nextFlowNode = currentNode.getNext();
            // 最初一个节点
            if (nextFlowNode == null) {
                // 然而还未达到最大循环次数
                if (context.getCurrentLoopTimes() < totalLoopTimes - 1) {
                    // 重头开始循环
                    currentNode = beginLoopNode;
                    // 循环次数加 1
                    context.setCurrentLoopTimes(context.getCurrentLoopTimes() + 1);
                } else {
                    // 完结循环
                    ((BaseLoopFlowNode) currentNode).resetLoop(context);
                    beginLoopNode = null;
                    currentNode = nextFlowNode;
                }
            } else {if (nextFlowNode instanceof BaseLoopFlowNode) {
                    // 下一个节点也是循环中的一部分
                    currentNode = nextFlowNode;
                } else if (context.getCurrentLoopTimes() < totalLoopTimes - 1) {
                    // 还未达到最大循环次数
                    // 重头开始循环
                    currentNode = beginLoopNode;
                    // 循环次数加 1
                    context.setCurrentLoopTimes(context.getCurrentLoopTimes() + 1);
                } else {
                    // 完结循环
                    ((BaseLoopFlowNode) currentNode).resetLoop(context);
                    beginLoopNode = null;
                    currentNode = nextFlowNode;
                }
            }
        } else {
            // 循环完结、或者还没开始、或者不须要循环
            currentNode = currentNode.getNext();}
    } while (currentNode != null);
  }

3.4.2 具体流程对象

• LqPrDetailMergeConvertor：依据“开闭准则”拆出来的对象，当读取到的业务表数据须要映射到宽表对象时，在此类做批改。
• BaseDataExtractor：依据“开闭准则”拆出来的形象对象，须要从业务表中“读取数据”、“过滤数据”时，增加此类的实现类即可。
• BaseCalculator：依据“开闭准则”拆出来的形象对象，须要对宽表的某个字段做计算或者调整时，增加此类的实现类即可。

参考
六种 支流 ETL 工具的比拟