工具下载: 去公众号 "taskctl" 回复内容 "支付" 或 "软件" 即可介绍:
ETL负责将散布的、异构数据源中的数据如关系数据、立体数据文件等抽取到长期中间层后进行荡涤、转换、集成， 最初加载到数据仓库或数据集市中，成为联机剖析解决、 数据挖掘的根底。 ETL是数据仓库中的十分重要的一环。它是承前启后的必要的一步。绝对于关系数据库， 数据仓库技术没有严格的数学实践根底，它更面向理论工程利用。 所以从工程利用的角度来思考， 依照物理数据模型的要求加载数据并对数据进行一些系列解决， 处理过程与教训间接相干， 同时这部分的工作间接关系数据仓库中数据的品质， 从而影响到联机剖析解决和数据挖掘的后果的品质。
ETL中的关键技术ETL过程中的次要环节就是数据抽取、数据转换和加工、数据装载。为了实现这些性能，各个ETL工具个别会进行一些性能上的裁减，例如:工作流、调度引擎、规定引擎、脚本反对、统计信息等。
数据抽取数据抽取是从数据源中抽取数据的过程。理论利用中，数据源较多采纳的是关系数据库。从数据库中抽取数据个别有以下几种形式。
(1)全量抽取
全量抽取相似于数据迁徙或数据复制，它将数据源中的表或视图的数据一成不变的从数据库中抽取进去，并转换成本人的ETL工具能够辨认的格局。全量抽取比较简单。
(2)增量抽取
增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或批改的数据。
在ETL应用过程中。增量抽取利用较全量抽取利用更宽泛。如何捕捉变动的数据是增量抽取的要害。对捕捉办法个别有两点要求：准确性，可能将业务零碎中的变动数据按肯定的频率精确地捕捉到；性能，不能对业务零碎造成太大的压力，影响现有业务。
目前增量数据抽取中罕用的捕捉变动数据的办法有：
a.触发器：在要抽取的表上建设须要的触发器，个别要建设插入、批改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变动的数据写入一个长期表，抽取线程从长期表中抽取数据，长期表中抽取过的数据被标记或删除。触发器形式的长处是数据抽取的性能较高，毛病是要求业务表建设触发器，对业务零碎有肯定的影响。
b.工夫戳：它是一种基于快照比拟的变动数据捕捉形式，在源表上减少一个工夫戳字段，零碎中更新批改表数据的时候，同时批改工夫戳字段的值。当进行数据抽取时，通过比拟零碎工夫与工夫戳字段的值来决定抽取哪些数据。有的数据库的工夫戳反对自动更新，即表的其它字段的数据产生扭转时，自动更新工夫戳字段的值。有的数据库不反对工夫戳的自动更新，这就要求业务零碎在更新业务数据时，手工更新工夫戳字段。
同触发器形式一样，工夫戳形式的性能也比拟好，数据抽取绝对分明简略，但对业务零碎也有很大的倾入性（退出额定的工夫戳字段），特地是对不反对工夫戳的自动更新的数据库，还要求业务零碎进行额定的更新工夫戳操作。另外，无奈捕捉对工夫戳以前数据的delete和update操作,在数据准确性上受到了肯定的限度。
c.全表比对：典型的全表比对的形式是采纳MD5校验码。ETL工具当时为要抽取的表建设一个构造相似的MD5长期表，该长期表记录源表主键以及依据所有字段的数据计算出来的MD5校验码。每次进行数据抽取时，对源表和MD5长期表进行MD5校验码的比对，从而决定源表中的数据是新增、批改还是删除，同时更新MD5校验码。
MD5形式的长处是对源零碎的倾入性较小（仅须要建设一个MD5长期表），但毛病也是不言而喻的，与触发器和工夫戳形式中的被动告诉不同，MD5形式是被动的进行全表数据的比对，性能较差。当表中没有主键或惟一列且含有重复记录时，MD5形式的准确性较差。
d.日志比照：通过剖析数据库本身的日志来判断变动的数据。Oracle的数据捕捉（CDC，Changed Data Capture）技术是这方面的代表。CDC 个性是在Oracle9i数据库中引入的。CDC可能帮忙你辨认从上次抽取之后发生变化的数据。
利用CDC，在对源表进行insert、update或 delete等操作的同时就能够提取数据，并且变动的数据被保留在数据库的变动表中。这样就能够捕捉发生变化的数据，而后利用数据库视图以一种可控的形式提供给指标零碎。CDC体系结构基于发布者/订阅者模型。发布者捕获变动数据并提供给订阅者。订阅者应用从发布者那里取得的变动数据。
通常，CDC零碎领有一个发布者和多个订阅者。发布者首先须要辨认捕捉变动数据所需的源表。而后，它捕获变动的数据并将其保留在特地创立的变动表中。它还使订阅者可能管制对变动数据的拜访。订阅者须要分明本人感兴趣的是哪些变动数据。一个订阅者可能不会对发布者公布的所有数据都感兴趣。订阅者须要创立一个订阅者视图来拜访经发布者受权能够拜访的变动数据。CDC分为同步模式和异步模式，同步模式实时的捕捉变动数据并存储到变动表中，发布者与订阅都位于同一数据库中。异步模式则是基于Oracle的流复制技术。
ETL解决的数据源除了关系数据库外，还可能是文件，例如txt文件、excel文件、xml文件等。对文件数据的抽取个别是进行全量抽取，一次抽取前可保留文件的工夫戳或计算文件的MD5校验码，下次抽取时进行比对，如果雷同则可疏忽本次抽取。
数据转换和加工从数据源中抽取的数据不肯定齐全满足目标库的要求，例如数据格式的不统一、数据输出谬误、数据不残缺等等，因而有必要对抽取出的数据进行数据转换和加工。
数据的转换和加工能够在ETL引擎中进行，也能够在数据抽取过程中利用关系数据库的个性同时进行。
(1)ETL引擎中的数据转换和加工
ETL引擎中个别以组件化的形式实现数据转换。罕用的数据转换组件有字段映射、数据过滤、数据荡涤、数据替换、数据计算、数据验证、数据加解密、数据合并、数据拆分等。这些组件如同一条流水线上的一道道工序，它们是可插拔的，且能够任意组装，各组件之间通过数据总线共享数据。
有些ETL工具还提供了脚本反对，使得用户能够以一种编程的形式定制数据的转换和加工行为。
(2)在数据库中进行数据加工
关系数据库自身曾经提供了弱小的SQL、函数来反对数据的加工，如在SQL查问语句中增加where条件进行过滤，查问中重命名字段名与目标表进行映射，substr函数，case条件判断等等。上面是一个SQL查问的例子。
select ID as USERID, substr(TITLE, 1, 20) as TITLE, case when REMARK is null then ' ' else REMARK end as CONTENT from TB_REMARK where ID > 100;
...