共计 3716 个字符，预计需要花费 10 分钟才能阅读完成。
DataTester 的数据集成系统，可大幅升高企业接入 A / B 试验平台门槛。当企业想要接入一套 A / B 试验平台的时候，经常会遇到这样的问题：企业曾经有一套埋点零碎了，减少 A / B 试验平台的话须要反复做一遍埋点，费时费力；企业有多个客户端和数据中台并行的状况，这些不同起源的数据难以整合进一个 A / B 试验平台；间隔下次大促只有一周工夫了，业务想疾速开启 A / B 试验，工夫紧迫；……A/ B 试验筹备的全流程如图下所示。当企业在已有埋点的状况下，如果想 0 - 1 开启 A / B 试验，通常要占用大量人力来做数据处理。须要梳理埋点列表、确定 id 映射关系、确定埋点数据类型、确定导入工夫范畴、批改业务解决逻辑、代码编写、测试环境调试 ……
当经验完屡次调试验证后，数据接入实现，工作却远未完结，随同而来的是数据对齐校验、前期工作运维等。这些繁琐的工作，使企业“开启 A / B 试验”的门槛极高，也会带来诸多数据差别的隐患。为解决企业开启 A / B 试验老本过高的问题，火山引擎 A / B 测试平台（DataTester）专门研发了数据集成能力。本文将对 DataTester 的数据集成平台做技术解读。DataTester 是由火山引擎推出的 A / B 测试与智能优化平台，它脱胎于字节跳动长期积淀，历经字节外部超 150 万次试验打磨，为企业的增长、转化、产品迭代，策略优化，经营提效等各环节提供迷信的决策依据。DataTester 的数据集成能力，能够真正解决多源数据集成、数据荡涤和数据预处理问题，进步企业的 A / B 测试效率和准确性，从而为企业开试验提供无力的反对。
上图是应用 DataTester 数据集成平台最根底的配置流程，能够看到，用户只须要在页面上注销数据源信息、映射逻辑、任务调度配置，就能够疾速的同步多源数据，实现数据配置和接入。DataTester 的数据集成有哪些能力火山引擎 DataTester 的数据集成，次要提供了帮忙企业导入第三方数据到 A / B 零碎的能力，它能够解决企业在数据接入过程中的如下痛点：数据起源简单：对于须要从多个数据起源获取数据的企业来说，整合数据要当时理解 A / B 试验的事件格局和埋点应用标准，手动导入数据十分繁琐耗时。DataTester 数据集成平台提供了疾速导入多种数据源的能力，用户能够轻松将数据汇总到一处。数据品质参差不齐：多个数据源的数据会有参差不齐的状况，DataTester 数据集成平台能够主动进行数据荡涤和转换，确保导入的数据品质良好，防止因为数据品质问题带来的试验谬误。人力老本昂扬：如果采纳惯例的手动导入数据和荡涤解决的形式，会破费较多工夫人力，DataTester 数据集成平台智能数据处理，可大幅升高数据处理的工夫和老本。一键式的数据导入在以往，企业如果心愿接入新的 A / B 测试平台，在第一步的数据集成阶段通常只有通过 SQL 开发或业务代码编写的形式接入。DataTester 数据集成平台提供了可视化的工作配置能力，用户能够通过点击、拖拽等模式实现数据接入；数据集成平台将主动实现数据类型转化、数据荡涤等性能。这种“一键式”的数据导入能够最大水平加重企业在数据集成阶段的工夫人力老本。
可视化的工作运维用户通过可视化的形式来监控、治理和保护数据工作的运行状态和运行状况。这样的形式能够更加便捷地理解工作状态和运行状况，及时发现并解决问题。
丰盛的数据集成市场 DataTester 数据集成反对行为数据、用户属性等历史数据回溯、实时数据同步的能力，并预置了多款数据配置模板，能够一键同步异构数据源数据。
可扩大的数据插件提供丰盛的内嵌插件，反对罕用的数据处理逻辑。例如：数字四则运算、字符串解决、字段映射等等。除此之外，DataTester 数据集成也提供自定义函数的能力，企业能够在平台依据理论业务逻辑定义 UDF，并集成在数据导入工作中。数据集成平台的技术实现平台架构下图为火山引擎 DataTester 数据集成平台的整体架构，性能上，DataTester 数据集成系统采纳三层架构，包含 web 层、Service 层和数据处理服务。Web 层：提供治理控制台，用户能够不便地配置和治理数据集成工作，查看工作的执行状态；Service 层：提供工作治理、监控和调度治理，反对用户对工作进行疾速响应和监控。数据处理层：则提供对各种内部数据源的解决，通过插件形式反对多种异构数据源的集成，目前曾经反对关系型数据库、音讯队列等等。
零碎架构上思考了高可用、高扩大和高性能的设计。高可用：任务调度和运行反对多租户资源隔离，保障不同租户之间的工作执行不会相互影响。高扩大：数据处理工作反对分布式解决数据源数据，针对不同负载可反对程度伸缩；高性能：通过分布式执行框架保证数据集成工作的并行处理，能够满足大数据场景下的集成需要；底层能力 DataTester 数据集成基于 Apache SeaTunnel 二次开发，数据传输工作采纳 Framework + plugin 架构构建。将数据源读取和写入形象成为 Connect(Source/Sink) 插件，纳入到整个数据同步框架中。Source：Source 为数据采集模块，负责采集数据源的数据，将数据发送给上游 Transform。Sink：Sink 为数据写入模块，负责一直向 Transform 取数据，并将数据写入到目标端。Transform：Transform 用于连贯 Source 和 Sink，作为两者的数据传输通道，并解决缓冲、并发、监控、数据转换解决等核心技术问题。Transform 是 DataTester 数据集成的业务解决要害内容。咱们内置多个默认插件，主动帮忙用户实现用户剖析口径映射、事件格局转换、数值解决、字段映射等等逻辑，同时也提供入口供用户减少插件，内嵌至自有工作中。
监控报警 DataTester 数据集成平台采纳了 InfluxDB 来运行数据监控。InfluxDB 是一款专门解决高写入和查问负载的时序数据库，用于存储大规模的时序数据并进行实时剖析。在每个监控工作提交后，DataTester 将会在数据处理过程中减少胜利、失败的数据埋点，并最终落入 InfluxDB 对外展现。在企业的罕用利用场景中，数据集成监控报警次要起到以下几个作用：及时发现数据集成中的异常情况，比方数据传输失败、数据失落、反复数据等，防止数据不统一或失落的状况产生，保障数据的准确性和完整性。对于数据传输量较大或数据传输须要保障实时性的场景，能够通过实时监控和报警形式，及时发现零碎存在的问题，并可能疾速采取措施，保障数据失常传输。晋升数据集成的可靠性和稳定性，缩小企业损失和老本，放慢业务流程的执行速度，进步企业效率和竞争力。在数据安全方面有着重要的作用，及时发现和解决数据传输过程中的异常情况，确保数据的平安传输和隐衷爱护。
企业案例某金融公司打算应用火山引擎 DataTester 开启信用卡分期优惠 A / B 试验，预期赶在大促前上线该试验并拿到反馈；而面对的问题是：1. 现有埋点体系简单，有大量有效埋点和简单埋点判断 2. 反复埋点老本很高，依赖客户端行为事件和服务端事件 3. 工夫节点比拟缓和，必须赶在大促前拿到试验反馈；因而进行试验十分具备挑战。针对如上背景，他们应用了 DataTester 数据集成平台来解决以上问题。他们在数据集成平台注册已有数据源信息，配置数据字段映射逻辑，将客户端和服务端所有事件数据进行主动捕获和同步，从而使试验无需老本地进行反复埋点；另一方面，通过数据集成的插件能力，企业能够实现简略的数据荡涤和字段加工，从而能够解决已有的埋点问题。通过这些解决方案的帮忙下，该金融公司胜利地实现了试验，并取得了重要的反馈和优化倡议。此外，DataTester 也在数据集成、数据同步、数据安全等方面为企业提供了全方位的反对，确保企业我的项目可能胜利落地，并为其带来重要价值。DataTester 的“可视化数据集成”及“集成工作台”计划，能够帮忙企业将来自三方的数据导入到 A / B 零碎中，无需额定通过传统 SQL 开发或者业务代码编写等形式来进行数据集成，能够实现对历史数据资产间接复用，极大水平升高零碎反复建设老本。据理解，目前可视化数据集成性能在企业数据接入方面能带来高达 8 倍的提效。结语火山引擎 DataTester 始终致力于为企业提供业界最易用、最迷信和最高效的 A / B 试验平台。为了进步产品在数据集成的能力和服务水平，产品将来将在以下几个方面一直演进和欠缺：提供更丰盛的数据集成模板：DataTester 将反对更多埋点采集剖析产品的数据模板，让更多的企业可能轻松实现数据同步，并实现一键式的数据集成。加强可视化工作配置能力：将继续晋升函数自定义和工作配置的性能，采纳零代码的“利落拽”形式，不便企业用户疾速配置数据工作。加强数据监控运维能力：将进一步扩大报警渠道与指标，提供工作失败诊断信息，并依据数据状况提供数据品质剖析报告，帮助企业评估数据品质和准确性。数据集成能力凋谢：将提供数据源、数据模板和数据插件的凋谢接口，让更多的用户可能通过开源形式利用咱们的 A / B 试验平台工具，推动 A / B 测试生态的久远倒退与壮大。（文 / 火山引擎 DataTester 静静）