关于mysql:Tapdata-Connector-实用指南数据入仓场景之数据实时同步到-BigQuery

3次阅读

共计 3411 个字符，预计需要花费 9 分钟才能阅读完成。

【前言】作为中国的“Fivetran/Airbyte”, Tapdata 是一个以低提早数据挪动为外围劣势构建的古代数据平台，内置 60+ 数据连接器，领有稳固的实时采集和传输能力、秒级响应的数据实时计算能力、稳固易用的数据实时服务能力，以及低代码可视化操作等。典型用例包含数据库到数据库的复制、将数据引入数据仓库或数据湖，以及通用 ETL 解决等。
援用
随着 Tapdata Connector 的一直增长，咱们最新推出《Tapdata Connector 实用指南》系列内容，以文字解析辅以视频演示，还原技术实现细节，模仿理论技术及利用场景需要，提供能够“珍藏跟练”的实用专栏。本期实用指南以 SQL Server → BigQuery 为例，演示数据入仓场景下，如何将数据实时同步到 BigQuery。

数据规模仍在继续扩充的明天，为了从中取得可操作的洞察力，进一步实现数据分析策略的现代化转型，越来越多的企业开始把眼光投注到 BigQuery 之上，心愿通过 BigQuery 来运行大规模要害工作利用，从而达到优化经营、改善客户体验并升高总体领有老本的目标。

作为自带 ETL 的实时数据平台，咱们也看到了很多从传统外部数据仓库向 BigQuery 的数据迁徙需要。

作为一款由 Google Cloud 提供的云原生企业级数据仓库，BigQuery 借助 Google 基础架构的弱小解决能力，能够实现海量数据超疾速 SQL 查问，以及对 PB 级数据进行平安并可扩大的剖析。同时也因其人造具备的无服务器架构、低成本等个性，备受数据分析师和数据工程师的青眼，在数据存储和解决上体现出更杰出的便利性。

BigQuery 在企业中通常用于存储来自多个零碎的历史与最新数据，作为整体数据集成策略的一部分，也常作为既有数据库的补充存在。其劣势在于：

在不影响线上业务的状况下进行疾速剖析：BigQuery 专为疾速高效的剖析而设计, 通过在 BigQuery 中创立数据的正本, 能够针对该正本执行简单的剖析查问, 而不会影响线上业务。
数据集中存储, 进步剖析效率：对于分析师而言，应用多个平台耗时费劲，如果将来自多个零碎的数据组合到一个集中式数据仓库中，能够无效缩小这些老本。
安全性保障：能够管制对加密我的项目或数据集的拜访，并施行身份拜访治理。
可扩展性：反对依据公司的规模、性能和老本要求定制数据存储。
敌对兼容：作为 Google Cloud 的一部分，它与 Google 系产品更兼容，对相干用户更敌对。

为了实现上述劣势，咱们须要首先实现数据向 BigQuery 的同步。

👆👆点击查看残缺演示
（* 本演示视频版本为 Tapdata 本地部署版本）

版本指路：

点击登录 Tapdata Cloud
申请试用 Tapdata 本地部署版

登录 Google Cloud 凭据页面
创立服务账号，该账号将用于后续的身份验证。
a. 在页面顶部，单击创立凭据 > 服务账号。
b. 在服务账号详情区域，填写服务账号的名称、ID 和阐明信息，单击创立并持续。

c. 在角色下拉框中输出并选中 BigQuery Admin，单击页面底部的实现。

为服务账号创立认证密钥。
a. 在跳转到的凭据页面，单击页面下方刚创立的服务账号。
b. 在密钥标签页，单击增加密钥 > 创立新密钥。

c. 在弹出的对话框中，抉择密钥类型为 JSON，而后单击创立。
d. 操作实现后密钥文件将主动下载保留至您的电脑，为保障账户安全性，请妥善保存密钥文件。
e. 登录 Google Cloud 控制台，创立数据集和表，如已存在可跳过本步骤。
i. 创立 BigQuery 数据集（* 为保障 Tapdata Cloud 失常读取到数据集信息，创立数据集时，抉择地位类型为多区域）
ii. 创立表

① 登录 Tapdata Cloud

默认已实现 Tapdata Cloud 账号注册及 Agent 部署
确保 Tapdata Agent 所属机器可拜访 Google 云服务，例如可将 Agent 装置至海内服务器。

② 创立数据源 SQL Server 的连贯

在 Tapdata Cloud 连贯治理菜单栏，点击【创立连贯】按钮, 在弹出的窗口中抉择 SQL Server 数据库，并点击确定。

参考右侧【连贯配置帮忙】，实现连贯创立：

③ 创立数据指标 BigQuery 的连贯

在 Tapdata Cloud 连贯治理右侧菜单栏，点击【创立连贯】按钮，在弹出的窗口中抉择 BigQuery，并点击确定
依据已获取的服务账号，在配置中输出 Google Cloud 相干信息，具体阐明如下：

连贯名称：填写具备业务意义的独有名称。
连贯类型：目前仅反对作为指标。
拜访账号（JSON）：用文本编辑器关上您在筹备工作中下载的密钥文件，将其复制粘贴进该文本框中。
数据集 ID：抉择 BigQuery 中已有的数据集。（输出服务账号后, 即可列出全副数据集）
agent 设置：抉择平台主动调配，如有多个 Agent，请手动指定可拜访 Google 云服务的 Agent。

单击连贯测试，测试通过后单击保留。（* 如提醒连贯测试失败，可依据页面提醒进行修复）

④ 新建并运行 SQL Server 到 BigQuery 的同步工作

借助 Tapdata 杰出的实时数据能力和宽泛的数据源反对，能够在几分钟内实现从源库到 BigQuery 包含全量、增量等在内的多重数据同步工作。

在开发过程中，Tapdata 发现 BigQuery 存在如下三点不同于传统数据库的特色：

如应用 JDBC 进行数据的写入与更新，则性能较差，无奈满足理论应用要求；
如应用 StreamAPI 进行数据写入，尽管速度较快，但写入的数据在一段时间内无奈更新；
一些数据操作存在 QPS 限度，无奈像传统数据库一样随便对数据进行写入。

为此，Tapdata 抉择将 Stream API 与 Merge API 联结应用，既满足了数据高性能写入的须要，又胜利将提早放弃在可控范畴内，具体实现逻辑如下：

在数据全量写入阶段，因为只存在数据的写入，没有变更与删除操作，因而间接应用 Stream API 进行数据导入。
在数据增量阶段，先将增量事件写入一张长期表，并依照肯定的工夫距离，将长期表与全量的数据表通过一个 SQL 进行批量 Merge，实现更新与删除的同步。
两个阶段的 Merge 操作，第一次进行时，强制等待时间为 30min，以防止触发 Stream API 写入的数据无奈更新的限度，之后的 Merge 操作工夫能够配置，这个工夫即为增量的同步延迟时间，个别配置在 5min 以内。

此外，对于数据同步工作而言，Tapdata 同时兼具如下劣势：

内置 60+ 数据连接器，稳固的实时采集和传输能力
以实时的形式从各个数据起源，包含数据库、API、队列、物联网等数据提供者采集或同步最新的数据变动。反对多源异构数据双向同步，主动映射关系型到非关系型。一键实现实时捕捉，毫秒内更新。已内置 60+ 连接器且一直拓展中，笼罩大部分支流的数据库和类型，并反对您自定义数据源。
具备强可扩展性的 PDK 架构
小时疾速对接 SaaS API 零碎；16 小时疾速对接数据库系统。
对源库简直无影响
基于自研的 CDC 日志解析技术，0 入侵实时采集数据，对源库简直无影响。
全链路实时
基于 Pipeline 流式数据处理，以应答基于单条数据记录的即时解决需要，如数据库 CDC、音讯、IoT 事件等。不同于传统 ETL，每一条新产生并进入到平台的数据，会在秒级范畴被响应，计算，解决并写入到指标表中。同时提供了基于工夫窗的统计分析能力，实用于实时剖析场景。
数据一致性保障
通过多种自研技术，保障指标端数据与源数据的高一致性，并反对通过多种形式实现一致性校验，保障生产要求。
可视化工作运行监控和告警
蕴含 20+ 可观测性指标，包含全量同步进度、增量同步提早等，可能实时监控在运行工作的最新运行状态、日志信息等，反对工作告警。