共计 1915 个字符，预计需要花费 5 分钟才能阅读完成。
原文链接：基于开源流批一体数据同步引擎 ChunJun 数据还原—DDL 解析模块的实战分享
课件获取：关注公众号 “数栈研习社”，后盾私信“ChunJun” 取得直播课件
视频回放：点击这里
ChunJun 开源我的项目地址：github 丨 gitee 喜爱咱们的我的项目给咱们点个 STAR！STAR！！STAR！！！（重要的事件说三遍）
一、ChunJun-DDL 解析模块介绍
上一期咱们为大家介绍了《ChunJun 反对异构数据源 DDL 转换与主动执行》，其中对 Calcite 解析 DDL 实战的内容做了简要介绍，本期咱们将针对这一部分内容做具体分享。在进行 DDL 实战演示前，咱们先回顾一下数据还原及 DDL 解析模块的内容。
1、数据还原介绍
ChunJun 反对 mysql oracle postgresql sqlserver 等数据源实时同步，然而同步之后的数据是以日志模式输入，数据还原在此基础上做到源数据的变动在指标表也产生对应变动，蕴含 DML 以及 DDL 的操作都会在指标表中执行对应的操作，保障源表和指标表 schema 统一、数据统一。
在 ChunJun 中数据还原还会有两种场景：手动执行和主动执行，他们之间的区别在于 ChunJun 是否能解析 Source 端 DDL 语句并转为上游语法对应语句，同时上游会执行对应的 DDL。
2、DDL 解析模块介绍
因为不同的数据源之间的语法不同，在数据还原的异构数据源场景中执行 DDL 是一个难题，如何将 Source 的 DDL 语句转换为合乎 Sink 语法的 DDL 语句，成为困扰许多人的问题，ChunJun 也面临着这样一个窘境，为了解决这个状况，ChunJun 引入了 DDL 解析模块解决此问题。
DDL 解析模块次要解决 2 个问题
- 解析 Source 的 SQL，将其转为 ChunJun 抽取进去的公共实体类
- 将公共实体类再依照 Sink 端的语法规定转为对应的 SQL
对于 SQL 转换这一部分，咱们减少了一个 DDL Convent 接口，这个接口提供了 SQL 转为公共实体类以及公共实体类转回 SQL 的性能，而具体的转换将由对应的数据源插件依照各自语法进行实现。
DDL Data 是咱们抽取的一个公共层数据的顶层抽象类，因为各个数据源的语法规定不同，因而咱们须要抽取一个公共层，由这个公共层进行不同数据源之间数据的转换。
为了解析 SQL 并转为公共层数据，咱们引入了 Calcite 进行 SQL 的解析，不同的数据源依照对应的语法会有对应的 SQL 解析器，通过这个解析器进行 SQL 的解析，将 SQL 语句转为对应的 SQLNode，再将 SQLNode 里的信息转为中间层。
这样咱们就解决了数据还原的异构数据源场景中的 DDL 语法不统一的问题。
二、ChunJun-DDL 解析模块实战
上一章节咱们介绍了一些基本概念，接下来咱们就来为大家理论演示一下如何操作。
– 第一步
在 ChunJun-SQL module 下，执行 mvn clean compile -DskipTest，maven 会打包出基于 Calcite 实现的解析器，各个数据源 DDL 解析模块会生成对应的解析器进行 SQL 的解析。
– 第二步
生成的解析器反对解析的 SQL 语法能够看下对应模块的 test 模块。
– 具体演示
具体的实战演示过程在公众号上不做回顾，各位社区小伙伴们可返回 B 站查看直播回顾视频。
B 站直播回顾地址：
https://www.bilibili.com/vide…
三、Calcite 在 ChunJun-DDL 中的实际利用
咱们通过引入 Calcite 进行 SQL 的解析，上一章节咱们对 ChunJun-DDL 解析模块进行了实战演示，接下来咱们为大家分享 Calcite 在 ChunJun-DDL 中的实际利用。
– 第一步
Mavne 依赖，具体可见 ChunJun-DDL-MySQL Module 的 pom 配置。
– 第二步
Main 工程目录下增加对应的 Codegen 文件夹，外面次要由 config.fmpp（Calcite 的配置文件）和 FTL 语法文件组成。
– 第三步
依照数据源语法编写 FTL 文件
Calcite 应用 Javacc 作为语法解析器，并且应用 Freemarker 作为模板引擎，在编译的时候，Freemarker 会将配置文件、模板语法文件、附加模板文件整体生成最终的语法文件，并通过 JavaCC 编译，造成 Calcite 的语法文件。
– 具体演示
具体的实战演示过程在公众号上不做回顾，各位社区小伙伴们可返回 B 站查看直播回顾视频。
B 站直播回顾地址：
https://www.bilibili.com/vide…
袋鼠云开源框架钉钉技术交换 qun（30537511），欢送对大数据开源我的项目有趣味的同学退出交换最新技术信息，开源我的项目库地址：https://github.com/DTStack