关于shardingsphere:详探-Apache-ShardingSphere-SQL-Parse-Format-功能

图片

陈出新，SphereEx 中间件研发工程师，Apache ShardingSphere Committer，目前专一于 Apache ShardingSphere 内核模块的研发工作。

常常应用数据库的敌人们肯定见过无比简单的 SQL，以上面的 SQL 语句为例，你能立即看进去这条 SQL 的含意吗？

通过格式化之后是不是容易了解多了：

置信大家拿到简单 SQL 剖析的第一步就是格式化这个 SQL，而后能力基于格式化之后的内容进一步剖析 SQL 语义。SQL 的格式化性能也是泛滥数据库相干软件的必备性能之一。Apache ShardingSphere 基于这样的需要，依靠自带的数据库方言解析引擎，推出了本人的 SQL 格式化工具——SQL Parse Format。

SQL Parse Format 是 Apache ShardingSphere 解析引擎的性能之一，也将是将来布局版本中 SQL 审计性能的根底。 本文将率领读者深入浅出地了解 SQL Parse Format 性能，理解它的底层原理、应用形式以及如何参加 SQL Parse Format 开发。

SQL Parse Format 作为 Apache ShardingSphere 解析引擎的性能之一，是解析引擎中独特并且绝对独立的性能。要了解 SQL Parse Format 性能，须要首先须要理解 Apache ShardingSphere 的解析引擎。

Apache ShardingSphere 解析引擎创立的初衷是为了提取 SQL 中的要害信息，例如用于分库分表的字段、加密改写的列等等内容。随着 Apache ShardingSphere 的一直倒退，解析引擎也经验了 3 代产品的更新迭代。

第一代解析引擎采纳 Druid 作为 SQL 解析器，它在 1.4.x 之前的版本应用，性能优异。第二代解析引擎采纳了全自研的形式，因为应用目标不同，第二代产品采纳对 SQL 半了解的形式，仅仅提取分片数据关怀的上下文信息，无需生成解析树，也不必二次遍历，因而性能和兼容性进一步晋升。第三代解析引擎采纳 ANTLR 作为解析引擎的生成器，从而生成解析树，而后再对解析树进行二次遍历拜访提取上下文信息。利用 ANTLR 作为解析引擎生成器之后，SQL 的兼容性得以大幅晋升，Apache ShardingSphere 的泛滥性能也可能基于这个根底疾速开展。5.0.x 的版本也对第三代解析引擎进行了大量的性能优化，包含将遍历形式从 Listener 变为 Visitor，为预编译的 SQL 语句增加解析后果缓存等等。

SQL Parse Format 性能的实现正是得益于第三代解析引擎的创立。接下来，就让咱们将眼光汇集到 SQL Parse Format 性能之上。

SQL Parse Format 是一款 SQL 语句格式化的工具。SQL Parse Format 性能未来还会用于 SQL 审计性能之中，它能够不便用户查看历史 SQL、通过报表展现格式化的 SQL 或者对 SQL 作进一步的剖析解决。

例如如下 SQL 通过 SQL Parse Format 格式化之后会变成以下格局。它通过换行和关键字大写的形式让 SQL 的各个局部更加突出和清晰。

理解了 SQL Parse Format 的基本功能之后，让咱们一起来探索 SQL Parse Format 背地的原理。

以如下 SQL 为例，咱们来一起探索它在 Apache ShardingSphere 中是如何被格式化的。

Apache ShardingSphere 采纳了 ANTLR4 作为解析引擎生成器工具，所以咱们首先依照 ANTLR4 的形式，在 <div class=”output_wrapper” id=”output_wrapper_id” style=”font-size: 16px; color: rgb(62, 62, 62); line-height: 1.6; word-spacing: 0px; letter-spacing: 0px; font-family: ‘Helvetica Neue’, Helvetica, ‘Hiragino Sans GB’, ‘Microsoft YaHei’, Arial, sans-serif;”>.g4</div> 文件中定义了 <div class=”output_wrapper” id=”output_wrapper_id” style=”font-size: 16px; color: rgb(62, 62, 62); line-height: 1.6; word-spacing: 0px; letter-spacing: 0px; font-family: ‘Helvetica Neue’, Helvetica, ‘Hiragino Sans GB’, ‘Microsoft YaHei’, Arial, sans-serif;”>select</div> 的语法（以 MySQL 为例）。

咱们通过 IDEA 的 ANTLR4 插件（https://plugins.jetbrains.com…）能够不便地查看 SQL 生成的语法树。

图片

ANTLR4 会将咱们定义的语法文件编译，首先对 SQL 进行词法剖析，将 SQL 拆分成不可分割的局部，也就是 token，并且会依据不同数据库提供的字典值，将这些 token 划分为关键字，表达式，字面量和操作符。例如，上图中咱们别离失去了关键字 <div class=”output_wrapper” id=”output_wrapper_id” style=”font-size: 16px; color: rgb(62, 62, 62); line-height: 1.6; word-spacing: 0px; letter-spacing: 0px; font-family: ‘Helvetica Neue’, Helvetica, ‘Hiragino Sans GB’, ‘Microsoft YaHei’, Arial, sans-serif;”>SELECT、FROM、WHERE、=</div> 以及变量 <div class=”output_wrapper” id=”output_wrapper_id” style=”font-size: 16px; color: rgb(62, 62, 62); line-height: 1.6; word-spacing: 0px; letter-spacing: 0px; font-family: ‘Helvetica Neue’, Helvetica, ‘Hiragino Sans GB’, ‘Microsoft YaHei’, Arial, sans-serif;”>order_id、t_order、status、OK</div>。接着 ANTLR4 会将语法分析器的输入后果转化为上图的语法树。

联合 Apache ShardingSphere 中的源码，上述过程复现如下所示。

Apache ShardingSphere 的 SQLParserEngine 是对 ANTLR4 解析的封装和形象，它会通过 SPI 的形式来加载数据库方言的解析器，用户能够通过 SPI 扩大点对数据方言进行进一步扩大。另外外部还减少了缓存机制，用来进步性能。咱们着重来看一下解析的相干代码。

private ParseASTNode twoPhaseParse(final String sql) {
 DatabaseTypedSQLParserFacade sqlParserFacade = DatabaseTypedSQLParserFacadeRegistry.getFacade(databaseType);
 SQLParser sqlParser = SQLParserFactory.newInstance(sql, sqlParserFacade.getLexerClass(), sqlParserFacade.getParserClass(), sqlCommentParseEnabled);
 try {
 ((Parser) sqlParser).getInterpreter().setPredictionMode(PredictionMode.SLL);
 return (ParseASTNode) sqlParser.parse();
 } catch (final ParseCancellationException ex) {
 ((Parser) sqlParser).reset();
 ((Parser) sqlParser).getInterpreter().setPredictionMode(PredictionMode.LL);
 try {
 return (ParseASTNode) sqlParser.parse();
 } catch (final ParseCancellationException e) {
 throw new SQLParsingException("You have an error in your SQL syntax");
 }
 }
}
</pre></div>

那么 Apache ShardingSphere 又是如何从解析树失去格式化的 SQL 呢？其实就是通过 Visitor 办法来实现的。ANTLR4 提供了两种拜访语法树的形式，包含 Listener 和 Visitor，ShardingSphere 采纳 Visitor 的形式来拜访语法树。下方代码展现了如何从语法树失去格式化 SQL 的形式。

Apache ShardingSphere 的 <div class=”output_wrapper” id=”output_wrapper_id” style=”font-size: 16px; color: rgb(62, 62, 62); line-height: 1.6; word-spacing: 0px; letter-spacing: 0px; font-family: ‘Helvetica Neue’, Helvetica, ‘Hiragino Sans GB’, ‘Microsoft YaHei’, Arial, sans-serif;”>SQLVisitorEngine</div> 也是对各种方言拜访器的形象和封装。外围办法如下。

上述 visit 办法首先依据数据库类型以及拜访器类型来决定采纳的拜访器，外部也是通过反射的形式来实例化拜访器。目前 visitorType 反对两种形式，一种是 <div class=”output_wrapper” id=”output_wrapper_id” style=”font-size: 16px; color: rgb(62, 62, 62); line-height: 1.6; word-spacing: 0px; letter-spacing: 0px; font-family: ‘Helvetica Neue’, Helvetica, ‘Hiragino Sans GB’, ‘Microsoft YaHei’, Arial, sans-serif;”>FORMAT</div> 也就是格式化，另外一种是 <div class=”output_wrapper” id=”output_wrapper_id” style=”font-size: 16px; color: rgb(62, 62, 62); line-height: 1.6; word-spacing: 0px; letter-spacing: 0px; font-family: ‘Helvetica Neue’, Helvetica, ‘Hiragino Sans GB’, ‘Microsoft YaHei’, Arial, sans-serif;”>STATEMENT</div> 也就是 Apache ShardingSphere 罕用的形式，将 SQL 转化为 Statement 信息，提取相干上下文信息，为后续例如分库分表等性能服务。其实这也是 SQL Parse Format 性能和一般的解析引擎性能的惟一区别。接下来我还是以上述 SQL 为例，通过具体代码展现 Visitor 如何将 SQL 格式化。

图

通过如下代码片段能够帮忙咱们了解 Visitor 实现格式化的形式。当 Visitor 遍历到了 select 之后，会首先对其格式化，接着拜访 projection，projection 外部格式化的实现，会进一步通过 visitProjections 办法实现。在拜访 from 之前会先空行解决。Visitor 实例化的对象外部会保护一个 StringBuilder 用来存储格式化的后果。因为每条 SQL 应用的解析器和拜访器都是新实例化的对象，因而也不会存在线程平安的问题。最初遍历完结后，Apache ShardingSphere 会将 StringBuilder 的后果输入，那么咱们也就失去了格式化的 SQL。

置信通过上述的过程剖析和代码展现，读者敌人们都可能大略理解到 SQL Parse Format 的原理了。

在理解了 SQL Parse Format 的原理之后，应用 SQL Parse Format 也非常简单了。

对于 Java 利用而言，只须要增加依赖，调用 api 即可。

引入依赖

调用 api

Properties 反对参数如下

表格

如果应用 ShardingSphere-Proxy 那么还能够通过 DistSQL 语法来应用 SQL Parse Format 性能。
<div class=”output_wrapper” id=”output_wrapper_id” style=”font-size: 16px; color: rgb(62, 62, 62); line-height: 1.6; word-spacing: 0px; letter-spacing: 0px; font-family: ‘Helvetica Neue’, Helvetica, ‘Hiragino Sans GB’, ‘Microsoft YaHei’, Arial, sans-serif;”><pre style=”font-size: inherit; color: inherit; line-height: inherit; margin: 0px; padding: 0px;”>mysql> FORMAT select order_id from t_user where status = 'OK'; +-----------------------------------------------------+ | formatted_result | +-----------------------------------------------------+ | SELECT order_id FROM t_user WHERE status = 'OK'; | +-----------------------------------------------------+</pre></div>

对于前文提到的 Statement 形式的解析引擎，也能够不便地查看将 SQL 转化为 SQLStatement 的后果。

<div class=”output_wrapper” id=”output_wrapper_id” style=”font-size: 16px; color: rgb(62, 62, 62); line-height: 1.6; word-spacing: 0px; letter-spacing: 0px; font-family: ‘Helvetica Neue’, Helvetica, ‘Hiragino Sans GB’, ‘Microsoft YaHei’, Arial, sans-serif;”><pre style=”font-size: inherit; color: inherit; line-height: inherit; margin: 0px; padding: 0px;”>mysql> parse SELECT id, name FROM t_user WHERE status = 'ACTIVE' AND age > 18; +----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ | parsed_statement | parsed_statement_detail | +----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ | MySQLSelectStatement | {"projections":{"startIndex":7,"stopIndex":14,"distinctRow":false,"projections":[{"column":{"startIndex":7,"stopIndex":8,"identifier":{"value":"id","quoteCharacter":"NONE"}}},{"column":{"startIndex":11,"stopIndex":14,"identifier":{"value":"name","quoteCharacter":"NONE"}}}]},"from":{"tableName":{"startIndex":21,"stopIndex":26,"identifier":{"value":"t_user","quoteCharacter":"NONE"}}},"where":{"startIndex":28,"stopIndex":63,"expr":{"startIndex":34,"stopIndex":63,"left":{"startIndex":34,"stopIndex":50,"left":{"startIndex":34,"stopIndex":39,"identifier":{"value":"status","quoteCharacter":"NONE"}},"right":{"startIndex":43,"stopIndex":50,"literals":"ACTIVE"},"operator":"\u003d","text":"status \u003d \u0027ACTIVE\u0027"},"right":{"startIndex":56,"stopIndex":63,"left":{"startIndex":56,"stopIndex":58,"identifier":{"value":"age","quoteCharacter":"NONE"}},"right":{"startIndex":62,"stopIndex":63,"literals":18},"operator":"\u003e","text":"age \u003e 18"},"operator":"AND","text":"status \u003d \u0027ACTIVE\u0027 AND age \u003e 18"}},"unionSegments":[],"parameterCount":0,"commentSegments":[]} | +----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+</pre></div>

更多 DistSQL 性能欢送查看 DistSQL 文档：https://shardingsphere.apache.org/document/current/cn/concepts/distsql/

目前 Apache ShardingSphere 只实现了 MySQL 方言的格式化性能，其它方言还未实现，置信理解了原理和应用的你肯定也可能轻松参加到 SQL Parse Format 性能的开发中。如果你对参加奉献开源代码有趣味，也欢送来到社区参加奉献，置信通过奉献代码，你能更粗浅地了解 Apache ShardingSphere 的相干性能。

GitHub issue：

https://github.com/apache/shardingsphere/issues

奉献指南：

https://shardingsphere.apache.org/community/cn/contribute/

中文社区：

https://community.sphere-ex.com/

关于shardingsphere:详探-Apache-ShardingSphere-SQL-Parse-Format-功能

Parser Engine

SQL Parse Format

SQL Parse Format 原理解读

SQL Parse Format 使用指南

结语