关于运维自动化:SQL审核-SQLE-二次开发环境搭建

作者：Jason

就任于捷信生产金融有限公司，负责 DBA 工作。先后从事过 oracle、mongo、mysql 的 DBA，以及大数据 ETL 的开发工作。对 NEWSQL 以及云原生分布式数据库具备浓重的兴趣爱好。

本文起源：原创投稿

* 爱可生开源社区出品，原创内容未经受权不得随便应用，转载请分割小编并注明起源。

SQLE 是由上海爱可生信息技术股份有限公司开发并开源，反对 SQL 审核、索引优化、事先审核、预先审核、反对标准化上线流程、原生反对 MySQL 审核且数据库类型可扩大的 SQL 审核工具。

官方主页：https://opensource.actionsky….
官网文档：Introduction · SQLE manual (actiontech.github.io)

（！！！当时申明：二次开发纯属于集体技术钻研，不得进行任何商业盈利行为）

咱们上面来搭建一下 SQLE 的二次开发环境：SQLE 采纳了前后台分离式的开发模式。

后盾采纳：go 公布的 restful API

前台采纳：nodeJS + react

咱们先看第一局部：

后盾采纳：go 公布的 restful API

事后筹备：go 语言的环境，版本为 1.16

开发环境 linux 或者 mac os

这里须要强调的是 windows 上面代码是跑不通的：会遇到如下的谬误

..\..\..\vendor\github.com\openark\golib\log\log.go:90:19: undefined: syslog.Writer
..\..\..\vendor\github.com\openark\golib\log\log.go:110:22: undefined: syslog.New
..\..\..\vendor\github.com\openark\golib\log\log.go:110:33: undefined: syslog.LOG_ERR

GO 官网的解释如下：大抵的意思就是 windows 环境下没有具体实现这个 syslog package

This package is not implemented on Windows. As the syslog package is frozen, Windows users are encouraged to use a package outside of the standard library. For background, see https://golang.org/issue/1108.
This package is not implemented on Plan 9.
This package is not implemented on NaCl (Native Client).

这次咱们的开发环境是抉择搭建在 linux 的 server 上。

第一步，咱们首先须要从 github 上下载残缺的我的项目。（个别国内都须要迷信上网）

我这里间接下载到了 linux 的测试环境中

TEST mongo@wqdcsrv3066[16:03:03]:/data/jason $ git clone https://github.com/actiontech/sqle.git
Cloning into 'sqle'...
remote: Enumerating objects: 28097, done.
remote: Counting objects: 100% (2998/2998), done.
remote: Compressing objects: 100% (1124/1124), done.
Receiving objects:  45% (12786/28097), 34.29 MiB | 2.00 MiB/s

我的项目下载结束后，咱们须要在 linux 零碎上开启 IDE 导入这个我的项目：我这里用的是 GOland。

因为 IDE 是图形化界面的，咱们须要在本地 windows 上应用 VNC viewer 与 linux 的开发机器进行连贯：

连贯到 server 上之后，执行命令启动 Goland 即可

下一步，咱们须要导入之前下载的我的项目。

导入后，咱们察看一下我的项目目录：启动的 package main 包是在门路 sqle/cmd/sqld/sqled.go 和 sqle/cmd/sqld/gen_secret_pass.go 这 2 个文件

因为我的项目启动须要开启 web 服务的端口并且连贯到数据库，咱们能够本人创立一个 sqled.yml 文件

server:
  sqle_config:
    server_port: 10000
    #auto_migrate_table: 'AUTO_MIGRATE_TABLE'
    #debug_log: 'DEBUG'
    log_path: '/data/sqle-main/logs'
    #plugin_path: '/data/sqle-main/plugins'
  db_config:
    mysql_cnf:
      mysql_host: '10.67.200.37'
      mysql_port: 3306
      mysql_user: 'app_sqle'
      mysql_password: '*******'
      mysql_schema: 'sqle'

咱们须要在 MySQL 中创立相应的数据库以及账户：

[root@localhost][performance_schema]> select @@port;
+--------+
| @@port |
+--------+
|   3306 |
+--------+
1 row in set (0.00 sec)
[root@localhost][performance_schema]> CREATE DATABASE IF NOT EXISTS sqle default character set utf8mb4 collate utf8mb4_unicode_ci;
Query OK, 1 row affected (3.00 sec)
[root@localhost][performance_schema]> create user app_sqle@'%' identified with mysql_native_password by "***********";
Query OK, 0 rows affected (0.01 sec)
[root@localhost][performance_schema]> grant all on sqle.* to app_sqle@'%';
Query OK, 0 rows affected (0.00 sec

下一步咱们尝试启动一下这个我的项目：

启动的 package main 包是在门路 sqle/cmd/sqld/sqled.go 和 sqle/cmd/sqld/gen_secret_pass.go 这 2 个文件

须要指定咱们的配置文件：–config /data/sqle-main/sqle/sqled.yml

咱们尝试 go bulild 一下这个我的项目：

查看 console 输入：

咱们最初用 postman 测试一下登录的 API：10.67.200.38:10000/v1/login

至此咱们后盾环境搭建结束，下一步咱们来搭建前台环境：

前台采纳：nodeJS + react

Again, 因为 windows 系统对 nodejs 反对不是很好，倡议采纳 MAC OS 或者 Linux 零碎进行开发。

咱们这次采纳是 windows 上装置 vs code 通过近程的形式在 Linux 上进行调试。

首先，咱们先在 Linux OS 上装置 node js 的环境：

下载 nodejs：http://nodejs.cn/download/

下载实现后，上传至 linux 服务器并且解压装置如下：

TEST mongo@wqdcsrv3066[15:24:08]:/data/jason/nodejs $ xz -d
node-v16.14.0-linux-x64.tar.xz
TEST mongo@wqdcsrv3066[15:25:38]:/data/jason/nodejs $ tar
-xvf  node-v16.14.0-linux-x64.tar
TEST mongo@wqdcsrv3066[15:27:11]:/data/jason/nodejs $ mv
node-v16.14.0-linux-x64 node
  
TEST mongo@wqdcsrv3066[15:28:19]:/data/jason/nodejs/node $
sudo ln -s /data/jason/nodejs/node/bin/node /usr/bin/node
TEST mongo@wqdcsrv3066[15:28:27]:/data/jason/nodejs/node $
sudo ln -s /data/jason/nodejs/node/bin/npm /usr/bin/npm
TEST mongo@wqdcsrv3066[15:29:03]:/data/jason/nodejs/node $
mkdir node_global
TEST mongo@wqdcsrv3066[15:29:10]:/data/jason/nodejs/node $
mkdir node_cache
TEST mongo@wqdcsrv3066[15:29:15]:/data/jason/nodejs/node $
npm config set prefix "node_global"
TEST mongo@wqdcsrv3066[15:29:21]:/data/jason/nodejs/node $
npm config set cache "node_cache"
TEST mongo@wqdcsrv3066[15:29:33]:/data/jason/nodejs/node $
node --version
v16.14.0

咱们要须要装置 YARN 包，用来编译代码打 build 用：

TEST mongo@wqdcsrv3066[16:52:45]:/home/mongo $ npm install -g yarn
changed 1 package, and audited 2 packages in 2s
found 0 vulnerabilities

同时咱们也须要为 YARN 这个命令配置软连贯：

TEST mongo@wqdcsrv3066[17:14:00]:/home/mongo $ sudo ln -s /data/jason/nodejs/node/node_global/bin/yarn /usr/bin/yarn
TEST mongo@wqdcsrv3066[17:16:47]:/home/mongo $ yarn version
yarn version v1.22.17
...
...

至此，咱们曾经在 linux 上配置完了 nodeJS 的环境，接下来咱们要从 github 上下载一下 SQLE 的 UI 库的代码：https://github.com/actiontech…

TEST mongo@wqdcsrv3066[21:38:21]:/data/jason $ git clone
https://github.com/actiontech/sqle-ui.git
Cloning into 'sqle-ui'...
remote: Enumerating objects: 4982, done.
remote: Counting objects: 100% (4982/4982), done.
remote: Compressing objects: 100% (1998/1998), done.
remote: Total 4982 (delta 2809), reused 4648 (delta 2505),
pack-reused 0
Receiving objects: 100% (4982/4982), 2.01 MiB | 89.00 KiB/s,
done.
Resolving deltas: 100% (2809/2809), done.

接下来，咱们在 windows 上的 IDE vscode 中配置一下近程连贯 linux 的设置

装置近程连贯的插件 Remote Development

装置实现后会同样生成图标。

配置近程登录的 server 信息：

须要输出连贯服务器的明码：

咱们能够看到我的项目曾经导入胜利：

到目前为止，咱们曾经配置好了开发环境，下一步咱们尝试编译和启动一下我的项目：

当然，咱们还须要批改一下后盾服务的 API 公布的地址：咱们找到文件 package.json

还有文件 craco.config.js

咱们下一步，来下载我的项目须要的包：

TEST mongo@wqdcsrv3066[21:26:16]:/data/jason/sqle-ui-new/sqle-ui $ yarn install
yarn install v1.22.17
[1/5] Validating package.json...
[2/5] Resolving packages...
[3/5] Fetching packages...
[4/5] Linking dependencies...
warning "> @testing-library/user-event@12.8.3" has unmet peer dependency "@testing-library/dom@>=7.21.4".
warning "craco-less > less-loader@7.3.0" has unmet peer dependency "webpack@^4.0.0 || ^5.0.0".
warning "> monaco-editor-webpack-plugin@3.1.0" has unmet peer dependency "webpack@^4.5.0 || 5.x".
warning "> monaco-editor-webpack-plugin@3.1.0" has unmet peer dependency "monaco-editor@0.22.x || 0.23.x || 0.24.x".
warning "> react-monaco-editor@0.43.0" has incorrect peer dependency "@types/react@^17.x".
[5/5] Building fresh packages...
Done in 61.65s.

接着咱们要编译一下代码：

$ node ./scripts/moveAntdCss.js && node ./scripts/getGitVersion.js
$ craco build
current mode: ce
Creating an optimized production build...
Browserslist: caniuse-lite is outdated. Please run:
npx browserslist@latest --update-db
Why you should do it regularly:
https://github.com/browserslist/browserslist#browsers-data-updating
Compiled successfully.
File sizes after gzip:
  588.6 KB   build/static/js/OrderDetail.4a59ec36.chunk.js
  580.25 KB  build/static/js/CreateOrder.8026b0aa.chunk.js
  532.43 KB  build/static/js/22.c21d2951.chunk.js
  61.76 KB   build/static/js/DataSource.829fc664.chunk.js
  59.74 KB   build/static/js/AuditPlan.9f3f1b23.chunk.js
  57.64 KB   build/static/js/Order.003be5b1.chunk.js
  47.66 KB   build/static/js/User.9fe363ac.chunk.js
  46.36 KB   build/static/js/UserGroup.044f6248.chunk.js
  45.92 KB   build/editor.worker.js
  44.41 KB   build/static/js/RuleTemplate.86cc7bbb.chunk.js
  39.9 KB    build/static/js/Role.039a086a.chunk.js
  29.54 KB   build/static/js/PlanDetail.90341552.chunk.js
  20.63 KB   build/static/js/main.21b0188c.chunk.js
  13.98 KB   build/static/js/3.1aa16012.chunk.js
  13.98 KB   build/static/js/Account.3465705d.chunk.js
  13.23 KB   build/static/js/1.1bb8d820.chunk.js
  10.94 KB   build/static/js/System.9ea63f78.chunk.js
  9.32 KB    build/static/css/CreateOrder.90ee172f.chunk.css
  9.32 KB    build/static/css/OrderDetail.90ee172f.chunk.css
  8.65 KB    build/static/js/4.dfda53f3.chunk.js
  6.44 KB    build/static/js/23.d9ad2202.chunk.js
  5.89 KB    build/static/js/Login.19923fb4.chunk.js
  5.86 KB    build/static/js/Rule.828dfc27.chunk.js
  5.51 KB    build/static/js/0.d9a06cf9.chunk.js
  5.13 KB    build/static/js/2.68214f76.chunk.js
  4.87 KB    build/static/js/Home.aa89add8.chunk.js
  1.88 KB    build/static/js/runtime-main.e8405fb1.js
  1.4 KB     build/static/js/24.6c710535.chunk.js
  982 B      build/static/css/22.b58f2af8.chunk.css
  819 B      build/static/css/main.cdb4f5a9.chunk.css
  493 B      build/static/css/Login.141bcc4c.chunk.css
  313 B      build/static/css/AuditPlan.f5209654.chunk.css
  250 B      build/static/css/RuleTemplate.770a3f55.chunk.css
  139 B      build/static/css/PlanDetail.b50384ea.chunk.css
  96 B       build/static/css/Rule.864c09ef.chunk.css
The project was built assuming it is hosted at /.
You can control this with the homepage field in your package.json.
The build folder is ready to be deployed.
You may serve it with a static server:
  yarn global add serve
  serve -s build
Find out more about deployment here:
  https://cra.link/deployment
Done in 79.65s.

代码编译实现后，咱们在 IDE 中尝试把我的项目启动起来：执行 yarn run start

尝试浏览器拜访 SQLE：http://10.67.200.38:3000

尝试登陆 admin/admin

至此，前台开开发环境搭建实现！

总体上来说，这种前后端拆散的开发方式对凋谢人员的技术堆栈和综合能力要求还是比拟高的。

另外还要加上数据库畛域的专业知识，并非 1、2 集体能够实现的。

最初感激爱可生公司开源了本人的代码审核零碎！

爱可生开源社区的 SQLE 是一款面向数据库使用者和管理者，反对多场景审核，反对标准化上线流程，原生反对 MySQL 审核且数据库类型可扩大的 SQL 审核工具。

获取形式：

| 类型 | 地址 |
| — | — |
| 版本库 | https://github.com/actiontech… |
| 文档 | https://actiontech.github.io/… |
| 公布信息 | https://github.com/actiontech… |

有更多对于 SQLE 相干的技术问题，能够扫码或间接退出官网 QQ 技术交换群（637150065）进行交换。欢送大家来“骚扰”…