关于java:MySQL如何实时同步数据到ES试试这款阿里开源的神器

mall我的项目中的商品搜寻性能，始终都没有做实时数据同步。最近发现阿里巴巴开源的canal能够把MySQL中的数据实时同步到Elasticsearch中，能很好地解决数据同步问题。明天咱们来讲讲canal的应用，心愿对大家有所帮忙！

SpringBoot实战电商我的项目mall（40k+star）地址：https://github.com/macrozheng/mall

canal简介

canal主要用途是对MySQL数据库增量日志进行解析，提供增量数据的订阅和生产，简略说就是能够对MySQL的增量数据进行实时同步，反对同步到MySQL、Elasticsearch、HBase等数据存储中去。

canal工作原理

canal会模仿MySQL主库和从库的交互协定，从而伪装成MySQL的从库，而后向MySQL主库发送dump协定，MySQL主库收到dump申请会向canal推送binlog，canal通过解析binlog将数据同步到其余存储中去。

canal应用

接下来咱们来学习下canal的应用，以MySQL实时同步数据到Elasticsearch为例。

组件下载

首先咱们须要下载canal的各个组件canal-server、canal-adapter、canal-admin，下载地址：https://github.com/alibaba/ca...

canal的各个组件的用处各不相同，上面别离介绍下：
- canal-server（canal-deploy）：能够间接监听MySQL的binlog，把本人伪装成MySQL的从库，只负责接收数据，并不做解决。
- canal-adapter：相当于canal的客户端，会从canal-server中获取数据，而后对数据进行同步，能够同步到MySQL、Elasticsearch和HBase等存储中去。
- canal-admin：为canal提供整体配置管理、节点运维等面向运维的性能，提供绝对敌对的WebUI操作界面，不便更多用户疾速和平安的操作。
因为不同版本的MySQL、Elasticsearch和canal会有兼容性问题，所以咱们先对其应用版本做个约定。

利用	端口	版本
MySQL	3306	5.7
Elasticsearch	9200	7.6.2
Kibanba	5601	7.6.2
canal-server	11111	1.1.15
canal-adapter	8081	1.1.15
canal-admin	8089	1.1.15

MySQL配置

因为canal是通过订阅MySQL的binlog来实现数据同步的，所以咱们须要开启MySQL的binlog写入性能，并设置binlog-format为ROW模式，我的配置文件为/mydata/mysql/conf/my.cnf，改为如下内容即可；

[mysqld]## 设置server_id，同一局域网中须要惟一server_id=101 ## 指定不须要同步的数据库名称binlog-ignore-db=mysql  ## 开启二进制日志性能log-bin=mall-mysql-bin  ## 设置二进制日志应用内存大小（事务）binlog_cache_size=1M  ## 设置应用的二进制日志格局（mixed,statement,row）binlog_format=row  ## 二进制日志过期清理工夫。默认值为0，示意不主动清理。expire_logs_days=7  ## 跳过主从复制中遇到的所有谬误或指定类型的谬误，防止slave端复制中断。## 如：1062谬误是指一些主键反复，1032谬误是因为主从数据库数据不统一slave_skip_errors=1062

配置实现后须要重新启动MySQL，重启胜利后通过如下命令查看binlog是否启用；

show variables like '%log_bin%'

+---------------------------------+-------------------------------------+| Variable_name                   | Value                               |+---------------------------------+-------------------------------------+| log_bin                         | ON                                  || log_bin_basename                | /var/lib/mysql/mall-mysql-bin       || log_bin_index                   | /var/lib/mysql/mall-mysql-bin.index || log_bin_trust_function_creators | OFF                                 || log_bin_use_v1_row_events       | OFF                                 || sql_log_bin                     | ON                                  |+---------------------------------+-------------------------------------+

再查看下MySQL的binlog模式；

show variables like 'binlog_format%';

+---------------+-------+| Variable_name | Value |+---------------+-------+| binlog_format | ROW   |+---------------+-------+

接下来须要创立一个领有从库权限的账号，用于订阅binlog，这里创立的账号为canal:canal；

CREATE USER canal IDENTIFIED BY 'canal';  GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';FLUSH PRIVILEGES;

创立好测试用的数据库canal-test，之后创立一张商品表product，建表语句如下。

CREATE TABLE `product`  (  `id` bigint(20) NOT NULL AUTO_INCREMENT,  `title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,  `sub_title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,  `price` decimal(10, 2) NULL DEFAULT NULL,  `pic` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,  PRIMARY KEY (`id`) USING BTREE) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

canal-server应用

将咱们下载好的压缩包canal.deployer-1.1.5-SNAPSHOT.tar.gz上传到Linux服务器，而后解压到指定目录/mydata/canal-server，可应用如下命令解压；

tar -zxvf canal.deployer-1.1.5-SNAPSHOT.tar.gz

├── bin│   ├── restart.sh│   ├── startup.bat│   ├── startup.sh│   └── stop.sh├── conf│   ├── canal_local.properties│   ├── canal.properties│   └── example│       └── instance.properties├── lib├── logs│   ├── canal│   │   └── canal.log│   └── example│       ├── example.log│       └── example.log└── plugin

批改配置文件conf/example/instance.properties，按如下配置即可，次要是批改数据库相干配置；

# 须要同步数据的MySQL地址canal.instance.master.address=127.0.0.1:3306canal.instance.master.journal.name=canal.instance.master.position=canal.instance.master.timestamp=canal.instance.master.gtid=# 用于同步数据的数据库账号canal.instance.dbUsername=canal# 用于同步数据的数据库明码canal.instance.dbPassword=canal# 数据库连贯编码canal.instance.connectionCharset = UTF-8# 须要订阅binlog的表过滤正则表达式canal.instance.filter.regex=.*\\..*

应用startup.sh脚本启动canal-server服务；

sh bin/startup.sh

启动胜利后可应用如下命令查看服务日志信息；

tail -f logs/canal/canal.log

2020-10-26 16:18:13.354 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[172.17.0.1(172.17.0.1):11111]2020-10-26 16:18:19.978 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......

启动胜利后可应用如下命令查看instance日志信息；

tail -f logs/example/example.log

2020-10-26 16:18:16.056 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]2020-10-26 16:18:16.061 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]2020-10-26 16:18:18.259 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 2020-10-26 16:18:18.282 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^.*\..*$2020-10-26 16:18:18.282 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table black filter : ^mysql\.slave_.*$2020-10-26 16:18:19.543 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> begin to find start position, it will be long time for reset or first position2020-10-26 16:18:19.578 [main] INFO  c.a.otter.canal.instance.core.AbstractCanalInstance - start successful....2020-10-26 16:18:19.912 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - prepare to find start position just last position {"identity":{"slaveId":-1,"sourceAddress":{"address":"localhost","port":3306}},"postion":{"gtid":"","included":false,"journalName":"mall-mysql-bin.000006","position":2271,"serverId":101,"timestamp":1603682664000}}2020-10-26 16:18:22.435 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> find start position successfully, EntryPosition[included=false,journalName=mall-mysql-bin.000006,position=2271,serverId=101,gtid=,timestamp=1603682664000] cost : 2768ms , the next step is binlog dump

如果想要进行canal-server服务能够应用如下命令。

sh bin/stop.sh

canal-adapter应用

将咱们下载好的压缩包canal.adapter-1.1.5-SNAPSHOT.tar.gz上传到Linux服务器，而后解压到指定目录/mydata/canal-adpter，解压实现后目录构造如下；

├── bin│   ├── adapter.pid│   ├── restart.sh│   ├── startup.bat│   ├── startup.sh│   └── stop.sh├── conf│   ├── application.yml│   ├── es6│   ├── es7│   │   ├── biz_order.yml│   │   ├── customer.yml│   │   └── product.yml│   ├── hbase│   ├── kudu│   ├── logback.xml│   ├── META-INF│   │   └── spring.factories│   └── rdb├── lib├── logs│   └── adapter│       └── adapter.log└── plugin

批改配置文件conf/application.yml，按如下配置即可，次要是批改canal-server配置、数据源配置和客户端适配器配置；

canal.conf:  mode: tcp # 客户端的模式，可选tcp kafka rocketMQ  flatMessage: true # 扁平message开关, 是否以json字符串模式投递数据, 仅在kafka/rocketMQ模式下无效  zookeeperHosts:    # 对应集群模式下的zk地址  syncBatchSize: 1000 # 每次同步的批数量  retries: 0 # 重试次数, -1为有限重试  timeout: # 同步超时工夫, 单位毫秒  accessKey:  secretKey:  consumerProperties:    # canal tcp consumer    canal.tcp.server.host: 127.0.0.1:11111 #设置canal-server的地址    canal.tcp.zookeeper.hosts:    canal.tcp.batch.size: 500    canal.tcp.username:    canal.tcp.password:  srcDataSources: # 源数据库配置    defaultDS:      url: jdbc:mysql://127.0.0.1:3306/canal_test?useUnicode=true      username: canal      password: canal  canalAdapters: # 适配器列表  - instance: example # canal实例名或者MQ topic名    groups: # 分组列表    - groupId: g1 # 分组id, 如果是MQ模式将用到该值      outerAdapters:      - name: logger # 日志打印适配器      - name: es7 # ES同步适配器        hosts: 127.0.0.1:9200 # ES连贯地址        properties:          mode: rest # 模式可选transport(9300) 或者 rest(9200)          # security.auth: test:123456 #  only used for rest mode          cluster.name: elasticsearch # ES集群名称

增加配置文件canal-adapter/conf/es7/product.yml，用于配置MySQL中的表与Elasticsearch中索引的映射关系；

dataSourceKey: defaultDS # 源数据源的key, 对应下面配置的srcDataSources中的值destination: example  # canal的instance或者MQ的topicgroupId: g1 # 对应MQ模式下的groupId, 只会同步对应groupId的数据esMapping:  _index: canal_product # es 的索引名称  _id: _id  # es 的_id, 如果不配置该项必须配置上面的pk项_id则会由es主动调配  sql: "SELECT            p.id AS _id,            p.title,            p.sub_title,            p.price,            p.pic        FROM            product p"        # sql映射  etlCondition: "where a.c_time>={}"   #etl的条件参数  commitBatch: 3000   # 提交批大小

应用startup.sh脚本启动canal-adapter服务；

sh bin/startup.sh

启动胜利后可应用如下命令查看服务日志信息；

tail -f logs/adapter/adapter.log

20-10-26 16:52:55.148 [main] INFO  c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: logger succeed2020-10-26 16:52:57.005 [main] INFO  c.a.o.c.client.adapter.es.core.config.ESSyncConfigLoader - ## Start loading es mapping config ... 2020-10-26 16:52:57.376 [main] INFO  c.a.o.c.client.adapter.es.core.config.ESSyncConfigLoader - ## ES mapping config loaded2020-10-26 16:52:58.615 [main] INFO  c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: es7 succeed2020-10-26 16:52:58.651 [main] INFO  c.alibaba.otter.canal.connector.core.spi.ExtensionLoader - extension classpath dir: /mydata/canal-adapter/plugin2020-10-26 16:52:59.043 [main] INFO  c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Start adapter for canal-client mq topic: example-g1 succeed2020-10-26 16:52:59.044 [main] INFO  c.a.o.canal.adapter.launcher.loader.CanalAdapterService - ## the canal client adapters are running now ......2020-10-26 16:52:59.057 [Thread-4] INFO  c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - =============> Start to connect destination: example <=============2020-10-26 16:52:59.100 [main] INFO  org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8081"]2020-10-26 16:52:59.153 [main] INFO  org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read2020-10-26 16:52:59.590 [main] INFO  o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8081 (http) with context path ''2020-10-26 16:52:59.626 [main] INFO  c.a.otter.canal.adapter.launcher.CanalAdapterApplication - Started CanalAdapterApplication in 31.278 seconds (JVM running for 33.99)2020-10-26 16:52:59.930 [Thread-4] INFO  c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - =============> Subscribe destination: example succeed <=============

如果须要进行canal-adapter服务能够应用如下命令。

sh bin/stop.sh

数据同步演示

通过下面的一系列步骤，canal的数据同步性能曾经根本能够应用了，上面咱们来演示下数据同步性能。

首先咱们须要在Elasticsearch中创立索引，和MySQL中的product表绝对应，间接在Kibana的Dev Tools中应用如下命令创立即可；

PUT canal_product{  "mappings": {    "properties": {      "title": {        "type": "text"      },      "sub_title": {        "type": "text"      },      "pic": {        "type": "text"      },      "price": {        "type": "double"      }    }  }}

创立实现后能够查看下索引的构造；

GET canal_product/_mapping

之后应用如下SQL语句在数据库中创立一条记录；

INSERT INTO product ( id, title, sub_title, price, pic ) VALUES ( 5, '小米8', ' 全面屏游戏智能手机 6GB+64GB', 1999.00, NULL );

创立胜利后，在Elasticsearch中搜寻下，发现数据曾经同步了；

GET canal_product/_search

再应用如下SQL对数据进行批改；

UPDATE product SET title='小米10' WHERE id=5

批改胜利后，在Elasticsearch中搜寻下，发现数据曾经批改了；

再应用如下SQL对数据进行删除操作；

DELETE FROM product WHERE id=5

删除胜利后，在Elasticsearch中搜寻下，发现数据曾经删除了，至此MySQL同步到Elasticsearch的性能实现了！

canal-admin应用

将咱们下载好的压缩包canal.admin-1.1.5-SNAPSHOT.tar.gz上传到Linux服务器，而后解压到指定目录/mydata/canal-admin，解压实现后目录构造如下；

├── bin│   ├── restart.sh│   ├── startup.bat│   ├── startup.sh│   └── stop.sh├── conf│   ├── application.yml│   ├── canal_manager.sql│   ├── canal-template.properties│   ├── instance-template.properties│   ├── logback.xml│   └── public│       ├── avatar.gif│       ├── index.html│       ├── logo.png│       └── static├── lib└── logs

创立canal-admin须要应用的数据库canal_manager，创立SQL脚本为/mydata/canal-admin/conf/canal_manager.sql，会创立如下表；

批改配置文件conf/application.yml，按如下配置即可，次要是批改数据源配置和canal-admin的治理账号配置，留神须要用一个有读写权限的数据库账号，比方治理账号root:root；

server:  port: 8089spring:  jackson:    date-format: yyyy-MM-dd HH:mm:ss    time-zone: GMT+8spring.datasource:  address: 127.0.0.1:3306  database: canal_manager  username: root  password: root  driver-class-name: com.mysql.jdbc.Driver  url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false  hikari:    maximum-pool-size: 30    minimum-idle: 1canal:  adminUser: admin  adminPasswd: admin

接下来对之前搭建的canal-server的conf/canal_local.properties文件进行配置，次要是批改canal-admin的配置，批改实现后应用sh bin/startup.sh local重启canal-server：

# register ipcanal.register.ip =# canal admin configcanal.admin.manager = 127.0.0.1:8089canal.admin.port = 11110canal.admin.user = admincanal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441# admin auto registercanal.admin.register.auto = truecanal.admin.register.cluster =

应用startup.sh脚本启动canal-admin服务；

sh bin/startup.sh

启动胜利后可应用如下命令查看服务日志信息；

tail -f logs/admin.log

020-10-27 10:15:04.210 [main] INFO  org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8089"]2020-10-27 10:15:04.308 [main] INFO  org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read2020-10-27 10:15:04.534 [main] INFO  o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8089 (http) with context path ''2020-10-27 10:15:04.573 [main] INFO  com.alibaba.otter.canal.admin.CanalAdminApplication - Started CanalAdminApplication in 31.203 seconds (JVM running for 34.865)

拜访canal-admin的Web界面，输出账号密码admin:123456即可登录，拜访地址：http://192.168.3.101:8089

登录胜利后即可应用Web界面操作canal-server。

参考资料

canal官网文档：https://github.com/alibaba/ca...

配置文件地址

https://github.com/macrozheng...

本文 GitHub https://github.com/macrozheng/mall-learning 曾经收录，欢送大家Star！