之前写过一篇介绍 canal 的文章《mysql增量同步 – canal》，在数据同步的局部，次要着重演示了在代码中通过 canal.client 来同步。过后也有提到 canal adapte…

摘要：谷粉掉的每一根头发，都被刻上了字：汪公子到此一游。他来了，他又带着礼物走来了。他眼神中有着梁朝伟同款的忧郁，稠密的胡茬一看就是有故事的人，洒脱美少年，皎如玉树临风前。他就是生产队里的劳模：汪公子。看看汪公子这一年都干了些什么：Flume新版视频教程Hadoop3.x高可用集群视频教程Flink CDC视频教程Flin…

在上一篇文章中，咱们应用 Canal Admin 搭建了Canal Server 集群，在这篇文章中，咱们应用上篇文章的根底，将音讯发送到kafka音讯队列中。

一、背景应用CanalAdmin来搭建一个canal集群。二、机器状况服务名机器ip备注canal admin127.0.0.1:8089canal admin 机器canal server 1127.0.0.1:11111本地canal server机器canal server 2127.0.0.1:11113本地canal server机器zk127.0.0.1:2181,<br/>127.0.0.1:3181,<br/>127.0.0.1:4181本地zk集群mysql127….

工作中有个需要，当数据库的数据变更时，另外一个零碎中的数据要能及时感应到，通过调研晓得，监听数据库的binlog能够做到一个准实时的告诉，而canal主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和生产，正好满足需要，此处记录一下canal的简略应用。

简介：本文将介绍如何将 MySQL 中的数据，通过 Binlog + Canal 的模式导入到 Kafka 中，继而被 Flink 生产的案例。

canal是什么？canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和生产基于日志增量订阅和生产的业务包含数据库镜像数据库实时备份索引构建和实时保护(拆分异构索引、倒排索引等)业务 cache 刷新带业务逻辑的增量数据处理以后的 canal 反对源端 MySQL 版本包含 5.1.x ,…

后面的文章应用canal订阅mysql数据变动进而同步数据，这里钻研canal的外部个性，进而更好地应用canal，大部分内容来自官网，还有一部分来自我的了解。canal主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和生产。

在通常的微服务中，服务之间须要频繁的传递各种负责的数据结构，然而kafka仅仅反对简略的类型如String，Integer。于是咱们在服务之间应用JSONObject，因为JSON能够很容易的转化为String，而String的序列化和反序列化曾经被反对。

canal是阿里巴巴旗下的一款开源我的项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&生产，目前次要反对了Mysql（也反对mariaDB）。