CloudCanal- 万少 查看原文
前言
CloudCanal 是一款由 ClouGence 公司发行的集构造迁徙、数据全量迁徙 / 校验 / 勘误、增量实时同步为一体的数据迁徙同步平台。产品蕴含残缺的产品化能力，助力企业突破数据孤岛、实现数据互融互通，从而更好的应用数据。CloudCanal 社区版为收费版本，咱们会继续地对其保护，请大家释怀下载应用。如有趣味应用请参考文章底部相干材料。
数据同步产品的透明化、可视化运维
数据同步产品是企业的基础设施产品，其透明化、可视化水平与产品的运维、应用效率非亲非故。
透明化
透明化指产品外部自身对于用户来说不齐全是一个黑盒子，产品外部外围构件以产品化的模式向用户通明，使得用户能够染指外部构件的治理，提供更加精细化的产品管制。
对于数据同步这类基础设施产品，透明化会显得更为重要。数据同步产品因为用户的数据源、数据负载、数据处理需要、机器环境等差别，用户在理论应用、运维中往往须要有对产品更强的干涉能力，从而更好的满足本身的场景需要。在数据同步畛域，这类干涉诉求次要体现在如下几个方面：
- 源、指标外围组件透明化 ：用户可能对源端的读取器和对端的写入器有更加精密的管制。例如对于源端能够配置限流、批大小、解析线程数等。
- 外部组件异样透明化 ：在公有部署的状况下，数据同步产品的数据源、机器等等都是用户增加的。场景自身的复杂性，不可避免的导致一些因为应用、配置不当而产生的异样。外部组件异样透明化，能够使得用户更加精确、及时的发现问题、解决问题。例如数据同步过程中，数据源忽然下线，通过透明化的日志即可看到数据源 Connection refused 异样，这样，能够疾速将问题起因锁定在数据源无法访问这点上。
- 运行时信息透明化 ：丰盛的运行时信息可能使得呈现问题时，提供更多诊断信息，疾速定为问题起因。
可视化运维
可视化运维次要体现在产品性能各个维度的可视化成熟度。更高的可视化水平，会带来更好的易用性和产品体验。
CloudCanal 透明化、可视化运维
外围组件通明可视化
CloudCanal 外围组件次要蕴含：
- Console: 管控过程，负责产品化能力
- Sidecar: 机器保姆过程，负责 task 和 console 之间信息转发以及 task 的可用性保障
- Task: 具体迁徙、同步工作的执行
其中针对 Console 组件，其外部还蕴含以下组件：
- 异步工作工作流：数据同步工作的创立过程比较复杂，CloudCanal 通过异步工作流来实现。
- 状态机：状态机次要负责工作状态的切换，次要是构造迁徙、全量、增量之间的阶段切换
在 CloudCanal 中，这些外围组件对用户都是通明的，用户能够通过可视化的界面对这些外部组件进行精细化的管制。
SIDECAR
在机器治理页面能够对 Sidecar 组件进行管制和查看，蕴含：
- 生命周期治理
- 近程日志查看
- 具体机器监控（点击圆盘能够进入具体）
CONSOLE
异步工作工作流
数据同步产品中工作创立是个简单的流程，往往设计多个子工作。CloudCanal 的 console 内置的异步工作工作流会按程序执行子工作。针对失败的子工作，咱们能够看到具体失败的步骤，以及错误信息，便于运维同学定位问题。
状态机
每个工作都有其关联的状态机，负责工作的阶段流转。状态的流转由条件触发器触发。
TASK
工作详情
工作列表页提供了工作的列表信息和根本的生命周期控制能力以及进度查看。
工作详情页面提供了工作残缺的详情信息，包含：
- 生命周期管制
- 订阅关系查看（库表映射）
- 源端、指标端数据源详细信息
- 各阶段同步细节
- 工作白屏化日志
- 关联的绑定机器信息
- 同步进度、位点细节
工作内核参数
除工作详情的通明可视化之外，工作内核参数是 CloudCanal 对于工作精细化管制的重要能力。工作详情中的参数批改反对对工作内核进行更加精细化的管制，以指标端参数配置为例，咱们能够管制例如：
- 异样跳过策略
- 并行度
- 束缚抵触时的解决策略
- 对端 RPS 限流
- 大小写策略
外部组件异样透明化
CloudCanal 的管控会收集所有的异样日志，并且可视化的在控制台展现。外围组件的日志均会分类展现，便于用户疾速查看日志和定位问题。CloudCanal 会残缺毫无脱漏的收集所有运行时的异样，这也使得一些在日志中隐秘的、偶发的问题间接裸露进去。这些信息都会领导 CloudCanal 后续的研发，确保产品步步为营、高质量地去迭代降级。
运行时信息透明化
CloudCanal 的运行时信息透明化次要体现在如下两个维度：
- 监控
- 日志
监控
CloudCanal 在管制台上即可查看所有组件的监控信息。每个外围组件的监控下依照不同维度会细分多张图表，让用户对外围组件有着齐全的掌控。例如增量源端的监控，咱们监控会粗疏到内存队列的阻塞工夫、每秒 flush 事务数等指标。
日志
在 CloudCanal 平台上提供了外围组件的白屏化日志，并且对日志均依照性能进行了划分。
机器日志
在机器管理处，查看机器日志，咱们能够查看机器的残缺日志、慢通信日志、异样日志等信息。
工作日志
在工作详情页，用户则能够查看实时的工作日志，确认工作实时运行状态或者确认问题。
总结
作为面向技术、运维人员的一款数据基础设施产品，在设计之初思考产品层面的透明化、可视化运维是尤其重要的。这使得产品在后续性能变得越来越简单和弱小时，产品自身仍然可能提供高质量的可运维性，同时也确保产品自身可能更好的迭代和倒退。
相干材料
CloudCanal 社区版收费下载与装置教程：https://www.askcug.com/topic/75
5 分钟搞定 MySQL 到 ClickHouse 实时数据同步 -CloudCanal 实战：https://www.askcug.com/topic/76
5 分钟搞定 MySQL 到 ElasticSearch 迁徙同步 -CloudCanal 实战：https://www.askcug.com/topic/97
5 分钟搞定 MySQL 到 TiDB 的数据同步 – CloudCanal 实战：https://www.askcug.com/topic/106
退出 CloudCanal 粉丝群把握一手音讯和获取更多福利，请增加咱们小助手微信：suhuayue001
CloudCanal- 收费好用的企业级数据同步工具，欢送品鉴。
理解更多产品能够查看官方网站：http://www.clougence.com
CloudCanal 社区：https://www.askcug.com/