对于 CloudCanal
产品介绍
2021 年 8 月 1 日，经验近 2 年的筹备，CloudCanal 社区版正式与大家见面了。CloudCanal 是一款由 ClouGence 公司发行的集构造迁徙、数据全量迁徙 / 校验 / 勘误、增量实时同步为一体的数据迁徙同步平台。产品蕴含残缺的产品化能力，助力企业突破数据孤岛、实现数据互融互通，从而更好的应用数据。CloudCanal 社区版为收费版本，咱们会继续地对其保护，请大家释怀下载应用。
研发团队
CloudCanal 外围团队成员来自阿里巴巴中间件和数据库团队, 长期从事分布式数据库、数据库中间件、利用中间件工作，包含阿里云分布式数据库中间件产品 DRDS、外部外围零碎数据同步工具精卫、阿里云数据湖产品 DLA、开源数据网关 Hasor 等产品负责人和外围研发。
对于开源
CloudCanal 内核将来会开源，相干工作筹备中，请放弃关注。未开源前，咱们也会通过一些渠道分享 CloudCanal 技术和利用细节，欢送大家退出微信粉丝群或者关注咱们社区动静 (参考文末信息)。
性能介绍
反对的源和指标
CloudCanal 是一款多源多端数据迁徙同步工具，以后反对的数据源次要如下 (20210801 版本，数据源继续增加中)：
源端：MySQL、Oracle、PostgreSQL、Greenplum、Kafka
指标端：MySQL、Oracle、PostgreSQL、Greenplum、Kafka、RabbitMQ、RocketMQ、Tidb、ClickHouse、ElasticSearch、Hive、阿里云 ADB
性能矩阵
CloudCanal 针对数据源提供的规范能力如下
| 功能模块 | 性能项 |
|---|---|
| 数据源治理 | 产品化增加阿里云数据源 |
| 产品化增加自建数据源 | |
| 批改内网网 Host 地址 | |
| 批改数据源在 CloudCanal 平台存储的账号密码 | |
| 针对阿里云数据源主动增加机器白名单 | |
| 删除数据源 | |
| 数据源多维筛选搜寻 | |
| 机器治理 | 集群化治理 |
| 机器生命周期管制 | |
| 机器零碎信息实时监控 | |
| 白屏化机器日志查看 (针对 CloudCanal 的 Sidecar 组件) | |
| 产品化增加 ECS | |
| 产品化增加自建机器 | |
| 集群搜寻 | |
| 监控治理 | 监控大盘查看整体工作创立状况、机器应用状况 |
| 白屏化全局异样事件收集，反对依照工作搜寻并且查看异样堆栈 | |
| 异样事件搜寻 | |
| 告警发送日志 | |
| 系统管理 | 用户治理：反对用户搜寻 |
| 状态机治理：反对查看工作状态机详情和状态 | |
| 异步工作治理：反对查看异步工作详情、状态、失败时异样堆栈 | |
| 反对全局操作审计、条件过滤 | |
| 工作治理 | 反对卡片、列表两种工作展现形式 |
| 工作迁徙同步进度、状态查看 | |
| 工作生命周期管制：工作启动、删除、批量操作 | |
| 工作详情查看：同步的源、指标查看运行机器查看工作各同步阶段状态、统计信息查看 | |
| 革除位点：从以后工夫点开始同步 | |
| 重置位点：设置位点的开始工夫 | |
| 工作实时监控数据查看：实时 RPS、工作引擎监控、资源监控等 | |
| 工作参数批改：反对工作内核参数调整、失效 | |
| 反对查看工作订阅状况，并且反对多维筛选 | |
| 反对白屏化查看工作要害日志 | |
| 工作监控报警：反对设定提早阈值进行钉钉、短信、电话报警 | |
| 反对新增、删除订阅（新订阅的表会主动进行全量同步） | |
| 反对异样跳过策略参数配置 | |
| 反对参数化配置并行度、批处理大小、内存队列大小等要害配置 | |
| 可视化工作创立 | 反对可视化配置源、指标以及工作运行机器 |
| 反对创立构造迁徙、全量迁徙、实时增量、校验工作、勘误工作等工作类型 | |
| 反对创立工作规格抉择 | |
| 反对库、表、列订阅裁剪 | |
| 反对整库迁徙 | |
| 反对库树形批量筛选 | |
| 反对表过滤条件设置、表批量设置过滤条件 | |
| 反对丰盛的筛选条件批量设置订阅 | |
| 反对依照列搜寻并批量设置过滤条件 | |
| 反对列映射 | |
| 反对无主键表设置自定义主键 | |
| 反对虚构列设置 | |
| 反对增量 ACTION 过滤 |
Tips:
- 性能矩阵中局部能力针对某些数据源尚未反对，具体能够关注咱们社区动静
- 社区版源和指标反对的数据源正在逐渐凋谢中，请对咱们放弃关注。如想尝鲜体验残缺源和指标，能够间接尝试 CloudCanal 的 SAAS 平台 (收费应用)
技术架构
CloudCanal 主体上分为三个次要局部：
- 控制台：实现 CloudCanal 的次要产品化能力
- Sidecar: 次要负责工作过程和控制台程序之间的信息交互并且保障工作过程高可用
- 工作内核：工作内核过程，负责全量
下载地址
OSS 下载地址：https://cloudcanal-community….
装置教程：https://www.askcug.com/topic/75/cloudcanal%E7%A4%BE%E5%8C%BA%E7%89%88docker%E7%89%88%E5%AE%89%E8%A3%85-linux-macos/2
官网社区和粉丝群
官网社区地址：https://www.askcug.com
退出 CloudCanal 粉丝群把握一手音讯和获取更多福利，请增加咱们小助手微信：suhuayue001
CloudCanal- 收费好用的企业级数据同步工具，欢送品鉴。
理解更多产品能够查看官方网站：http://www.clougence.com
CloudCanal 社区：https://www.askcug.com/