当下数据规模正在以惊人的速度增长,越来越多的利用场景也对数据处理的时效性有了更高的要求。随着近几年实时计算技术的迅猛发展,涌现了实时 OLAP、实时数据湖、实时数仓等架构,较好地解决了湖仓实时化问题。然而实时化须要的是端到端的解决方案,除了湖仓实时化之外,咱们还急需数据集成的实时化。
实时数据集成是指将各个数据孤岛中的数据实时地同步、集中到数据仓库中,便于后续进行对立的实时剖析。实时数据集成是数据技术栈实时化的重要组成部分,也是目前业界的支流发展趋势。与离线数据集成不同,实时数据集成须要面对随时都可能发生变化的数据与构造,除了须要保障低提早地同步到指标存储中,还须要保障在各种场景下的数据一致性、正确性等问题。
Flink CDC 是实时数据集成框架的开源代表,具备全增量一体化、无锁读取、并发读取、分布式架构等技术劣势,在开源社区中十分受欢迎。除了具备实时入湖入仓能力,Flink CDC 还反对弱小的数据加工能力,能够通过 SQL 对数据库数据做实时关联、聚合、打宽等。
Flink CDC Meetup · Online
5 月 21 日 | 线上
为了促成 Flink CDC 技术的交换和倒退,咱们将于 5 月 21 日在线举办 Flink CDC Meetup。本次 Meetup 由阿里巴巴技术专家,Apache Flink PMC Member & Committer 伍翀 (云邪) 作为出品人,邀请了来自阿里巴巴、XTransfer、顺丰、OceanBase、大健云仓的大咖分享 Flink CDC 在各场景中的最佳实际、生产教训、技术原理等。
【流动亮点】
• 超多实用干货,如 Flink CDC 实现海量数据的实时同步和转换的技术原理,以及各业务场景下的实际优化。
• 每位讲师均留有 Q&A 环节,通过社区钉群、微信群、视频号直播提出问题,均有机会失去讲师线上回答~
• 通过 ApacheFlink 视频号观看直播,将有机会取得 Flink CDC 定制 T 恤!
【流动议程】
嘉宾及议题介绍
伍翀
阿里巴巴技术专家,Apache Flink PMC Member & Committer
出品人简介:
伍翀,花名云邪,Apache Flink PMC member & Committer。就任于阿里云开源大数据平台,次要负责 Flink CDC、Flink SQL 相干的研发工作,长期以来始终专一于流解决、批处理畛域。
《基于 Flink CDC 实现海量数据的实时同步和转换》
徐榜江
阿里巴巴高级开发工程师,Apache Flink Committer & Flink CDC Maintainer
【嘉宾简介】
徐榜江,阿里花名雪尽,目前专一数据集成畛域。
【演讲简介】
- 海量数据集成的痛点;
- 基于 Flink CDC 实现海量数据的实时同步和转换;
- Demo 演示:实时大屏;
- 总结与瞻望。
【听众受害】
理解 Flink CDC 实现海量数据的实时同步和转换的技术原理,为业务提供更陈腐的数据。
《Flink CDC MongoDB Connector 的实现原理和应用实际》
孙家宝
XTransfer 资深 Java 开发工程师,Flink CDC Maintainer
【嘉宾简介】
孙家宝,任职于 XTransfer 基础架构部,负责大数据平台基础设施建设。是 Flink CDC 我的项目 Maintainer 成员,Debezium、Zeppelin 等开源我的项目贡献者。
【演讲简介】
- MongoDB ChangeStream 技术简介;
- MongoDB CDC Connector 应用实际;
- MongoDB CDC Connector 并行化 Snapshot 改良。
【听众受害】
受害对象:Flink CDC MongoDB 的用户和技术开发。
《Flink CDC 在顺丰的生产实践》
覃立辉
顺丰大数据研发工程师
【嘉宾简介】
覃立辉,任职于顺丰科技大数据底盘团队,次要从事数据入湖入仓相干的研发工作。
【演讲简介】
- 顺丰数据集成背景
- Flink CDC 实际问题与优化
- 将来布局
【听众受害】
听众能够理解到在 Flink CDC 生产实践过程中遇到哪些问题与挑战,以及咱们为解决这些问题对 Flink CDC 进行优化,反对全量与增量日志流并行读取、反对全量混合拆分解决数据歪斜,反对多 DB 实例的分库分表同步等性能。
《Flink CDC + OceanBase 全增量一体化数据集成计划》
王赫
OceanBase 技术专家
【嘉宾简介】
王赫 (川粉),OceanBase 技术专家。
【演讲简介】
本次分享将从以下四局部带来 Flink CDC + OceanBase 全增量一体化数据集成计划:
- CDC 技术简介
- OceanBase CDC 组件介绍
- Flink CDC 简介
- Flink CDC OceanBase Connector 简介
【听众受害】
理解 Flink CDC 和 OceanBase 社区版数据迁徙相干的工具,理解 Flink CDC OceanBase Connector 的原理和应用,把握分布式数据库 OceanBase 社区版与大数据处理引擎 Flink 的集成计划。
《Flink CDC 在大健云仓的实际》
龚中强
大健云仓基础架构部负责人
【嘉宾简介】
任职于大健云仓基础架构部,次要负责公司零碎架构设计与开发。目前专一于大数据、云原生畛域,有肯定的实践经验和个人见解。
【演讲简介】
- 公司引入 Flink CDC 的背景;
- 现今 Flink CDC 外部落地的业务场景;
- 将来 Flink CDC 外部推广以及平台化建设。
【听众受害】
- 理解 Flink CDC 在公司内落地的业务场景和生产实践的教训;
- 开辟利用 Flink CDC 业务场景的视线。
流动详情
工夫:5 月 21 日 9:00-12:25
PC 端 直播观看:https://developer.aliyun.com/…
挪动端 倡议关注 ApacheFlink 视频号预约观看