关于flink:Flink-CDC-Meetup-Online521-开讲

34次阅读

共计 2280 个字符,预计需要花费 6 分钟才能阅读完成。

当下数据规模正在以惊人的速度增长,越来越多的利用场景也对数据处理的时效性有了更高的要求。随着近几年实时计算技术的迅猛发展,涌现了实时 OLAP、实时数据湖、实时数仓等架构,较好地解决了湖仓实时化问题。然而实时化须要的是端到端的解决方案,除了湖仓实时化之外,咱们还急需数据集成的实时化。

实时数据集成是指将各个数据孤岛中的数据实时地同步、集中到数据仓库中,便于后续进行对立的实时剖析。实时数据集成是数据技术栈实时化的重要组成部分,也是目前业界的支流发展趋势。与离线数据集成不同,实时数据集成须要面对随时都可能发生变化的数据与构造,除了须要保障低提早地同步到指标存储中,还须要保障在各种场景下的数据一致性、正确性等问题。

Flink CDC 是实时数据集成框架的开源代表,具备全增量一体化、无锁读取、并发读取、分布式架构等技术劣势,在开源社区中十分受欢迎。除了具备实时入湖入仓能力,Flink CDC 还反对弱小的数据加工能力,能够通过 SQL 对数据库数据做实时关联、聚合、打宽等。

Flink CDC Meetup · Online

5 月 21 日 | 线上

为了促成 Flink CDC 技术的交换和倒退,咱们将于 5 月 21 日在线举办 Flink CDC Meetup。本次 Meetup 由阿里巴巴技术专家,Apache Flink PMC Member & Committer 伍翀 (云邪) 作为出品人,邀请了来自阿里巴巴、XTransfer、顺丰、OceanBase、大健云仓的大咖分享 Flink CDC 在各场景中的最佳实际、生产教训、技术原理等。

【流动亮点】

• 超多实用干货,如 Flink CDC 实现海量数据的实时同步和转换的技术原理,以及各业务场景下的实际优化。
• 每位讲师均留有 Q&A 环节,通过社区钉群、微信群、视频号直播提出问题,均有机会失去讲师线上回答~
• 通过 ApacheFlink 视频号观看直播,将有机会取得 Flink CDC 定制 T 恤!

【流动议程】

嘉宾及议题介绍

伍翀

阿里巴巴技术专家,Apache Flink PMC Member & Committer

出品人简介:

伍翀,花名云邪,Apache Flink PMC member & Committer。就任于阿里云开源大数据平台,次要负责 Flink CDC、Flink SQL 相干的研发工作,长期以来始终专一于流解决、批处理畛域。

《基于 Flink CDC 实现海量数据的实时同步和转换》

徐榜江
阿里巴巴高级开发工程师,Apache Flink Committer & Flink CDC Maintainer

【嘉宾简介】

徐榜江,阿里花名雪尽,目前专一数据集成畛域。

【演讲简介】

  1. 海量数据集成的痛点;
  2. 基于 Flink CDC 实现海量数据的实时同步和转换;
  3. Demo 演示:实时大屏;
  4. 总结与瞻望。

【听众受害】

理解 Flink CDC 实现海量数据的实时同步和转换的技术原理,为业务提供更陈腐的数据。

《Flink CDC MongoDB Connector 的实现原理和应用实际》

孙家宝
XTransfer 资深 Java 开发工程师,Flink CDC Maintainer

【嘉宾简介】

孙家宝,任职于 XTransfer 基础架构部,负责大数据平台基础设施建设。是 Flink CDC 我的项目 Maintainer 成员,Debezium、Zeppelin 等开源我的项目贡献者。

【演讲简介】

  1. MongoDB ChangeStream 技术简介;
  2. MongoDB CDC Connector 应用实际;
  3. MongoDB CDC Connector 并行化 Snapshot 改良。

【听众受害】

受害对象:Flink CDC MongoDB 的用户和技术开发。

《Flink CDC 在顺丰的生产实践》

覃立辉

顺丰大数据研发工程师

【嘉宾简介】

覃立辉,任职于顺丰科技大数据底盘团队,次要从事数据入湖入仓相干的研发工作。

【演讲简介】

  1. 顺丰数据集成背景
  2. Flink CDC 实际问题与优化
  3. 将来布局

【听众受害】

听众能够理解到在 Flink CDC 生产实践过程中遇到哪些问题与挑战,以及咱们为解决这些问题对 Flink CDC 进行优化,反对全量与增量日志流并行读取、反对全量混合拆分解决数据歪斜,反对多 DB 实例的分库分表同步等性能。

《Flink CDC + OceanBase 全增量一体化数据集成计划》

王赫

OceanBase 技术专家

【嘉宾简介】

王赫 (川粉),OceanBase 技术专家。

【演讲简介】

本次分享将从以下四局部带来 Flink CDC + OceanBase 全增量一体化数据集成计划:

  1. CDC 技术简介
  2. OceanBase CDC 组件介绍
  3. Flink CDC 简介
  4. Flink CDC OceanBase Connector 简介

【听众受害】

理解 Flink CDC 和 OceanBase 社区版数据迁徙相干的工具,理解 Flink CDC OceanBase Connector 的原理和应用,把握分布式数据库 OceanBase 社区版与大数据处理引擎 Flink 的集成计划。

《Flink CDC 在大健云仓的实际》

龚中强

大健云仓基础架构部负责人

【嘉宾简介】

任职于大健云仓基础架构部,次要负责公司零碎架构设计与开发。目前专一于大数据、云原生畛域,有肯定的实践经验和个人见解。

【演讲简介】

  1. 公司引入 Flink CDC 的背景;
  2. 现今 Flink CDC 外部落地的业务场景;
  3. 将来 Flink CDC 外部推广以及平台化建设。

【听众受害】

  1. 理解 Flink CDC 在公司内落地的业务场景和生产实践的教训;
  2. 开辟利用 Flink CDC 业务场景的视线。

流动详情

工夫:5 月 21 日 9:00-12:25

PC 端 直播观看:https://developer.aliyun.com/…

挪动端 倡议关注 ApacheFlink 视频号预约观看

正文完
 0