关于Flink:Apache-Flink-Meetup-上海站超强数据湖干货等你

44次阅读

共计 1940 个字符,预计需要花费 5 分钟才能阅读完成。

你是否有过流批技术栈不对立的抓狂?

你是否有过流批数据对不上的懊恼?

你是否有过,海量数据更新时效性跟不上的无奈?

Apache Flink 社区 2021 首场 Meetup 来啦!

4 月 17 日 | 上海 | 线下

来一场 Flink x 数据湖的干货体验之旅~

本次 Meetup 邀请了来自阿里巴巴、腾讯、Dell 科技团体、汽车之家的四位技术专家,聚焦 Flink 数据湖利用主题,围绕湖仓一体架构实际、Iceberg 和对象存储的数据湖构建计划、超大规模数据入湖实际以及数据入湖面临的挑战等,全方位解析数据湖生产利用难题!

【流动亮点】

  • 超多实用干货,从数据湖利用面临的挑战动手,解析数据湖架构降级、对象存储与 Iceberg 的数据湖生态以及百亿数据入湖实际,轻松 get 数据湖正确打开方式;
  • 流动模式多样化,线下线上同步开启,同城可参加线下 Meetup 面对面交换,异地也可在线观看直播,精彩内容不错过;
  • 丰盛周边等你拿,报名加入就有机会取得超多 Flink 社区定制的精美周边!

▼ 立刻报名 ▼
https://www.huodongxing.com/e…

嘉宾及议题介绍

《汽车之家基于 Apache Iceberg 的湖仓一体架构实际》

邸星星 | 汽车之家 实时计算平台负责人

演讲简介:

近年来,批流一体、湖仓一体成为大数据畛域非常炽热的话题,汽车之家也在继续摸索如何对大数据架构进行降级转型,充分发挥“陈腐”数据的价值,为用户带来更好的应用体验。本文将分享汽车之家基于 Apache Iceberg 进行数仓架构降级过程中的一些实际。

嘉宾简介:

邸星星,汽车之家实时计算平台负责人,长期从事实时计算与 OLAP 方面的平台建设工作,致力于为公司提供大规模、高效、稳固的计算与查问服务。

《Iceberg 和对象存储构建数据湖计划》

孙伟 | Dell 科技团体 高级软件研发经理

演讲简介:

本演讲主题将阐述如何基于对象存储和 Iceberg 来构建数据湖生态。讲述对象存储作为 Iceberg 的数据湖存储撑持所须要解决的一些问题以及优化思路,提供了开源 S3 catalog 可行实现计划,并给出比照其余存储计划 (如 HDFS) 的劣势。

演讲将进一步给出商业对象存储与 Iceberg 适配的另一种最佳实际办法,并构建 Flink+Iceberg+ 对象存储的数据湖进行实例演示。同时本演讲将基于面向存储空间优化的思路,通过革新对象存储和 Iceberg 联合形式,给出一种源数据和 Iceberg table 共享数据源的办法来适配不同的利用场景。

嘉宾简介:

孙伟,Dell 科技团体,高级软件研发经理,2014 年退出 Dell 科技团体,深刻参加 Atmos 到 ECS 两代对象存储产品的设计和研发,有丰盛的分布式系统和对象存储架构设计教训。现致力于将对象存储和开源大数据平台深度联合,帮忙客户搭建残缺数据湖计划。

《百亿级实时数据入湖实战》

陈俊杰 | 腾讯 数据湖研发高级工程师

演讲简介:

你是否有过流批技术栈不对立的抓狂?你是否有过流批数据对不上的懊恼?你是否有过,海量数据更新时效性跟不上的无奈?

腾讯利用业界最新技术 Flink + Iceberg 技术帮忙多个业务方实现了业务数据实时入仓入湖,端到端数据可见性进步到秒级。本次分享将介绍腾讯如何将 Flink + Iceberg 技术利用到多个百亿级数据入湖工作,入湖过程中遇到的挑战,入湖数据如何进行优化保障剖析引擎的高效查问。

嘉宾简介:

陈俊杰,腾讯数据湖研发高级工程师,多年大数据工作教训,开源大数据组件 Spark、Iceberg、Parquet 等贡献者。

《Flink 和 Iceberg 如何解决数据入湖面临的挑战》

胡争 | Apache Iceberg Committer,阿里巴巴技术专家

演讲简介:

咱们常常会把起源不同的数据定期或实时地同步到数仓 / 数据湖中,其中有一些令人头痛的问题:

工作同步一半数据中断,导致原有的数据湖报表不精确,这时怎么办?
继续的数据导入后,业务方发现作业越跑越慢?
老板说:怎么把 MySQL 的数据报表做的更实时一些,比方分钟级别?
数据同步作业跑着跑着忽然中断,原来是上游改了 schema?
其余问题

本次分享咱们将借助 Flink 和 Iceberg 来尝试解决上述数据入湖的相干挑战,帮忙业务同学更加高效地聚焦在本身的业务挑战上。

嘉宾简介:

胡争(子毅),目前次要负责 Apache Flink 数据湖计划的设计和研发工作,是 Apache Iceberg 及 Apache Flink 我的项目的长期沉闷贡献者。同时也是 Apache HBase PMC 成员,合著有《HBase 原理与实际》。

流动议程及报名

■ 流动议程

■ 流动详情

工夫:4 月 17 日 13:00-17:30
地点:上海市长宁区上海金钟路 968 号凌空 SOHO 携程 12 号楼 11 层
直播观看:https://developer.aliyun.com/…

正文完
 0