乐趣区

关于大数据:for-字节跳动数据平台数智化转型背景下的火山引擎大数据技术揭秘

jiezi

摘要：线上面基 + 学习火山引擎大数据技术干货 + 精美礼品支付！快来报名参加吧！

往年 4 月，火山引擎在上海举办了秋季 FORCE 原动力大会，正式提出了“数据飞轮”的数字化建设模式。
现如今，越来越多的企业也正围绕数据进行深度的价值开掘，用数据全方位地驱动业务增长。如何让数据“谈话”，更好的帮忙企业实现科学决策，并助力企业实现数字化转型？
9 月 16 日，火山引擎开发者社区 Meetup 第 12 期暨超话数据专场邀请到了火山引擎数据平台的 5 位专家，将从数据分析、数据治理、研发提效等角度，为大家带来干货分享，帮你全面理解数智化转型背景下的火山引擎数据飞轮模式在数据资产建设上的技术与实际。 现场更有火山引擎定制双肩包、抱枕、水杯、帆布袋等超多精美礼品，线下参加才可支付哦，期待与大家现场面基！

⏰ 工夫：2023/9/16（周六）14:00-17:30

📱模式：线下 + 线上直播

🚇 地点：深圳市南山区高新南九道深圳湾翻新科技核心 2 栋 B 座 F6-31&32（科苑地铁站 C 口步行 340 米）

精彩议程

《DataSail CDC 数据整库实时入仓入湖实际》李延加|火山引擎 DataSail 高级研发工程师

演讲介绍 ：在线数据库数据导入到数仓剖析的链路曾经存在多年，随着近年来实时计算的倒退，业务心愿有提早更低、运维更便捷、效率更高的 CDC 同步通道。本次分享次要介绍 DataSail 实现 CDC 整库实时同步的技术计划和业务实际。

次要内容 ：

  1. CDC 数据同步对业务的价值
  2. DataSail CDC 同步实现技术计划
  3. 业务最佳实际

听众受害 ：

  1. 理解 DataSail 整库实时同步背地的技术
  2. 理解 DataSail 整库实时同步产品的能力

《火山引擎 EMR 基于 Proton 的存算拆散实际》吴志平|火山引擎 EMR 研发工程师

演讲介绍 ：基于对象存储的存算拆散架构，在晋升零碎稳定性，进步资源利用率，升高运维老本的同时，在大数据量剖析场景下也面临着一些外围挑战：HDFS 与对象存储之间的语义差别；存算拆散之后带来的较大性能损耗。
EMR 团队针对这些挑战自研了 Proton 减速引擎，深度优化对象存储读写能力，与 Hive/Spark/Trino 等计算引擎集成后，在不扭转用户应用习惯的前提条件下，可提供对象存储数据集的通明减速服务。在离线场景下，其性能根本持平存算一体架构。本次分享将介绍 Proton 技术能力和最佳实际。

次要内容 ：

  1. 存算拆散的挑战以及解决方案
  2. Proton 介绍以及原理剖析
  3. Proton 最佳实际

听众受害 ：

  1. 理解对象存储和 HDFS 的差别
  2. 理解 Proton 的根本能力以及实际形式

《字节跳动基于 DataLeap 的 DataOps 实际》黄虹|火山引擎 DataLeap 产品经理

演讲介绍 ：随着数字化转型的推动以及业务数仓建设不断完善，大数据开发体量及复杂性逐渐回升，如何保证数据稳固、正确、继续产出成为数据开发者外围诉求，也成为平台建设面临的挑战之一。本次分享次要介绍字节对于 DataOps 的了解 以及 DataOps 在外部业务如何落地实际。

次要内容 ：

  1. 字节数据研发面临的挑战
  2. 字节 DataOps 定义
  3. DataOps 产品化计划
  4. 业务最佳实际

听众受害 ：

  1. 理解 DataOps 理念
  2. 理解 DataOps 在字节业务的最佳实际

《基于 ByteHouse 引擎的增强型数据导入技术实际》孔柏林|火山引擎 ByteHouse 产品经理

演讲介绍 ：ByteHouse 基于自研 HaMergeTree，构建增强型物化 MySQL、HaKafka 引擎，实现数据疾速集成，减速业务数据分析性能与效率，本次 talk 次要介绍物化 MySQL 与 HaKafka 数据导入计划和业务实际。

次要内容 ：

  1. ByteHouse 数据库架构演进
  2. 加强 HaKafka 引擎实现计划
  3. 加强 MaterializedMySQL 实现计划
  4. 案例实际与将来瞻望

听众受害 ：

  1. 理解 Bytehouse 基于引擎层数据导入能力
  2. MaterializedMySQL 和 HaKafka 在业务中的实际

《湖仓一体减速引擎 Bolt 及在 LAS 的利用实际》杨嘉义|火山引擎 LAS 高级研发工程师

演讲介绍 ：Spark、Presto 等引擎原 Java 执行的性能优化进入瓶颈期，而基于向量化和编译优化的 native 引擎，可获两倍性能减速比，升高资源老本。Bolt 曾经在字节跳动外部 SparkSQL、Presto 大规模上线，减速效果显著，其特色有：面向多场景对立减速、端到端向量化执行。本次分享将介绍 Bolt 的意义、架构和在 LAS 的利用实际。

次要内容 ：

  1. Bolt 的背景和意义
  2. Bolt 的架构设计
  3. Bolt 的外围特色
  4. Bolt 在湖仓一体产品 LAS 的实际

听众受害 ：

  1. 理解基于向量化和编译优化的 Bolt 减速引擎
  2. 理解 Bolt 在湖仓一体产品 LAS 的利用

扫码立刻报名

扫码进入流动群

点击【浏览原文】也能够报名哦～快喊上更多小伙伴一起现场打卡吧！期待与大家深圳面基！

【浏览原文】链接：https://developer.volcengine.com/activities/72690172952537334…

退出移动版