2010 年，我国进入挪动互联网，数据规模成几何式增长 。在大数据开源技术畛域， 以 Hadoop 为外围的大数据生态系统 面对海量数据也一直倒退与迭代，大数据处理流程中的各个开源组件，也一起开启了狂飙突进的大数据时代，推动整个行业开启了数字化改革之路。
* 2010-2025 年寰球数据规模量，起源 IDC
近年来，大数据行业的开发者都在感叹：技术迭代更新速度的太快了，往年还在风行，明年就可能被雪藏！其实咱们十分分明，技术永远是在“更新”或“替换”中失去倒退。
通过十余年倒退，已经的一些老牌开源我的项目已风光不在，大数据三驾马车（分布式文件系统 GFS、计算引擎 MapReduce、分布式数据库 BigTable），其中的计算引擎 MapReduce 逐步倒退到 Spark 时代，对于大数据调度新星 Apache DolphinScheduler 来说，集成大数据畛域优良的开源我的项目之后，如何突破数据孤岛，如何降本增效，如何应答大规模的数据离线调度也成为了新的挑战！
家喻户晓，因为各种起因，遇到 Apache Spark 应用程序的失败是不可避免的。
最常见的故障之一是 OOM（驱动程序或执行程序级别的内存不足）。
咱们能够通过 治理（调度、重试、警报等）Spark 应用程序以及 Apache DolphinScheduler 中的其余类型的工作，也不须要 Apache DolphinScheduler 生态系统之外的任何代码，并且还反对利落拽 Spark 工作解决其余的一些问题。
Apache Spark 是用于大规模数据处理的对立剖析引擎。是一个弱小的开源工具，它提供了 Java、Python、Scala 和 R 的高级 API，以及一个优化的引擎，反对用于数据分析和不同工作负载的通用计算图。Spark 另一个乏味的个性是它的疾速解决能力和容错能力，您能够释怀，在呈现资源故障的状况下，您的部署能够保持一致。
为了让两个社区的独特用户既有中央反馈，还有中央学习，咱们联结 Apache Spark 社区推出了这个主题流动：洞悉 Spark 任务调度新能力|Apache Spark + DolphinScheduler Meetup，如果你也是接触开源“计算引擎 + 调度”的用户，想理解最新 Spark 迷人的个性，那这次的分享你肯定不要错过了，咱们还顺便邀请了 EMR 数据开发平台团队负责人孙一凡、BIGO 大数据研发工程师许名勇、EMR Spark 引擎负责人周克勇，通过他们的分享让你能更快更好更便捷的应用 Apahce DolphinScheduler+Spark。
无论你是 热衷于钻研开源技术 的开发者，还是关注大数据最新技术动静的小伙伴，我都倡议你来听听，从中取得全新的灵感。
我置信社区破费精力筹备的流动，你肯定能听到一手的分享，失去一手的播种！
Apache DolphinScheduler & Spark 联结 Meetup | 1 月线上直播报名通道已开启，赶快预约吧！
工夫：2023-1-11 14:00-16:20
模式：线上直播
议程介绍
孙一凡
阿里云高级技术专家
EMR 数据开发平台技术团队负责人
演讲工夫：14:00-14:40
演讲题目：Aliyun EMR x DolphinScheduler – 云与开源的单干共生
演讲概要：目前，阿里云 EMR 团队有多位成员沉闷在 Apache DolphinScheduler 社区，为社区的倒退做出了踊跃的奉献。在这次 meetup 中，咱们将为大家分享抉择参加和奉献 DS 社区的起因，并向大家介绍阿里云 EMR 基于 DS 提供的产品和服务能力。
14:40-14:50 直播间抽奖环节
许名勇
BIGO 大数据研发工程师
演讲工夫：14:50-15:30
演讲题目：Apache DolphinScheduler X Spark 在 BIGO 的利用和改良
演讲概要：介绍了 BIGO 如何应用 DophinScheduler 来调度以 SPARK 为主的多种类型的离线工作，以及为了满足业务需要、晋升用户应用体验，在 DophinScheduler 和 Spark 上所做的各种改良。
周克勇（一锤）
阿里云高级技术专家
EMR Spark 引擎负责人
演讲工夫：15:30-16:20
演讲题目：Spark + Celeborn：更稳，更快，更弹性
演讲概要：Shuffle 是以 Spark 为代表的大数据计算引擎最重要的算子，但支流的 Shuffle 设计存在随机读、依赖本地盘等缺点，导致大数据量场景作业稳定性差、性能升高，并且限度了存算拆散架构，无奈充分利用弹性。Apache Celeborn (incubating)是阿里募捐给 Apache 基金会的 Remote Shuffle Service，它采纳 Push Shuffle，数据重组，多层存储等设计打消了传统 Shuffle 的缺点，无效晋升了稳定性和性能，使得存算拆散架构得以利用从而让作业更加弹性。此外，Celeborn 通过高可用，滚动降级，负载平衡等个性晋升了本身服务的可靠性。
福利环节
参加本期更多直播互动即有机会取得社区小礼品
欢送大家加入 1 月 11 日 Apache DolphinScheduler 联结Apache Spark 举办的 Meetup 流动，下午 14:00，咱们不见不散。
参加奉献
随着国内开源的迅猛崛起，Apache DolphinScheduler 社区迎来蓬勃发展，为了做更好用、易用的调度，真挚欢送酷爱开源的搭档退出到开源社区中来，为中国开源崛起献上一份本人的力量，让外乡开源走向寰球。
参加 DolphinScheduler 社区有十分多的参加奉献的形式，包含：
奉献第一个 PR(文档、代码) 咱们也心愿是简略的，第一个 PR 用于相熟提交的流程和社区合作以及感触社区的友好度。
社区汇总了以下适宜老手的问题列表：https://github.com/apache/dol…
非老手问题列表：https://github.com/apache/dol…
如何参加奉献链接：https://dolphinscheduler.apac…
来吧，DolphinScheduler 开源社区须要您的参加，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是微小的。
参加开源能够近距离与各路高手切磋，迅速晋升本人的技能，如果您想参加奉献，咱们有个贡献者种子孵化群，能够增加社区小助手 Leonard-ds，手把手教会您(贡献者不分程度高下，有问必答，要害是有一颗违心奉献的心)。