共计 4854 个字符，预计需要花费 13 分钟才能阅读完成。
摘要：本文整顿自阿里云资深技术专家吴威 (无谓) 在 阿里云 EMR2.0 线上发布会 的分享。本篇内容次要分为三个局部：
1. 兼容开源阶段
2. 奉献开源阶段
3. 超过开源阶段
兼容开源阶段
开源这个词在最近这几年异样的火爆，各行各业的各个厂商纷纷发表拥抱开源并且反对开源生态。尤其在大数据这个畛域，开源技术曾经成为了推动整个大数据技术演进和行业倒退的最重要的一股力量，同时开源技术栈也成为大数据行业的一个技术标准。阿里云 EMR 作为开源大数据平台，集成了泛滥支流开源引擎比方 Spark、Flink、StarRocks 等，这些引擎独特基于 EMR 计算资源底座以及数据湖存储底座，在适配阿里云生态技术栈的同时，兼容开源是 EMR 团队的一项重要工作。
事实上，阿里巴巴团体在十三年前就开始投资开源大数据畛域，通过十几年的倒退和提高，当初咱们的开源大数据平台曾经成为阿里巴巴大数据技术体系中的中坚力量。
接下去我简略分享一下阿里开源大数据技术的演进路线。
2008 和 2009 年，阿里巴巴最主力的业务线是淘宝和天猫，其上的电商业务爆发式增长，同时业务数据也呈现了大暴发，咱们须要大数据技术去解决海量的业务数据，过后一度呈现技术跟不上业务倒退的节奏。咱们在 2009 年抉择了 Apache Hadoop 技术去撑持大数据分析业务，上线的第一个集群就达到 200 台规模，并且在一年内快速增长到 1000 台，在 2014 年具备跨数据中心的集群治理能力，单个开源 Hadoop 集群达到过万台的规模。开源大数据技术对阿里巴巴外围业务的倒退起到了十分要害的撑持作用。这个阶段阿里巴巴是开源的受益者。
奉献开源阶段
2014 年之后，因为咱们在外部业务上积攒了大量开源应用教训，做了不少最佳实际积淀，咱们的开源团队也转到了云上，并于 2016 年在阿里云推出了 EMR 产品，发现云上有更加旺盛的开源大数据的需要。
与此同时，2015 年在阿里巴巴搜寻举荐广告业务线上，数据实时化的需要十分强烈，咱们心愿搜索引擎可能搜寻到实时更新的宝贝并依据用户的实时行为进行举荐，过后咱们抉择了 Apache Flink 作为新一代的实时计算引擎，在 2016 年将其上线并失去了十分好的成果。在 2018 年的时候，Flink 和 EMR 一样开始上云。2019 年咱们不仅收买了 Flink 在欧洲的开创公司，还把阿里巴巴积攒多年的 Flink 分支 Blink 齐全奉献给了 Apache 社区。同时咱们也一直地对 Flink 进行了技术创新，推出了 Flink CDC、Flink Table Store 等新的开源技术我的项目。
回过头再看 EMR，自 2016 年在私有云上线之后，曾经服务了数千家中小企业，反对他们在云上更好地应用开源大数据。目前 EMR 也通过了技术升级，从经典的 Hadoop 架构降级到了数据湖存算拆散的架构。与此同时咱们也放弃了整个开源大数据平台的开放性，跟国内外出名的开源大数据厂商比方 Elasticsearch、Cloudera、Databricks 等建设了亲密的合作伙伴关系，并且联合推出了开源大数据的产品，在云上共建开源大数据生态。
以 Apache Celeborn 我的项目为例，能够看到阿里巴巴从 2009 年开始应用开源大数据技术，经验了十数年回馈和共建，最终心愿进入到一个引领开源，推动开源倒退的阶段。
2022 年 10 月份阿里巴巴向 Apache 孵化器捐献了 Celeborn 我的项目（也就是原来的 EMR Remote Shuffle Service 我的项目），这是在阿里云上诞生的第一个 Apache 孵化我的项目。随着大数据上云趋势越来越显著，云原生架构和理念也在一直强化和推广，比方存算拆散架构等都是云上特有的架构属性。在此技术背景之下，咱们发现在 Spark、Hive、Flink 等都有数据 Shuffle 的需要，并且因为云原生架构上没有 Hadoop YARN NodeManager 等服务，无奈很好的反对 Shuffle 场景，也无奈实现动静资源伸缩等外围性能。因而，阿里云 EMR 率先提供了 Remote Shuffle Service，用一套数据 Shuffle 服务反对所有大数据计算引擎。Remote Shuffle Service 我的项目诞生后，又吸引了以小米为代表的多家阿里云上公司的趣味。在 2021 年 12 月，咱们和这些阿里云客户一起将这个我的项目开源，之后吸引了更多如 Shopee、网易等企业的开发者退出，这就是云带来的变动，云与开源联合后产生了化学反应。为了让更多公司参加共建，让我的项目产生更大的影响力，咱们决定将这个我的项目募捐给 Apache 基金会，并且正式命名为 Celeborn，从孵化器我的项目起步，也心愿 Celeborn 可能成为 Apache 的顶级我的项目。
超过开源阶段
在兼容开源和奉献开源之外，EMR 团队也在基于开源技术打造超过开源的企业级计算引擎，上面我以 EMR Spark 为例介绍他的企业级性能。首先是性能，EMR Spark 屡次突破大数据畛域的行业记录。
比方在 Sortbenchmark 组织的 CloudSort 比赛中，须要实现 100TB 数据排序的同时，破费的老本要尽可能的少，EMR Spark 在阿里云上实现了每 TB 仅破费 1.44 美元的问题，比之前在海内云平台上的最好问题晋升了 3 倍以上。在另外一个大数据出名 Benchmark TPC-DS 中，EMR 同样屡次刷新最好问题，并且是通过 TPC 官网 Benchmark 认证的第一个公共云产品，EMR Spark 联合 JindoFS 实现的存算拆散架构在性能和性价比上都有极大的晋升，并且在性能上笼罩了 TPC-DS benchmark 数据加载、数据更新、串行查问、并行查问、数据可靠性测试等全流程，SparkSQL 的数据正确性通过 TPC 组织的审计。在数据规模上，EMR Spark 是首个通过官网认证的反对最大规格 100TB 数据集的零碎。
接下去开展看一下 EMR Spark 的性能优化点。咱们对计算引擎波及到的简直所有方面都有改良。比方在 SQL Runtime 方面，EMR Spark 从 2019 年就开始调研 Native codegen 以及向量化技术，通过将 Spark SQL 的执行流程或算子换成 Native engine，绝对于 Spark 原生的 Java Codegen 引擎性能晋升非常明显，Native engine 能够反对 TPC-DS 所有 SQL，有着十分高的 Spark SQL 算子覆盖度。Spark Native engine 将在明年初通过内测版的模式凋谢给更多的客户。另外在 JSON 解析上，EMR Spark 通过 SIMDJSON 技术能够将简单 Json 解析速度晋升 5 倍以上，能够极大的减速 JSON 日志类数据的清理和 ETL 流程。
在 SQL 优化器上，咱们实现了全新的 Join Reorder 算法，在超过 10 张表 Join 的场景 SQL Planner 效率有数倍晋升，咱们在动静分区裁剪的根底上实现了基于 BloomFilter 的过滤个性，进一步缩小了大表的数据扫描量；另外，优化器还反对 Hive 表的分区统计信息和主外键束缚信息，能够提供更加精细化的优化规定。
EMR Spark 针对数据湖存储在读写上都有深度优化，配合 JindoSDK 解决对象存储在大数据场景下的痛点。
在数据 Shuffle 的场景，配合后面提到的阿里巴巴开源我的项目 Celeborn，EMR Spark 反对 Push Based Shuffle，将 Shuffle 数据推送到远端的 Remote Shuffle Service 上，通过服务端的数据聚合能够极大的缩小磁盘的 IO 数量，这项能力对大数据罕用的 SATA 盘构建的集群特地敌对，对于 Shuffle 数据量超过百 TB 的巨型作业，Shuffle read 工夫能够升高数倍。同时 EMR Spark 还反对列式 Shuffle 能力，配合数据压缩性能能够将 Shuffle 数据量缩小一倍以上，这样能够进一步升高 Shuffle 的网络 IO 开销，晋升集群的整体性能和吞吐量。
在性能晋升之外，EMR Spark 提供了企业级的诊断和调优能力。EMR 2.0 推出了 EMR Doctor 产品，它的性能就包含 Spark 作业的智能诊断，Doctor 应用 Java 探针技术，能够对 Spark 作业做异步数据采集，并将采集到的 Spark job、stage、task、sql 等信息对立汇总到 EMR 元数据仓库进行离线数据分析。Doctor 提供了集群的计算衰弱分，对每个作业衰弱状态做打分，并提供优化倡议。基于 EMR 的这套机制，咱们还为 Spark 提供了基于历史信息的优化能力（也就是 HBO）。
针对 Spark 作业罕用的内存、partition 数和 AQE Shuffle 参数，HBO 首先会采集每天作业执行过程中的各项指标，并在元数据仓库里进行剖析，在利用特定的优化规定后产出更优的作业参数。假如每天的作业数据量变动不大，那么同样的 SQL 通过历史信息调优后能够做准确的 Planner。在典型的 1TB TPC-DS Workload 中，应用 HBO 优化规定后能够将 SQL 查问性能晋升 28%。针对后面提到过很屡次的云原生架构，在阿里云上的 K8S 服务次要由 ACK 和 ECI 两个产品提供，EMR Spark 反对 on ACK 状态，并且理论解决了十分多的架构适配问题，落地了不少生产型客户。EMR 采纳虚构集群的形式，间接在用户已有的 ACK 集群装置 Spark 相干组件。同时也提供独立的 RSS（Apache Celeborn）集群类型，能够优化容器环境下的 Shuffle 场景。Spark on ACK 反对常驻节点，能够运行 Spark operator 或者 Spark History Server 等常驻服务，也反对 ECI 实例部署形式，将 Spark 的 Executor 调度到 ECI 弹性实例上，能够进一步升高资源应用老本。
在 ACK 场景下 Spark 和 Celeborn 的集成能够让 Spark 具备传统 Hadoop YARN 集群里罕用的动静资源伸缩能力，晋升资源利用效率。异步非阻塞和高性能的列式 Shuffle 能够晋升作业性能。应用高性能的本地化多正本存储以及多层存储计划能够晋升 Spark 作业的稳定性。所以 EMR Spark 的云原生解决方案在性能、性能、稳定性以及老本和效率上都有思考，是一套成熟的计划。
EMR Spark 是数据湖架构下的外围计算引擎，和多个模块有着深度整合。
Spark 反对阿里云全托管的 HDFS 服务 OSS-HDFS，并在数据读写接口上有十分多的优化，包含后面提到的 parquet 和 orc 等格局的 native reader，以及在数据提交阶段的 job comitter 优化。另外，对于大数据中常常遇到的小文件问题，EMR Spark 提供了小文件合并能力，能够升高对存储系统的压力，同时进步读表的性能。
Emr Spark 还反对了数据湖构建也就是 DLF 产品，集成了 DLF 对立数据湖元数据和权限管制性能，借助 DLF 能够对 Spark 表进行存储剖析和生命周期治理，对湖表格局进行自动化治理，比方小文件合并、排序、索引等性能。
在数据湖格局的集成上，EMR Spark 扩大了对 Delta lake 和 Hudi 的反对。在 Delta Lake 上咱们实现了基于固定力度的迟缓变动维性能，借助 Delta Lake 的 checkpoint 和 Time travel 的能力，通过一些非凡的标记保留维度表的历史快照，并且不须要减少额定的冗余数据，通过 Spark 查问这些维度表，同时能够晋升查问效率。
针对 Hudi，咱们实现了一个全托管的 Hudi Metastore 服务，能够将扩散的 Hudi 元数据进行集中管理，在解决了元数据一致性问题之后，EMR Spark 能够基于 Hudi Metastore 进行查问减速；除此之外，EMR 团队也是 Hudi 社区 CDC 性能的贡献者，在 EMR Spark 版本里曾经提前反对了 Hudi CDC 能力。
以上就是 EMR Spark 在开源软件之上提供的企业级能力。阿里云 EMR 团队将持续沿着兼容开源、奉献开源以及超过开源路线后退，为云上客户提供最佳的开源大数据解决方案。
原文链接
本文为阿里云原创内容，未经容许不得转载。
