乐趣区

关于spark:阿里大数据云原生化实践EMR-Spark-on-ACK-产品介绍

开源大数据社区 & 阿里云 EMR 系列直播 第六期

主题:EMR spark on ACK 产品演示及最佳实际

讲师:石磊,阿里云 EMR 团队技术专家

内容框架:

• 云原生化挑战及阿里实际
• Spark 容器化计划
• 产品介绍和演示

直播回放:扫描文章底部二维码退出钉群观看回放,或进入链接 https://developer.aliyun.com/…

一、云原生化挑战及阿里实际

大数据技术发展趋势

云原生化面临挑战

计算与存储拆散

如何构建以对象存储为底座的 HCFS 文件系统

• 齐全兼容现有的 HDFS
• 性能对标 HDFS,老本升高

shuffle 存算拆散

如何解决 ACK 混合异构机型

• 异构机型没有本地盘
• 社区 [Spark-25299] 探讨,反对 Spark 动静资源,成为业界共识

缓存计划

如何无效反对跨机房、跨专线混合云

• 须要在容器内反对缓存零碎
ACK 调度
如何解决调度性能瓶颈
• 性能对标 Yarn
• 多级队列治理

其余

• 错峰调度
• Yarnon ACK 节点资源互相感知

阿里实际 – EMR on ACK

整体计划介绍

• 通过数据开发集群 / 调度平台提交到不同的执行平台
• 错峰调度,依据业务顶峰低峰策略调整
• 云原生数据湖架构,ACK 弹性扩缩容能力强
• 通过专线,云上云下混合调度
• ACK 治理异构机型集群,灵活性好

二、Spark 容器化计划

计划介绍

RSS Q&A

1、为什么须要 Remote Shuffle Service?

• RSS 使得 Spark 作业不须要 Executor Pod 挂载云盘。挂载云盘十分不利于扩展性和大规模的生产实践。
• 云盘的大小无奈事先确定,大了节约空间,小了 Shuffle 会失败。RSS 专门为存储计算拆散场景设计。
• Executor 将 shuffle 数据写入了 RSS 零碎,RSS 零碎来负责管理 shuffle 数据,Executor 闲暇后即能够回收。[SPARK-25299]
• 能够完满反对动静资源,防止数据歪斜的长尾工作拖住 Executor 资源不能开释。

2、RSS 性能如何,老本如何,扩展性如何?

• RSS 对于 shuffle 有很深的优化,专门为存储与计算拆散场景、K8s 弹性场景而设计。
• 针对 Shufflefetch 阶段,能够将 reduce 阶段的随机读变为程序读,大大晋升了作业的稳定性和性能。
• 能够间接利用原有 K8s 集群中的磁盘进行部署,不须要加多余的云盘来进行 shuffle。性价比十分高,部署形式灵便。

Spark Shuffle

• 产生 numMapper * numReducer 个 block
• 程序写、随机读
• 写时 Spill
• 单正本,丢数据需 stage 重算

EMR Remote Shuffle Service

• 追加写、程序读
• 无写时 Spill
• 两正本;正本复制到内存后即实现
• 正本之间通过内网备份,无需公网带宽

RSS TeraSort Benchmark

• 备注阐明:以 10T Terasort 为例,shuffle 量压缩后大概 5.6T。能够看出该量级的作业在 RSS 场景下,因为 shuffle read 变为程序读,性能会有大幅晋升。

Spark on ECI 成果

Summary

原文链接
本文为阿里云原创内容,未经容许不得转载。

退出移动版