关于spark:SparkCeleborn更快更稳更弹性

32次阅读

共计 396 个字符,预计需要花费 1 分钟才能阅读完成。

一、传统 Shuffle 的问题

Apache Spark 是广为风行的大数据处理引擎,它有很多应用场景: Spark SQL、批处理、流解决、MLLIB、GraphX 等。在所有组件下是对立的 RDD 形象,RDD 血统通过两种依赖关系形容,窄依赖和宽依赖。其中宽依赖是撑持简单算子(Join, Agg 等)的要害,而宽依赖实现机制就是 Shuffle。

残缺内容请点击下方链接查看:

https://developer.aliyun.com/article/1153123?utm_content=g_10…

版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

正文完
 0