Shuffle操作大略是对Spark性能影响最大的步骤之一（因为可能波及到排序，磁盘IO，网络IO等泛滥CPU或IO密集的操作），这也是为什么在Spark 1.1的代码中对整个Shuffle框架代码进行了重构，将Shuffle相干读写操作形象封装到Pluggable的Shuffle Manager中，便于试验和实现不同的Shuffle功能模块。例如为了解决Hash Based的Sh…

JOIN操作是十分常见的数据处理操作，Spark作为一个对立的大数据处理引擎，提供了十分丰盛的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略，心愿对你有所帮忙。本文次要包含以下内容：

dayofweek (1 = Sunday, 2 = Monday, …, 7 = Saturday),dayofyearExamples:

(一)初识Spark

Apache Spark是用于大规模数据处理的对立剖析引擎，基于内存计算，进步了在大数据环境下数据处理的实时性，同时保障了高容错性和高可伸缩性，容许用户将Spark部署在大量硬件之上，造成集群。

昨天面试的时候被问到了spark cache和persist的区别, 明天学习了一下并做一些记录首先要理解的是RDD是lazy的，具体贴一段stack over flow的解答，很具体的介绍了怎么了解RDD， 加cache与不加有什么区别，这个区别具体作用在哪里。

引言：KubeEdge 是一个开源的边缘计算平台，它在Kubernetes原生的容器编排和调度能力之上，扩大实现了 云边协同、计算下沉、海量边缘设施治理、边缘自治等能力。KubeEdge还将通过插件的模式反对5G MEC、AI云边协同等场景，目前在很多畛域都已落地利用。

从Spark 2.4 版本开始，Spark 实验性反对 Kubernetes 作为资源管理器。不过尽管是试验性质，然而曾经有很多单位将之用于生产环境了，并获得很好的成果，在可移植性，可扩展性，老本等方面都获得了收益。

Spark简介基于内存的分布式集群计算平台可适配 Python、Java、Scala、SQL拓展性能：机器学习、流式计算、图计算Spark特点高效内存计算引擎DAG图比MapReduce快10～100倍易用提供丰盛的API，反对Java，Scala， Python代码量小与Hadoop集成读写HDFS、Hbase、Hive和Yarn集成与Oracle存过的比照Spark利用场景数据仓库机器学习…

摘要：BlockManager 是 spark 中至关重要的一个组件，在spark的运行过程中到处都有 BlockManager 的身影，只有搞清楚 BlockManager 的原理和机制，你能力更加深刻的了解 spark。