MonarchyLeaderAgent是服务启动的时候，就间接成为Leader节点，而ZooKeeperLeaderElectionAgent是基于ZooKeeper的Leader来选举的。

分布式高可用集群装置是Standalone集群，这里会有两个master，一个是ALIVE，一个是STANDBY。ALIVE节点是提供服务的，STANDBY是备胎，当ALIVE节点挂了当前，STANDBY会顶替成为新的ALIVE。咱们晓得Worker和Application等数据，都会存在内存中，但只是存在内存中，当旧的ALIVE节点挂了当前，数据就丢了，新的ALIVE节点接替…

在Executor的资源调度曾经提到了Worker上怎么调配Executor资源的过程，这里就讲Worker调配到Executor后是怎么运行这些Executor的。

Master的资源调度是Spark的一级资源调度，分为对Driver的资源调度和对Executor的资源调度。这篇次要是讲Executor的资源调度。咱们假如初始条件是这样的：曾经5个Worker注册到Master，别离是4核16G（Dead），1核0.5G，4核4G，2核8G，4核8G。（这里的4核阐明的是残余的CPU核数，并不是服务器配置）有2个Application注册到M…

Spark Submit应用中提到了在standalone模式下，通过spark-submit提交集群中的应用程序的案例，这里就讲讲这个应用程序的注册到集群的过程。这里须要引入两个角色，Driver和Executor。Driver是客户端驱动程序，用于将工作程序转换为RDD和DAG，并与Cluster Manager进行通信与调度。本章次要是与Cluster Manager进行通信与…

之前在分布式高可用集群装置中，能够看到这个集群是主从架构，在Spark集群形式中，叫做Standalone集群。主节点叫做Master，Master除了对Worker、Application、Driver等治理外，还要负责对整个集群中所有资源的对立治理和调配。这篇次要还是讲对Worker的治理。Worker是工作节点，他会把本身的资源信息，比方CPU、内存大小…

背景：应用 spark 读取 hdfs 文件写入到 osshadoop : 2.6.0-cdh5.15.1spark : 2.4.1次要参考链接：[链接]减少了留神点和坑点

摘要：为了解决过多依赖 Hive 的问题, SparkSQL 应用了一个新的 SQL 优化器代替 Hive 中的优化器, 这个优化器就是 Catalyst。

RpcEndpointRef：RpcEndPoint的援用，也就是说，他指向的是服务端的RpcEndPoint，所以RpcEndpointRef会有服务端的RPC地址。

弹性分布式数据集（Resilient Distributed Dataset，RDD）是 Spark 中的外围概念。简略的说，就是在Spark中创立一个RDD，而后通过RDD对数据进行各种各样的操作。