标签： spark
-
关于spark:Spark-Standalone部署模式
某个能够连Spark集群的服务器，通过spark-submit的shell脚本，启动SparkSubmit的时…
-
关于spark:Spark-Leader选举
MonarchyLeaderAgent是服务启动的时候，就间接成为Leader节点，而ZooKeeperLea…
-
关于spark:Spark-持久化引擎
分布式高可用集群装置是Standalone集群，这里会有两个master，一个是ALIVE，一个是STANDB…
-
关于spark:Spark-Executor的运行
在Executor的资源调度曾经提到了Worker上怎么调配Executor资源的过程，这里就讲Worker调…
-
关于spark:Spark-Executor的资源调度
Master的资源调度是Spark的一级资源调度，分为对Driver的资源调度和对Executor的资源调度。…
-
关于spark:Spark-Application注册
Spark Submit应用中提到了在standalone模式下，通过spark-submit提交集群中的应用…
-
关于spark:Spark-Master和Worker
之前在分布式高可用集群装置中，能够看到这个集群是主从架构，在Spark集群形式中，叫做Standalone集群…
-
关于spark:编译支持-spark-读写-osscdh-5x
背景：应用 spark 读取 hdfs 文件写入到 osshadoop : 2.6.0-cdh5.15.1sp…
-
关于spark:Spark-开源新特性Catalyst-优化流程裁剪
摘要：为了解决过多依赖 Hive 的问题, SparkSQL 应用了一个新的 SQL 优化器代替 Hive 中…
-
关于spark:Spark-各个组件的RPC是怎么通信的
RpcEndpointRef：RpcEndPoint的援用，也就是说，他指向的是服务端的RpcEndPoint…