关于spark:Spark-Master和Worker

61次阅读

共计 798 个字符,预计需要花费 2 分钟才能阅读完成。

之前在分布式高可用集群装置中,能够看到这个集群是主从架构,在 Spark 集群形式中,叫做 Standalone 集群。
主节点叫做 Master,Master 除了对 Worker、Application、Driver 等治理外,还要负责对整个集群中所有资源的对立治理和调配。这篇次要还是讲对 Worker 的治理。
Worker 是工作节点,他会把本身的资源信息,比方 CPU、内存大小等提供给 Master,由 Master 对 Worker 的资源进行调度。

流程

集群启动的时候,只有 Master 节点,为了可能对各个 Worker 进行治理,Worker 启动的时候须要向 Master 进行注册,把本人的信息,包含 Ip 信息、端口、CPU、内存大小等,注册到 Master,这样 Master 就能够晓得这个 Worker 的具体情况。

Master 接管到 Worker 的注册申请后,就会把 Worker 的信息放入内存中,便于资源的调配以及调度,并且为了容灾思考,把 Worker 的信息进行了长久化,这样新选举进去的 Master 可能从长久化中读取 Worker 的数据,而不必放心上一个 Master 节点中的内存数据失落。

Master 解决完 Worker 申请后,就会发信息告知 Worker 曾经注册,Worker 就会把 Master 的信息保留在内存中。

为了保障 Master 晓得本人是存活的,于是 worker 每隔 15 秒开始发送心跳给 Master。这个 Master 的信息就是下面一步保留在内存的信息。Master 收到心跳信息后,就会更新 Worker 的最初心跳工夫。

除了 Worker 被动发送心跳告知 Master 本人的状态是存活的,Master 也会每隔 60 秒去查看内存中 Worker 的汇合,把最初心跳工夫超过 60 秒的筛选进去,把这些 Worker 从内存以及长久化中移除。

源码思维导图

master 启动
worker 启动并注册到 master
master- 解决音讯
Worker- 解决信息

正文完
 0