YARN架构简记

1次阅读

共计 435 个字符,预计需要花费 2 分钟才能阅读完成。

HA:RM 启动时会向 zk 的 /mrstore 路径下写入 lock 文件,写入成功的则为 active RM,否则为 standby RM。启动后,RM 会将 job 信息写入 /mrstore,RM 进程中的 ZKFC 线程会监控 /mrstore 中的 lock 文件,若不存在则 RM 为 active,存在则为 standby, 切换后可从 /mrstore 读取 job 信息。
运行:Client 提交 job,会访问 RM,若访问到 standby RM 则重新访问 active RM。RM 根据 job 上下文以及从 NM 收集到的状态信息分配资源并调度,启动一个 container 用来运行 AM。NM 负责启动 container,监控所在节点的资源使用情况,并通过心跳机制报告给 RM。job 的 task 会在 container 中运行。
RM,NM 相当于写字楼的管理者,RM 总管,NM 区域管理,它们提供 container(办公室);AM 相当于项目经理,向写字楼管理者申请办公室,在它们提供的 container 上执行 task,完成客户提交的 job。

正文完
 0