Apache Hadoop YARN

YARN是做什么的YARN在Hadoop中的功能作用有两个，第一是负责Hadoop集群中的资源管理(resource management)，第二是负责对任务进行调度和监控(scheduling/monitoring)。YARN分别提供了相应的组件完成这两项工作。如何管理资源YARN在管理资源上采用的是master/slave架构。在整个YARN集群中，在其中一个节点上运行ResourceManager进程作为master，其余每个节点上都运行一个NodeManager进程作为slave。ResourceManager负责对集群中的所有资源进行统一的管理和调度。NodeManager进程负责单个节点上的资源管理，它监控一个节点上的资源使用情况(如cpu，内存，硬盘，网络等)并将其report给ResourceManager。ResourceManager有两个主要的组件：Scheduler和ApplicationsManager。其中的Scheduler就负责为集群中运行的各个application分配所需要的资源。Scheduler只负责资源的调度，它不做任何对application监控或跟踪的工作，此外，在任务由于各种原因执行失败时，它也不负责对任务进行重启。Scheduler根据application对资源的需求执行其资源调度功能。它将cpu、内存、硬盘、网络等资源合并成一个整体，抽象成Container进行资源分配。Container就是Scheduler进行资源分配的一个单位，也是运行在slave节点上的一个组件。此外，Scheduler是一个可插拔的组件，用户可根据自己的需要设计新的Scheduler，YARN提供了多种可直接使用的调度器，比如Fair Scheduler和Capacity Scheduler等。如何调度/监控任务ApplicationMaster组件负责跟踪和管理一个application，它负责为application向ResourceManager中的Scheduler组件申请资源，并通过NodeManger启动和监控一个任务。当向ResourceManager提交一个application时，必须为其指定一个ApplicationMaster组件。ResourceManager中的ApplicationsManager组件会对所有应用程序的ApplicationMaster进行管理，它首先会为ApplicationMaster组件分配资源，使其运行在一个slave节点的Container中。并负责监控ApplicationMaster的运行状态，在Container出现异常时对ApplicationMaster进行重启。ApplicationsManager负责管理整个集群中的所有application，包括application提交、与Scheduler协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。