共计 2825 个字符，预计需要花费 8 分钟才能阅读完成。
摘要：Superior Scheduler 是一个专门为 Hadoop YARN 分布式资源管理零碎设计的调度引擎，是针对企业客户交融资源池，多租户的业务诉求而设计的高性能企业级调度器。
本文分享自华为云社区《FusionInsight MRS 的自研超级调度器 Superior Scheduler 原理简介》，作者：一枚核桃。
Superior Scheduler 是一个专门为 Hadoop YARN 分布式资源管理零碎设计的调度引擎，是针对企业客户交融资源池，多租户的业务诉求而设计的高性能企业级调度器。
Superior Scheduler 可实现开源调度器、Fair Scheduler 以及 Capacity Scheduler 的所有性能。另外，相较于开源调度器，Superior Scheduler 在企业级多租户调度策略、租户内多用户资源隔离和共享、调度性能、系统资源利用率和反对大集群扩展性方面都做了针对性的加强。设计的指标是让 Superior Scheduler 间接代替开源调度器。
相似于开源 Fair Scheduler 和 Capacity Scheduler，Superior Scheduler 通过 YARN 调度器插件接口与 YARN Resource Manager 组件进行交互，以提供资源调度性能。下图为其整体零碎架构：
Superior Scheduler 的次要模块如下：
• Superior Scheduler Engine：具备丰盛调度策略的高性能调度器引擎。
• Superior YARN Scheduler Plugin：YARN Resource Manager 和 Superior Scheduler Engine 之间的桥梁，负责同 YARN Resource Manager 交互。
在调度原理上，开源的调度器都是基于计算节点心跳驱动的资源反向匹配作业的调度机制。具体来讲，每个计算节点定期发送心跳到 YARN 的 Resource Manager 告诉该节点状态并同时启动调度器为这个节点调配作业。这种调度机制把调度的周期同心跳联合在一起，当集群规模增大时，会遇到零碎扩展性以及调度性能瓶颈。另外，因为采纳了资源反向匹配作业的调度机制，开源调度器在调度精度上也有局限性，例如数据亲和性偏于随机，另外零碎也无奈反对基于负载的调度策略等。次要起因是调度器在抉择作业时，不足全局的资源视图，很难做到最优抉择。
Superior Scheduler 外部采纳了不同的调度机制。Superior Scheduler 的调度器引入了专门的调度线程，把调度同心跳剥来到，防止了零碎心跳风暴问题。另外，Superior Scheduler 调度流程采纳了从作业到资源的正向匹配办法，这样每个调度的作业都有全局的资源视图，能够很大的提到调度的精度。相比开源调度器，Superior Scheduler 在零碎吞吐量、利用率、数据亲和性等方面都有很大晋升。
Superior Scheduler 性能比照
Superior Scheduler 除了进步零碎吞吐量和利用率，还提供了以下次要调度性能：
• 多资源池
多资源池有助于在逻辑上划分集群资源并在多个租户 / 队列之间共享它们。资源池的划分能够基于异构的资源或齐全依照利用资源隔离的诉求来划分。对于一个资源池，不同队列可配置进一步的策略。
• 每个资源池多租户调度（reserve、min、share、max）
Superior Scheduler 提供了灵便的层级多租户调度策略。并容许针对不同的资源池能够拜访的租户 / 队列，配置不同策略，如下所示。
租户资源分配策略示意图如图所示：
同开源的调度器相比，Superior Scheduler 同时提供了租户级百分比和绝对值的混配策略，能够很好的适应各种灵便的企业级租户资源调度诉求。例如，用户能够在一级租户提供最大绝对值的资源保障，这样租户的资源不会因为集群的规模扭转而受影响。但在上层的子租户之间，能够提供百分比的调配策略，这样能够尽可能晋升一级租户内的资源利用率。
• 异构和多维资源调度
Superior Scheduler 反对 CPU 和内存资源的调度外，还反对扩大反对以下性能：
o 节点标签可用于辨认像 GPU_ENABLED，SSD_ENBALED 等节点的多维属性，能够依据这些标签进行调度。
o 资源池可用于对同一类别的资源进行分组并调配给特定的租户 / 队列。
• 租户内多用户偏心调度
在叶子租户里，多个用户能够应用雷同的队列来提交作业。相比开源调度器，Superior Scheduler 能够反对在同一租户内灵便配置不同用户的资源共享策略。例如能够为 VIP 用户配置更多的资源拜访权重。
• 数据地位感知调度
Superior Scheduler 采纳“从作业到节点的调度策略”，即尝试在可用节点之间调度给定的作业，使得所选节点适宜于给定作业。通过这样做，调度器将具备集群和数据的整体视图。如果有机会使工作更靠近数据，则保障了本地化。而开源调度器采纳“从节点到作业的调度策略”，在给定节点中尝试匹配适当的作业。
• Container 调度时动静资源预留
在异构和多样化的计算环境中，一些 container 须要更多的资源或多种资源，例如 Spark 作业可能须要更大的内存。当这些 container 与其余须要较小资源的 container 竞争时，可能没有机会在正当的工夫内取得所需的资源而处于饥饿状态。因为开源的调度器是基于资源反向匹配作业的调度形式，会为这些作业自觉的进行资源预留以防进入饥饿状态。这就导致了系统资源的整体节约。Superior Scheduler 与开源个性的不同之处在于：
o 基于需要的匹配：因为 Superior Scheduler 采纳“从作业到节点的调度”，可能抉择适合的节点来预留资源晋升这些非凡 container 的启动工夫，并避免浪费。
o 租户从新均衡：启用预留逻辑时，开源调度器并不遵循配置的共享策略。Superior Scheduler 采取不同的办法。在每个调度周期中，Superior Scheduler 将遍历租户，并尝试基于多租户策略从新达到均衡，且尝试满足所有策略（reserve，min，share 等），以便能够开释预留的资源，将可用资源流向不同租户下的其余本应失去资源的 container。
• 动静队列状态管制（Open/Closed/Active/Inactive）
反对多个队列状态，有助于管理员操作和保护多个租户。
o Open 状态（Open/Closed）：如果是 Open（默认）状态，将承受提交到此队列的应用程序，如果是 Closed 状态，则不承受任何应用程序。
o Active 状态（Active/Inactive）：如果处于 Active（默认）状态，租户内的应用程序是能够被调度和分配资源。如果处于 Inactive 状态则不会进行调度。
• 利用期待起因
如果应用程序尚未启动，则提供作业期待起因信息。
Superior Scheduler 和 YARN 开源调度器比照剖析如下：
点击关注，第一工夫理解华为云陈腐技术~