关于hadoop:Cloudera-Manager-术语和架构

43次阅读

共计 2446 个字符,预计需要花费 7 分钟才能阅读完成。

简介:本文介绍了 Cloudera Manager 的常见术语和架构

Cloudera Manager 术语

为了无效地应用 Cloudera Manager,您应该首先理解其术语。

术语之间的关系如下所示,其定义如下:

有时,术语服务和角色用于同时指代类型和实例,这可能会造成混同。Cloudera Manager 和本节有时对类型和实例应用雷同的术语。例如,Cloudera Manager 治理控制台的“主页”>“状态”选项卡和“集群”>“ClusterName”菜单列出了服务实例。这相似于编程语言中的常规,其中“字符串”一词可能示意类型(java.lang.String)或该类型的实例(“hi there”)。在须要辨别类型和实例的中央,单词“type”被附加以批示类型,而单词“instance”被附加以显式批示实例。

部署

Cloudera Manager 及其治理的所有集群的配置。

动静资源池

在 Cloudera Manager 中,这是资源的命名配置,以及用于在池中运行的 YARN 应用程序或 Impala 查问之间调度资源的策略。

集群

  • 蕴含 HDFS 文件系统并对该数据运行 MapReduce 和其余过程的一组计算机或计算机机架。
  • 在 Cloudera Manager 中,是一个逻辑实体,蕴含一组主机,在主机上安装的单个版本的 Cloudera Runtime 以及在主机上运行的服务和角色实例。一台主机只能属于一个集群。Cloudera Manager 能够治理多个集群,然而每个集群只能与一个 Cloudera Manager Server 关联。

主机

在 Cloudera Manager 中,是运行角色实例的物理或虚拟机。一台主机只能属于一个集群。

机架

在 Cloudera Manager 中,是一个物理实体,蕴含一组通常由同一交换机提供服务的物理主机。

服务

  • 在尽可能可预测的环境中运行在 /etc/init.d/ 定义的 System V 初始化脚本的 Linux 命令,删除大多数环境变量并将当前工作目录设置为 /。
  • Cloudera Manager 中的托管性能类别,能够在集群中运行,有时称为服务类型。例如:Hive、HBase、HDFS、YARN 和 Spark。

服务实例

在 Cloudera Manager 中,是在集群上运行的服务的实例。例如:“HDFS-1”和“yarn”。服务实例逾越许多角色实例。

角色

在 Cloudera Manager 中,服务中的性能类别。例如,HDFS 服务具备以下角色:NameNode、SecondaryNameNode、DataNode 和 Balancer。有时称为角色类型。

角色实例

在 Cloudera Manager 中,是在主机上运行的角色的实例。它通常映射到 Unix 过程。例如:“NameNode-h1”和“DataNode-h1”。

角色组

在 Cloudera Manager 中,这是一组角色实例的一组配置属性。

主机模板

Cloudera Manager 中的一组角色组。将模板利用于主机时,将创立每个角色组中的角色实例并将其调配给该主机。

网关

一种角色类型,通常为客户端提供对特定群集服务的拜访权限。例如,HDFS、Hive、Kafka、MapReduce、Solr 和 Spark 各自具备网关角色,认为其客户提供对其各自服务的拜访。网关角色并非总是在其名称中带有“网关”,也不是专门用于客户端拜访。例如,Hue Kerberos Ticket Renewer 是一个网关角色,用于代理 Kerberos 中的票证。

反对一个或多个网关角色的节点有时称为网关节点或边缘节点,在网络或云环境中常见“边缘”的概念。对于 Cloudera 集群,当从 Cloudera Manager 治理控制台的“操作”菜单中选择“部署客户端配置”时,群集中的网关节点将接管适当的客户端配置文件。

Parcel

二进制散发格局,蕴含编译的代码和元信息,例如程序包形容、版本和依赖项。

动态服务池

在 Cloudera Manager 中,是跨一组服务的总群集资源(CPU,内存和 I / O 权重)的动态分区。

Cloudera Manager 架构

如下所示,Cloudera Manager 的外围是 Cloudera Manager Server。服务器托管 Cloudera Manager 治理控制台、Cloudera Manager API 和利用程序逻辑、并负责装置软件、配置、启动和进行服务以及治理在其上运行服务的集群。

Cloudera Manager Server 与其余几个组件一起应用:

  • 代理 - 装置在每台主机上。该代理负责启动和进行过程、解包配置、触发装置以及监控主机。
  • 治理服务 - 由一组角色组成的服务,这些角色执行各种监控、警报和报告性能。
  • 数据库 - 存储配置和监控信息。通常,多个逻辑数据库跨一个或多个数据库服务器运行。例如,Cloudera Manager Server 和监控角色应用不同的逻辑数据库。
  • Cloudera 存储库 - 由 Cloudera Manager 散发的软件存储库。
  • 客户端 - 是与服务器交互的接口:
  • Cloudera Manager 治理控制台 - 基于 Web 的用户界面,管理员用于治理集群和 Cloudera Manager。
  • Cloudera Manager API -API 开发人员用于创立自定义 Cloudera Manager 应用程序。

心跳

心跳是 Cloudera Manager 中的次要通信机制。默认状况下,代理每 15 秒将心跳发送一次到 Cloudera Manager Server。然而,为缩小用户等待时间,在状态更改时减少了频率。

在心跳替换期间,代理会将其流动告诉给 Cloudera Manager Server。反过来,Cloudera Manager Server 响应代理应执行的操作。代理和 Cloudera Manager Server 最终都进行了一些协调。例如,如果您启动服务,则代理将尝试启动相干过程;否则,代理将尝试启动相干过程。如果过程无奈启动,则 Cloudera Manager Server 会将启动命令标记为失败。

原文链接
本文为阿里云原创内容,未经容许不得转载。

正文完
 0