大数据集群的物理机部署状态，绝对于私有云 / 混合云的云主机部署状态，在自动化发放集群、弹性伸缩等云化场景方面处于劣势，但物理机部署状态的大数据集群可能更加充沛高效的利用服务器资源，不存在云化 / 虚拟化的开销，同时服务器的异构能力更强。
晚期交付的很多大数据集群均是物理机部署状态，如浙江挪动大数据集群、广东挪动大数据集群、工行大数据集群、招行大数据集群等。
针对这些存量大数据集群，以下介绍一种自动化运维治理方法，来晋升运维效率、集群资源利用率，升高集群的资源耗费。
该自动化运维治理方法蕴含以下 4 个方面的性能：
1、依据组件特点抉择最适宜服务器类型来部署、扩容或更换：
- 部署和扩容准则是每种服务器仅部署一个下层组件，不混合部署多个组件。该准则可能使前面弹性伸缩的治理更加不便。从服务器资源池主动抉择最适宜组件资源负载特点的服务器类型。
- 服务器分类规定：Elasticsearch、Kafka、Clickhouse 抉择满配 SAS 盘服务器（较大容量存储、高 IO 吞吐量、低 IO 提早），Flink、Redis 抉择大量 SSD 盘服务器（较小容量存储、高 IO 吞吐量、低 IO 提早），Hive、Spark 抉择满配 SATA 盘服务器（大容量存储、高 IO 吞吐量、不谋求低 IO 提早）。HBase 规范场景可抉择满配 SATA 盘服务器，极致高性能场景可抉择满配 SAS 盘服务器。
- 组件参数依据理论物理机配置进行自动化初始设置；如 Yarn NodeManager 的 VCores 和内存，HDFS 和 Kafka 的存储门路设置。– 这一步是初始化设置，所设置的软件参数均是和硬件服务器无关的参数。
2、组件参数依据作业负载状况自适应重设： 依据理论作业运行的特点状况，自动化、最优化的设置组件 / 软件参数，这些参数和硬件服务器无关，但和理论作业运行的需要无关，其目标是把服务器资源最大化利用，以保障组件的高性能。
- Yarn 资源分配和理论占用是有差别的，必须把参数重设更大或更小来满足理论运行状况。Yarn 资源分配是账面数字，但理论业务负载在运行后才体现其资源占用状况，因而在运行后依据理论占用的资源重设参数来防止资源节约或是资源不够而造成的工作报错。
- 如果 Yarn 划分了资源池，依照资源池进行弹性伸缩，队列资源不常常用满，也自适应膨胀。
- HiveServer 内存监测，如果内存快到最大堆内存了，进行 HiveServer 的 SQL 申请，新的申请由其余 HiveServer 进行接管解决，期待已有的 SQL 解决实现后，重启该 HiveServer 实例。
- RegionServer 内存监测，如果内存快到最大堆内存了，能够先重设到更大，重启该 RegionServer 实例。最初依然冲破到一个最高上线阈值时，收回告警。
3、组件单节点性能及组件所在服务器的资源占用率的监控：
- 组件单节点性能的监控，如 Kafka 单节点写入吞吐量、Kafka 单节点读取吞吐量、HBase 单 RegionServer 反对的最大 Region 数。
- 组件所在服务器的资源占用率的监控，包含 CPU、内存、磁盘 IO、网络 IO 这 4 个维度。
- 软件性能与硬件占用率（蕴含 CPU、内存、磁盘 IO 等）的映射曲线，这个曲线随着利用率晋升性能逐步增大但最终增大迟缓，为前面弹性伸缩提供根据，给出倡议的占用率，在此占用率下组件的综合性能达到最优，也给出优化空间，比方增大硬盘数量、内存条数量等等来持续晋升软件的性能，或者是缩小硬盘数量、内存条数量来避免浪费。
4、集群服务器自适应负载进行弹性伸缩治理：
- 弹性伸缩算法：在集群的某组件所有节点资源达到倡议的占用率时，此时须要扩容，扩容多少台能够计算出来，Yarn 工作能够依据工作积压的计算需要进行估算，如果服务器资源池有相应的资源则主动间接扩容，如果没有则发送告警告诉须要扩容多少该类型的节点，其余组件暂不估算，如 Kafka、Elasticsearch、HBase 一台台扩容及主动的负载平衡，直至该组件所有节点的资源占用率低于倡议的占用率。
- 缓冲池（温池子）用于做入服治理，预装置组件软件包，便于疾速扩容，高资源利用率时入服；温池子是上电状态，可疾速的退出，具体筹备多少个取决于日常负载曲线，提前做好筹备；
- 集群整体资源呈现低利用率时退服肯定数量的服务器；服务器在退服后断电，断电后节俭服务器的风火水电；
- 共享服务器资源池供应多个集群进行扩缩容。依据优先级调配给各个集群补给不同数量的服务器。
-
呈现故障 / 失效节点时，被动从集群中退服该节点，从服务器资源池抉择对应类型的节点并重新安装绝对应的大数据过程。
本文由华为云公布