关于hadoop:Hadoop学习笔记Yarn

44次阅读

共计 8018 个字符，预计需要花费 21 分钟才能阅读完成。

@(Hadoop)[hadoop, yarn]

[TOC]

上一份工作次要负责大数据平台的建设，在这个过程中积攒了一些 Hadoop 生态组件的搭建和应用笔记，因为工夫关系，不打算去批改其中的错别字和排版问题，间接释出原始笔记。

当 ResourceManager 挂掉重启后，为了使之前的工作可能继续执行，而不是从新执行。势必须要 yarn 记录利用运行过程的状态。

运行状态能够存储在

ZooKeeper
FileSystem 比方 hdfs
LevelDB

应用 zookeeper 做为状态存储的典型配置为

<property>
   <description>Enable RM to recover state after starting. If true, then
   yarn.resourcemanager.store.class must be specified</description>
   <name>yarn.resourcemanager.recovery.enabled</name>
   <value>true</value>
 </property>

 <property>
   <description>The class to use as the persistent store.</description>
   <name>yarn.resourcemanager.store.class</name>
   <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
 </property>

 <property>
   <description>Comma separated list of Host:Port pairs. Each corresponds to a ZooKeeper server
   (e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002") to be used by the RM for storing RM state.
   This must be supplied when using org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
   as the value for yarn.resourcemanager.store.class</description>
   <name>hadoop.zk.address</name>
   <value>127.0.0.1:2181</value>
 </property>

基于 zookeeper 实现 active 和 standby 的多个 ResourceManager 之间的主动故障切换。active Resource Manager 只能有一个，而 standby 能够有多个

为了避免故障主动转移时的脑裂，举荐下面的 ResourceManager recovery 状态存储应用也应用 zk。
同时敞开 zk 的 zookeeper.DigestAuthenticationProvider.superDigest 配置，防止 zk 的管理员拜访到 YARN application/user credential information

一个 demo 配置如下

<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>cluster1</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>master1</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>master2</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>master1:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>master2:8088</value>
</property>
<property>
  <name>hadoop.zk.address</name>
  <value>zk1:2181,zk2:2181,zk3:2181</value>
</property>

文档：https://hadoop.apache.org/doc…

基于 Label，将一个 Yarn 治理的集群，划分为多个分区。不同的 queue 能够应用不同的分区。

文档：https://hadoop.apache.org/doc…

对 Node Manager 定义一组属性值，使得应用程序可能基于这些属性值，来抉择 Node Mananger，并将其利用的 container 部署到下面

文档：https://hadoop.apache.org/doc…

集群中运行利用的 application master 须要提供一些 web ui 给 ResourceManager，以便其对立治理。但集群中可能有歹意利用，提供了具备平安危险的 web ui. 为了升高平安危险，yarn 应用一个名为 Web Application Proxy 的利用。领有接管 Application Master 提供给的 web ui 链接，将申请中的 cookies 进行剥离，同时将不平安的链接标记进去。

默认状况下 Web Application Proxy 是作为 Resource Manager 的一部分启动。不须要独自配置。如果要独自部署，须要额定配置。
文档：https://hadoop.apache.org/doc…

可能存储和查问以后、历史的利用执行信息。TimeLine Server 中的存储数据结构为

timeline Domain 对应一个用户的利用列表
Time Entity 定义一个利用
Timeline Events 定义该利用的执行事件，比方利用启动，利用执行，利用完结等

Timeline Server 分为 V1 和 V2 版本，V1 版本将数据存储在 levelDb 中，v2 版将数据存储在 hbase 中

文档：https://hadoop.apache.org/doc…

https://hadoop.apache.org/doc…

yarn 为了保障利用的运行平安，有一系列的机制先限度利用的权限之类的

文档：https://hadoop.apache.org/doc…

后面说了 ResourceMananger 须要重启后，能从原地继续执行工作。Node Mananger 在挂掉重启后，也须要有相应的复原个性。
其具体的配置，参见文档。

文档：https://hadoop.apache.org/doc…

Node Mananger 的健康检查服务，其提供两种健康检查器

Disk Checker 查看 node manager 的磁盘健康状况，并基于此上报给 Resource Manager
External Health Script 管理员能够指定一些自定义的健康检查脚本，供 Node Manager 的 Health Checker Service 调用

yarn 应用 linux 的 CGroups 实现资源隔离和管制，相干配置见文档：
https://hadoop.apache.org/doc…

将各利用 container 限度在提交他的用户权限下，不同用户提交的利用 container 不能拜访彼此的文件、文件夹。具体配置
文档：https://hadoop.apache.org/doc…

有两种形式：

normal 间接把要移除的节点从集群中摘除
Gracefully 期待节点上的工作执行结束后摘除
文档：https://hadoop.apache.org/doc…

yarn 个别只在对应的 Node manager 有资源时，才会将一个工作对应的 container 调配到该 NM. 但开启 Opportunistic Containers 后，即使对应的 node manager 没有资源，也会将 contaienr 调配到 NM，等到 NM 闲暇时，马上开始执行，是为机会主义者。这在肯定水平能进步集群的资源利用率。
文档：

部署用户。依照 Hadoop 官网的倡议。yarn 相干组件，应用 yarn 用来治理

启动 RM

$HADOOP_HOME/bin/yarn --daemon start resourcemanager

启动 NM

$HADOOP_HOME/bin/yarn --daemon start nodemanager

启动 proxyServer

$HADOOP_HOME/bin/yarn --daemon start proxyserver

切换到 mapred 用户下，启动 historyserver

$HADOOP_HOME/bin/mapred --daemon start historyserver

yarn 自身由多个组件组成，且有些组件还有多个节点，比方 nodemanager，一次启动去到多个机器上执行是件很繁琐的事件。hadoop 发型包，提供了 sbin/start-yarn.sh 和 sbin/stop-yarn.sh 两个脚本去启停 yarn 相干的所有组件：比方 nodemanager、resourcemanager、proxyserver。

他实现的原理是，基于 hadoop 安装包中的 /opt/hadoop-3.2.1/etc/hadoop/workers 文件，去登录到相应的机器，实现组件的执行。workers 中定义了所有 datanode 的机器 host。登录形式是基于 SSH 的免密登录形式，具体配置参见：https://www.cnblogs.com/nices…

如果发动脚本执行的机器，自身也须要部署一个 nodemanager。那么他须要配置本人对本人的 SSH 免密登录

通 yarn-site.xml，脚本曾经能够晓得 resource manager 的组件机器。所以 workers 文件中，只须要设置所有的 node manager 的机器 host

个别 yarn 的 node manager 会跟 hdfs 的 datanode 部署在一起，所以 hdfs 的批量启停，也是用的这个 workers 文件。

但下面说的 $HADOOP_HOME/bin/mapred --daemon start historyserver 不属于，只属于 mapreduce，所以还是要独自启停，通过 yarn 的相干脚本是不能治理它的。之所以将这个 historyserver 放到 yarn 的文档中来写，是为了偷懒，没独自搞一个 mr 的 wend

在 yarn 的治理界面，发现提交的 sql，执行有以下谬误

yarn 谬误
谬误: 找不到或无奈加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

问题起因是，yarn 的类门路有问题。通过 hadoop 官网的 yarn-default.xml 文件得悉，yarn 加载的类门路配置 yarn.application.classpath 的默认值为

$HADOOP_CONF_DIR, $HADOOP_COMMON_HOME/share/hadoop/common/*, $HADOOP_COMMON_HOME/share/hadoop/common/lib/*, $HADOOP_HDFS_HOME/share/hadoop/hdfs/*, $HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*, $HADOOP_YARN_HOME/share/hadoop/yarn/*, $HADOOP_YARN_HOME/share/hadoop/yarn/lib/* For Windows: %HADOOP_CONF_DIR%, %HADOOP_COMMON_HOME%/share/hadoop/common/*, %HADOOP_COMMON_HOME%/share/hadoop/common/lib/*, %HADOOP_HDFS_HOME%/share/hadoop/hdfs/*, %HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*, %HADOOP_YARN_HOME%/share/hadoop/yarn/*, %HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*

门路中的许多环境变量都没有配置。解决办法有 2

将对应的环境变量配置上，以使 yarn 的默认配置可能失常加载上。举荐这种
应用 hadoop classpath 命令，看下 hadoop 应用的类门路都有哪些，将其拷贝进去，在 yarn-site.xml 中配置，举例

```

<property>

<name>yarn.application.classpath</name>
<value>/opt/hadoop-3.2.1/etc/hadoop:/opt/hadoop-3.2.1/share/hadoop/common/lib/*:/opt/hadoop-3.2.1/share/hadoop/common/*:/opt/hadoop-3.2.1/share/hadoop/hdfs:/opt/hadoop-3.2.1/share/hadoop/hdfs/lib/*:/opt/hadoop-3.2.1/share/hadoop/hdfs/*:/opt/hadoop-3.2.1/share/hadoop/mapreduce/lib/*:/opt/hadoop-3.2.1/share/hadoop/mapreduce/*:/opt/hadoop-3.2.1/share/hadoop/yarn:/opt/hadoop-3.2.1/share/hadoop/yarn/lib/*:/opt/hadoop-3.2.1/share/hadoop/yarn/*</value>

</property>

### 谬误 2
通过 historyserver，在 Mapreduce 阶段，看到异样

org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at

起因，这是因为 mr 应用了 mapreduce_shuffle 辅助服务，但 yarn 没有配置。解决办法，同样是批改 yarn-site.xml，在其中退出以下配置

<property>

<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>

</property>
<property>

<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>


### 谬误 3

ontainer [pid=26153,containerID=container_e42_1594730232763_0121_02_000006] is running 598260224B beyond the ‘VIRTUAL’ memory limit. Current usage: 297.5 MB of 1 GB physical memory used; 2.7 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_e42_1594730232763_0121_02_000006 :

    |- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE

谬误的意思是，yarn 调配给 container 的虚拟内存，超过了限度。起因是，一个 container 应用的内存，除了物理内存，还能够应用操作系统的虚拟内存，也即硬盘。container 分为两种类型，map 和 reduce。决定 map 的 container 的物理内存大小为 `mapreduce.map.memory.mb`
决定 reduce 的物理内存为 `mapreduce.reduce.memory.mb`
决定 map container 所能申请的虚拟内存大小的公式是：`mapreduce.map.memory.mb` * `yarn.nodemanager.vmem-pmem-ratio`
决定 reduce container 所能申请的虚拟内存带下是公式是：`mapreduce.reduce.memory.mb` * `yarn.nodemanager.vmem-pmem-ratio`。所以要解决虚拟内存超限有两个方法：- 增大 container 的物理内存大小。即增大 `mapreduce.map.memory.mb` 或 `mapreduce.reduce.memory.mb`
- 增大虚拟内存申请的比率 `yarn.nodemanager.vmem-pmem-ratio`


## 参考资料
https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.6.5/bk_yarn-resource-management/content/ref-c2ececdf-c68e-4095-99b5-15b4c31701ba.1.html

https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html

https://web.archive.org/web/20170610145449/http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/

正文完

发表至： hadoop

2021-04-10

0

关于hadoop:Apache-Hudi-在-B-站构建实时数据湖的实践

关于hadoop:hdfs命令的那点事

关于hadoop:Hadoop-及Spark-分布式HA运行环境搭建

Hadoop篇03Hadoop配置历史服务

关于java:转载IntelliJ-IDEA三-常用快捷键

关于python:python的代码块和if条件表达式