1. 扩缩容
hadoop 节点下线 nodemanager
Step-by-step guide
下线 Nodemanager：
在 yarn-site.xml 中配置以下配置：
<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/etc/hadoop/conf/mapred.exclude</value>
<final>true</final>
</property>
当前有节点下线只须要编辑 mapred.exclude 文件，每个节点一行
以 yarn 用户执行 yarn rmadmin -refreshQueues 则会把 exclude 的节点标记为下线
2. 资源队列调整
1. 案例
yz-4m1-01 集群上的队列分为生产型和非生产型。在 2017 年 4 月 12 日凌晨 0 点 – 早上 9 点，非生产型队列占用资大数据培训源较多，导致集群压力过大，影响了当日早上 9 点的 dwa 下发。生产侧提出了队列资源的优化计划，如下：
2. 备份以后队列的配置文件
在 CM 首页点击 yarn
在 yarn 的【配置】页面，搜寻“容量调度”，调出右侧的【值】
将【值】中的数据全副复制进去备份到本地。倡议粘贴到写字板上，粘贴到 txt 里排版会呈现凌乱。
3. 批改以后队列的配置信息
以 qc 队列为例：
4. 保留更改
5. 刷新动静资源池
在 CM 首页，点击集群左边的倒三角，再点击【刷新动静资源池】
6. 核实曾经批改胜利
在 Applications 页面的 Scheduler，调出 qc 队列的信息。
3. 无 CM 批改队列资源
1. 需要：
固网集群 xx 队列 lf_zl 资源 38%*1.8 拆分
原队列 lf_zl 改为 25%*2 —- 租户应用
其余资源新增队列 lf_ja 13%*1.8 —– 预计后续部署租户应用
2. 批改 capacity-scheduler.xml
cd/opt/beh/core/hadoop/etc/hadoop/ #进入配置文件所在目录
cpcapacity-scheduler.xmlcapacity-scheduler.xml_20170616 #备份配置文件
vi capacity-scheduler.xml #批改配置文件
批改 yarn.scheduler.capacity.root.queues 的值，在 value 里增加 lf_ja
批改原 lf_zl 的值：
把 yarn.scheduler.capacity.root.lf_zl.capacity 的值从 38 改为 25
把 yarn.scheduler.capacity.root.lf_zl.user-limit-facto 的值从 1.8 改为 2
在配置文件中新增队列配置文件，如下：
<property>
<name>yarn.scheduler.capacity.root.lf_ja.capacity</name>
<value>13</value>
<description>default queue target capacity.</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.lf_ja.user-limit-factor</name>
<value>1.8</value>
<description>
default queue user limit a percentage from 0.0 to 1.0.
</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.lf_ja.maximum-capacity</name>
<value>100</value>
<description>
The maximum capacity of the default queue.
</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.lf_ja.state</name>
<value>RUNNING</value>
<description>
The state of the default queue. State can be one of RUNNING or STOPPED.
</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.lf_ja.acl_submit_applications</name>
<value>lf_ja_pro</value>
<description>
The ACL of who can submit jobs to the default queue.
</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.lf_ja.acl_administer_queue</name>
<value>lf_ja_pro</value>
<description>
The ACL of who can administer jobs on the default queue.
</description>
</property>
3. 把更改后的配置文件拷贝到 stanby 节点
cp/opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml /opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml_20170616# 登录 stanby 节点备份原配置文件
scp/opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml hadoop@10.162.3.71:/opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml #把批改后的配置文件拷贝到备节点主机上
4. 登录主节点动静刷新资源池
yarn rmadmin -refreshQueues# 刷新动静资源池
5. 登录 yarn 界面查看更改后果是否正确，如图：
4. 批改用户 yarn 资源分配
hadoop 批改用户 yarn 队列调配倍数
1. 以管理员用户登录所要更改的 CM，进入后点击 yarn, 如图：
2. 在 yarn 界面点击配置按钮，并在弹出的查找框中输出“容量调度”，查找如图：
3. 把呈现的值粘贴到文本留作备份（倡议粘贴到写字板上，粘贴到 txt 里排版会呈现凌乱）切记肯定要备份！！！
4. 批改所需批改的值（个别限度用户队列，倡议批改调配的倍数即 Configured User Limit Factor 这个值。批改 Absolute Capacity 须要对整体集群进行计算，所以用户加一起的达到百分百，倡议不做批改）
5. 列：如批改 didi 用户的 Configured User Limit Factor 值。
（1）登录 yarn, 点击 Scheduler，点击 didi 用户的倒三角图标：
咱们能够看出 didi 用户的 Configured User Limit Factor 值为 3，即他能够应用超出他调配百分比的三倍。
（2）批改拷贝中的文本，查找 didi 配置文件那列：
(3)找到所需批改的值 Configured User Limit Factor。将倍数批改成须要调整后的值。
（3）把配置文件拷贝回 CM-yarn- 配置 - 容量调度的那个文本框里，点击保留。
（4）回到 CM 主页，点击集群左边的倒三角，点击刷新动静资源池。
（5）配置结束，到 yarn 上查看批改是否胜利。