1.扩缩容
hadoop节点下线nodemanager
Step-by-step guide
下线Nodemanager：
在yarn-site.xml中配置以下配置：
<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/etc/hadoop/conf/mapred.exclude</value>
<final>true</final>
</property>
当前有节点下线只须要编辑mapred.exclude文件，每个节点一行
以yarn 用户执行yarn rmadmin -refreshQueues 则会把exclude的节点标记为下线
2.资源队列调整
1.案例
yz-4m1-01集群上的队列分为生产型和非生产型。在2017年4月12日凌晨0点--早上9点，非生产型队列占用资大数据培训源较多，导致集群压力过大，影响了当日早上9点的dwa下发。生产侧提出了队列资源的优化计划，如下：
2.备份以后队列的配置文件
在CM首页点击yarn
在yarn的【配置】页面，搜寻“容量调度”，调出右侧的【值】
将【值】中的数据全副复制进去备份到本地。倡议粘贴到写字板上，粘贴到txt里排版会呈现凌乱。
3.批改以后队列的配置信息
以qc队列为例：
4.保留更改
5.刷新动静资源池
在CM首页，点击集群左边的倒三角，再点击【刷新动静资源池】
6.核实曾经批改胜利
在Applications页面的Scheduler，调出qc队列的信息。
3.无CM批改队列资源
1.需要：
固网集群xx队列lf_zl资源38%*1.8拆分
原队列 lf_zl 改为 25%*2 ----租户应用
其余资源新增队列lf_ja 13%*1.8 -----预计后续部署租户应用
2.批改capacity-scheduler.xml
cd/opt/beh/core/hadoop/etc/hadoop/ #进入配置文件所在目录
cpcapacity-scheduler.xmlcapacity-scheduler.xml_20170616 #备份配置文件
vi capacity-scheduler.xml #批改配置文件
批改yarn.scheduler.capacity.root.queues的值，在value里增加lf_ja
批改原lf_zl的值：
把yarn.scheduler.capacity.root.lf_zl.capacity的值从38改为25
把yarn.scheduler.capacity.root.lf_zl.user-limit-facto的值从1.8改为2
在配置文件中新增队列配置文件，如下：
<property>
<name>yarn.scheduler.capacity.root.lf_ja.capacity</name>
<value>13</value>
<description>default queue target capacity.</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.lf_ja.user-limit-factor</name>
<value>1.8</value>
<description>
default queue user limit a percentage from 0.0 to 1.0.
</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.lf_ja.maximum-capacity</name>
<value>100</value>
<description>
The maximum capacity of the default queue.
</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.lf_ja.state</name>
<value>RUNNING</value>
<description>
The state of the default queue. State can be one of RUNNING or STOPPED.
</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.lf_ja.acl_submit_applications</name>
<value>lf_ja_pro</value>
<description>
The ACL of who can submit jobs to the default queue.
</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.lf_ja.acl_administer_queue</name>
<value>lf_ja_pro</value>
<description>
The ACL of who can administer jobs on the default queue.
</description>
</property>
3.把更改后的配置文件拷贝到stanby节点
cp/opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml /opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml_20170616#登录stanby节点备份原配置文件
scp/opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml hadoop@10.162.3.71:/opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml #把批改后的配置文件拷贝到备节点主机上
4.登录主节点动静刷新资源池
yarn rmadmin -refreshQueues#刷新动静资源池
5.登录yarn界面查看更改后果是否正确，如图：
4.批改用户yarn资源分配
hadoop批改用户yarn队列调配倍数
1.以管理员用户登录所要更改的CM，进入后点击yarn,如图：
2.在yarn界面点击配置按钮，并在弹出的查找框中输出“容量调度”，查找如图：
3.把呈现的值粘贴到文本留作备份（倡议粘贴到写字板上，粘贴到txt里排版会呈现凌乱）切记肯定要备份！！！
4.批改所需批改的值（个别限度用户队列，倡议批改调配的倍数即Configured User Limit Factor这个值。批改Absolute Capacity须要对整体集群进行计算，所以用户加一起的达到百分百，倡议不做批改）
5.列：如批改didi用户的Configured User Limit Factor值。
（1）登录yarn,点击Scheduler，点击didi用户的倒三角图标：
咱们能够看出didi用户的Configured User Limit Factor值为3，即他能够应用超出他调配百分比的三倍。
（2）批改拷贝中的文本，查找didi配置文件那列：
(3)找到所需批改的值Configured User Limit Factor。将倍数批改成须要调整后的值。
（3）把配置文件拷贝回CM-yarn-配置-容量调度的那个文本框里，点击保留。
（4）回到CM主页，点击集群左边的倒三角，点击刷新动静资源池。
（5）配置结束，到yarn上查看批改是否胜利。