共计 2610 个字符，预计需要花费 7 分钟才能阅读完成。
欢送拜访我的 GitHub
https://github.com/zq2599/blog_demos
内容：所有原创文章分类汇总及配套源码，波及 Java、Docker、Kubernetes、DevOPS 等；
本文是《Flink on Yarn 三部曲》系列的第二篇，上一篇《Flink on Yarn 三部曲之一：筹备工作》已将所需的机器和文件筹备结束，能够部署 CDH 和 Flink 了；
全文链接
- 《Flink on Yarn 三部曲之一：筹备工作》
- [《
Flink on Yarn 三部曲之二：部署和设置
》](https://xinchen.blog.csdn.net…
- 《Flink on Yarn 三部曲之三：提交 Flink 工作》
执行 ansible 脚本部署 CDH 和 Flink(ansible 电脑)
- 进入 ansible 电脑的 <font color=”blue”>~/playbooks</font> 目录，通过上一篇的筹备工作，该目录下应该是下图这些内容：
- 查看 ansible 近程操作 CDH 服务器是否失常，执行命令 <font color=”blue”>ansible deskmini -a “free -m”</font>，失常状况下显示 CDH 服务器的内存信息，如下图：
- 执行命令开始部署：<font color=”blue”>ansible-playbook cm6-cdh5-flink1.7-single-install.yml</font>
- 整个部署过程波及在线装置、传文件等耗时的操作，因而请急躁期待（半小时左右），如果部署期间出错退出（例如网络问题），只需反复执行上述命令即可，ansible 保障了操作的幂等性；
- 部署胜利如下图所示：
重启 CDH 服务器
因为批改了 selinux 和 swap 的设置，须要重启操作系统能力失效，因而请重启 CDH 服务器；
执行 ansible 脚本启动 CDH 服务 (ansible 电脑)
- 期待 CDH 服务器重启胜利；
- 登录 ansible 电脑，进入 <font color=”blue”>~/playbooks</font> 目录；
- 执行初始化数据库和启动 CDH 的脚本：<font color=”blue”>ansible-playbook cdh-single-start.yml</font>
- 启动实现输入如下信息：
- ssh 登录 CDH 服务器，执行此命令察看 CDH 服务的启动状况：<font color=”blue”>tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log</font>，看到下图红框中的内容时，示意启动实现，能够用浏览器登录了：
设置 (浏览器操作)
当初 CDH 服务曾经启动了，能够通过浏览器来操作：
- 浏览器拜访：http://192.168.50.134:7180，如下图，账号密码都是 <font color=”blue”>admin</font>：
- 一路 next，在抉择版本页面抉择 60 天体验版：
- 抉择主机页面可见 CDH 服务器（deskmini）：
- 在抉择 CDH 版本的页面，请抉择下图红框中的 <font color=”blue”>5.16.2-1</font>：
- 进入装置 Parcel 的页面，因为提前上传了离线 parcle 包，因而下载进度霎时变成百分之百，此时请期待调配、解压、激活的实现：
- 接下来有一些举荐操作，这里抉择如下图红框，即可跳过：
- 接下来是抉择服务的页面，我抉择了自定义服务，而后抉择了 <font color=”blue”>HDFS、YARN、Zookeeper</font> 这三项，能够满足运行 Flink 的须要：
- 在抉择主机的页面，都抉择 CDH 服务器：
- 接下来是数据库设置的页面，<font color=”red”> 您填写的内容必须与下图保持一致 </font>，即主机名为 <font color=”blue”>localhost</font>，Activity Monitor 的数据库、用户、明码都是 <font color=”red”>amon</font>，Reports Manager 的数据库、用户、明码都是 <font color=”red”>rman</font>，这些内容在 ansible 脚本中曾经固定了，此处的填写必须保持一致：
- 在设置参数的页面，请依照您的硬盘理论状况设置，我这里 <font color=”blue”>/home</font> 目录下空间短缺，因而存储地位都改为 <font color=”blue”>/home</font> 目录下：
- 期待服务启动：
- 各服务启动实现：
YARN 设置
默认的 YARN 参数是十分激进的，须要做一些设置能力顺利执行 Flink 工作：
- 点下图红框地位，进入 YARN 治理页：
- 如下图所示，查看参数 <font color=”blue”>yarn.nodemanager.resource.cpu-vcores</font> 的值，该值必须大于 1，否则提交 Flink 工作后 YARN 不分配资源执行工作，（如果您的 CDH 服务器是虚拟机，当 CPU 只有单核时，则此参数就会被设置为 1，解决办法是先晋升虚拟机 CPU 核数，再来批改此参数）：
- <font color=”blue”>yarn.scheduler.minimum-allocation-mb</font>：单个容器可申请的最小内存，我这里设置为 <font color=”red”>1G</font>
- <font color=”blue”>yarn.scheduler.maximum-allocation-mb</font>：单个容器可申请的最大内存，我这里设置为 <font color=”red”>8G</font>
- <font color=”blue”>yarn.nodemanager.resource.memory-mb</font>：节点最大可用内存，我这里设置为 <font color=”red”>8G</font>
- 上述三个参数的值，是基于我的 CDH 服务器有 32G 内存的背景，请您依照本人硬件资源自行调整；
- 设置结束后重启 YARN 服务，操作如下图所示：
至此，部署和设置都已实现，Flink on Yarn 的环境曾经可用了，在下一篇文章中，咱们就在此环境提交 Flink 工作，体验 Flink on Yarn；
欢送关注公众号：程序员欣宸
微信搜寻「程序员欣宸」，我是欣宸，期待与您一起畅游 Java 世界 …
https://github.com/zq2599/blog_demos
正文完