乐趣区

关于云计算:CDHKylin三部曲之二部署和设置

jiezi

欢送拜访我的 GitHub

https://github.com/zq2599/blog_demos

内容：所有原创文章分类汇总及配套源码，波及 Java、Docker、Kubernetes、DevOPS 等；

本篇概览

本文是《CDH+Kylin 三部曲》系列的第二篇，上一篇《CDH+Kylin 三部曲之一：筹备工作》已将所需的机器和文件筹备结束，能够部署 CDH 和 Kylin 了；

执行 ansible 脚本部署 CDH 和 Kylin(ansible 电脑)

  1. 进入 ansible 电脑的 <font color=”blue”>~/playbooks</font> 目录，通过上一篇的筹备工作，该目录下应该是下图这些内容：

  1. 查看 ansible 近程操作 CDH 服务器是否失常，执行命令 <font color=”blue”>ansible deskmini -a “free -m”</font>，失常状况下显示 CDH 服务器的内存信息，如下图：

  1. 执行命令开始部署：<font color=”blue”>ansible-playbook cm6-cdh5-kylin264-single-install.yml</font>
  2. 整个部署过程波及在线装置、传输大文件等耗时的操作，请急躁期待（半小时左右），如果部署期间出错退出（例如网络问题），只需反复执行上述命令即可，ansible 保障了操作的幂等性；
  3. 部署胜利如下图所示：

重启 CDH 服务器

因为批改了 selinux 和 swap 的设置，须要重启操作系统能力失效，因而请重启 CDH 服务器；

执行 ansible 脚本启动 CDH 服务 (ansible 电脑)

  1. 期待 CDH 服务器重启胜利；
  2. 登录 ansible 电脑，进入 <font color=”blue”>~/playbooks</font> 目录；
  3. 执行初始化数据库和启动 CDH 的脚本：<font color=”blue”>ansible-playbook cdh-single-start.yml</font>
  4. 启动实现输入如下信息：

  1. ssh 登录 CDH 服务器，执行此命令察看 CDH 服务的启动状况：<font color=”blue”>tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log</font>，看到下图红框中的内容时，示意启动实现，能够用浏览器登录了：

设置 (浏览器操作)

当初 CDH 服务曾经启动了，能够通过浏览器来操作：

  1. 浏览器拜访：http://192.168.50.134:7180，如下图，账号密码都是 <font color=”blue”>admin</font>：

  1. 一路 next，在抉择版本页面抉择 60 天体验版：

  1. 抉择主机页面可见 CDH 服务器（deskmini）：

  1. 在抉择 CDH 版本的页面，请抉择下图红框中的 5.16.2-1：

  1. 进入装置 Parcel 的页面，因为提前上传了离线 parcle 包，因而下载进度霎时变成百分之百，此时请期待调配、解压、激活的实现：

  1. 接下来有一些举荐操作，这里抉择如下图红框，即可跳过：

  1. 接下来是抉择服务的页面，我抉择了自定义服务，而后抉择了 <font color=”blue”>HBase、HDFS、Hive、Hue、Oozie、Spark、YARN、Zookeeper</font> 这八项，能够满足运行 Kylin 的须要：

  1. 在抉择主机的页面，都抉择 CDH 服务器：

  1. 接下来是数据库设置的页面，<font color=”red”> 您填写的内容必须与下图保持一致 </font>，即主机名 <font color=”blue”> 为 localhost</font>，Hive 的数据库、用户、明码都是 hive，Activity Monitor 的数据库、用户、明码都是 amon，Reports Manager 的数据库、用户、明码都是 rman，Oozie Server 的数据库、用户、明码都是 oozie，Hue 的数据库、用户、明码都是 hue，这些内容在 ansible 脚本中曾经固定了，此处的填写必须保持一致：

  1. 在设置参数的页面，请依照您的硬盘理论状况设置，我这里 <font color=”blue”>/home</font> 目录下空间短缺，因而存储地位都改为 <font color=”blue”>/home</font> 目录下：

  1. 期待服务启动：

  1. 各服务启动实现：

HDFS 设置

  1. 如下图红框所示，HDFS 服务存在问题：

  1. 点击上图中红色感叹号可见问题详情，如下图，是常见的正本问题：

  1. 操作如下图，在 HDFS 的参数设置页面，将 <font color=”blue”>dfs.replication</font> 的值设置为 1(只有一个数据节点)：

  1. 通过上述设置，正本数曾经调整为 1，然而已有文件的正本数还没有同步，须要从新做设置，SSH 登录到 CDH 服务器上；
  2. 执行命令 <font color=”blue”>su – hdfs</font> 切换到 hdfs 账号，再执行以下命令即可实现正本数设置：
hadoop fs -setrep -R 1 /
  1. 回到网页，重启 HDFS 服务，如下图：

  1. 重启后 HDFS 服务失常：

YARN 设置

默认的 YARN 参数是十分激进的，须要做一些设置能力顺利执行 Spark 工作：

  1. 进入 YARN 治理页；
  2. 如下图所示，查看参数 <font color=”blue”>yarn.nodemanager.resource.cpu-vcores</font> 的值，该值必须大于 1，否则提交 Spark 工作后 YARN 不分配资源执行工作，（如果您的 CDH 服务器是虚拟机，当 CPU 只有单核时，则此参数就会被设置为 1，解决办法是先晋升虚拟机 CPU 核数，再来批改此参数）：

  1. <font color=”blue”>yarn.scheduler.minimum-allocation-mb</font>：单个容器可申请的最小内存，我这里设置为 1G
  2. <font color=”blue”>yarn.scheduler.maximum-allocation-mb</font>：单个容器可申请的最大内存，我这里设置为 8G
  3. <font color=”blue”>yarn.nodemanager.resource.memory-mb</font>：节点最大可用内存，我这里设置为 8G
  4. 上述三个参数的值，是基于我的 CDH 服务器有 32G 内存的背景，请您依照本人硬件资源自行调整；
  5. 设置结束后重启 YARN 服务，操作如下图所示：

Spark 设置 (CDH 服务器)

须要在 Spark 环境筹备一个目录以及相干的 jar，否则 Kylin 启动会报错（提醒 <font color=”blue”>spark not found, set SPARK_HOME, or run bin/download-spark.sh</font>），以 <font color=”red”>root</font> 身份 SSH 登录 CDH 服务器，执行以下命令：

mkdir $SPARK_HOME/jars \
&& cp $SPARK_HOME/assembly/lib/*.jar $SPARK_HOME/jars/ \
&& chmod -R 777 $SPARK_HOME/jars

启动 Kylin(CDH 服务器)

  1. SSH 登录 CDH 服务器，执行 <font color=”blue”>su – hdfs</font> 切换到 hdfs 账号；
  2. 依照官网举荐，先执行查看环境的命令：<font color=”blue”>$KYLIN_HOME/bin/check-env.sh</font>
  3. 查看通过的话控制台输入如下：

  1. 启动 Kylin：<font color=”blue”>$KYLIN_HOME/bin/kylin.sh start</font>
  2. 控制台输入以下内容阐明启动 Kylin 胜利：

登录 Kylin

  1. 浏览器拜访：http://192.168.50.134:7070/kylin，如下图，账号 <font color=”blue”>ADMIN</font>，明码 <font color=”blue”>KYLIN</font>（账号和明码都是大写）：

  1. 登录胜利，能够应用了：


至此，CDH 和 Kylin 的部署、设置、启动都已实现，Kylin 曾经可用了，在下一篇文章中，咱们就在此环境运行 Kylin 的官网 demo，体验 Kylin；

欢送关注公众号：程序员欣宸

微信搜寻「程序员欣宸」，我是欣宸，期待与您一起畅游 Java 世界 …
https://github.com/zq2599/blog_demos

退出移动版