原文链接:三分钟走进袋鼠云一站式全自动化全生命周期运维管家 ChengYing(承影)
课件获取:关注公众号 “数栈研习社”,后盾私信 “ChengYing” 取得直播课件
视频回放:点击这里
ChengYing 开源我的项目地址:github 丨 gitee 喜爱咱们的我的项目给咱们点个 STAR!STAR!!STAR!!!(重要的事件说三遍)
技术交换钉钉 qun:30537511
2022 年 5 月 30 日,袋鼠云对外开源了一站式全自动化运维管家 ChengYing(承影),为了帮忙社区同学更好的应用 ChengYing,自开源之后咱们就紧锣密鼓的筹备直播相干事宜,从 6 月开始,咱们将每月为大家组织一次直播,和大家分享 ChengYing 的相干内容,欢送大家继续关注。
一、ChengYing 简介
ChengYing(承影)——承继于袋鼠云开源我的项目名剑家族的概念,取自十大名剑之承影剑。
ChengYing(承影)作为一站式全自动化全生命周期运维管家,提供大数据产品的一站式部署、运维、监控服务,其可实现产品部署、产品升级、版本回滚、扩缩节点、日志诊断、集群监控、实时告警等性能,致力于最大化节俭运维老本,升高线上故障率与运维难度,为客户提供平安稳固的产品部署与监控。
ChengYing 脱胎于袋鼠云数栈自主研发的一站式运维管家 EasyManager,从开放式对立监控、到定义标准化部署能力,而后引入 Prometheus/Grafana/ 自研 dt-alert 组件,实现对立监控 2.0 的性能优化,再到新增多集群治理能力,最初实现了外部孵化,胜利开源 ChengYing。
二、ChengYing 性能个性
在介绍 ChengYing 的性能个性之前,咱们先相熟几个概念:
名词概念
- 产品
指用 ChengYing 部署的大数据产品,如数栈(DTinsight)、云日志(EasyLog)等,作为 ChengYing 最高级别的组织单位。
- 组件
个别和 ” 组件安装包 ” 等同,指产品下蕴含多个组件,即产品下蕴含多个组件安装包,如数栈(DTinsight)产品下蕴含 Hadoop、DTBase、DTCommon、DTBatch、DTStream 等多个组件,代表不同的利用。
- 服务组
组件下的服务分类,如 Hadoop 组件下蕴含 HDFS、Spark、Yarn、Flink、Default 等服务组,进行服务辨别。
- 服务
指服务组下的具体服务,如 HDFS 服务组下蕴含 hdfs_datanode、hdfs_journalnode、hdfs_namenode、hdfs_zkfc 等组件;Spark 服务组下蕴含 hivemetastore、spark_historyserver、thriftserver 等组件。
- 主机分组
指对主机进行人为分组,当主机数量过多时可进行分组,方便管理。
- 主机
指服务器,蕴含物理机、虚拟机,指产品部署时须要的硬件资源,通常以主机 IP 或主机名称进行辨别。
性能个性
ChengYing 具备六大性能个性:
- 对立的 Schema 定义
抽象化产品包定义,用一套规范的 Schema 定义一个产品包的残缺的生命周期,包含装置、启动、配置、降级、卸载等。
- 集群治理
反对多集群设置,便于在一套 ChengYing 零碎中部署多套资源隔离的服务;反对对集群中所有产品包、所有主机、集群资源的治理。
- 装置部署
反对产品包的疾速装置与部署。
- 服务治理
反对查看各服务及服务实例的运行、健康检查状态;
反对服务的配置批改下发;
反对服务的滚动重启;
反对服务的配置查看。
- 监控告警
集成 prometheus/grafana 组件作为可视化仪表盘组件监控集群、主机、服务性能检测;反对邮件、短信、钉钉以及自定义告警通道发送告警信息。
- 节点扩容 / 缩容
反对依据集群运行状况,产品化反对主机资源裁减与缩减。
三、ChengYing 零碎架构设计
- ChengYing 零碎架构
- ChengYing Agent 设计
- 对立 Schema 设计
- 监控设计
- 架构设计解说
因为架构设计解说的内容比拟多,在此咱们不做具体回顾,大家能够观看视频进行具体理解。
B 站直播回顾地址:
https://www.bilibili.com/vide…
四、ChengYing 疾速入门
接下来为大家介绍如何疾速部署 ChengYing:
- 环境要求
- 疾速部署
下载安装包:
https://github.com/DTStack/ch…
解压安装包:
tar zxvf chengying-release-1.0.tar.gz
cd chengying-release-1.0
运行装置脚本:
sh install.sh local_ip(local_ip 为 Chengying 所在机器 ip)
查看页面:
http://local_ip
- 上传组件安装包
- 抉择集群与安装包
- 配置服务
- 执行部署
五、ChengYing 将来布局
最初为大家介绍 ChengYing 的将来布局及近期次要做的事件:
将来布局
- 服务编排
反对基于主机角色与服务类型主动编排,缩小人工操作老本。
- 部署形式
反对自定义部署产品包流水线程序。
- 平安认证
反对集群开启 Kerberos 认证,票据生成与下载。
- 监控告警
反对基于 PromQL 的自定义告警设置,丰盛告警类型。
近期重点事宜
- 打算 8 月底公布 ChengYing V1.1.0 Release。
- 每月一次开源技术直播。
- 与 Chunjun/Taier 梦幻联动 – 尝试应用 ChengYing 部署 Chunjun/Taier。
袋鼠云开源框架钉钉技术交换 qun(30537511),欢送对大数据开源我的项目有趣味的同学退出交换最新技术信息,开源我的项目库地址:https://github.com/DTStack