技术交换:30537511(钉钉群)
咱们兴奋的向大家发表一个好消息
DTstackCon新成员
袋鼠云一站式全自动化全生命周期运维管家
ChengYing(承影)
正式开源
我的项目地址
Github开源地址:
https://github.com/DTStack/ch...
Gitee开源地址:
https://gitee.com/dtstack_dev...
官网文档:
https://dtstack.github.io/che...
这是继ChunJun(纯钧)、Taier(太阿)后,袋鼠云数栈大数据名剑家族开源的第三支名剑,是袋鼠云开源我的项目史上又一里程碑事件,代表着数栈开源技术团队对于开源的信心与致力。
一、蛟 分 承 影
ChengYing(承影)——承继于袋鼠云开源我的项目名剑家族的概念,取自十大名剑之承影剑。
ChengYing logo
承影铸于商朝,其出炉时两道剑光飞出,犹如蛟龙,有“蛟分承影,雁落忘归”之言,故名承影。承影为商天子佩剑,后由春秋时卫国藏剑名家孔周珍藏,相传其有影有形,为气随机而动,代表着如影随形时刻守护的意义,正如ChengYing作为袋鼠云数栈的运维管家,提供大数据产品的一站式部署、运维、监控服务,为客户提供平安稳固的产品部署与监控。
二、缘 启 承 影
ChengYing脱胎于袋鼠云数栈自主研发的一站式运维管家EasyManager,在ChengYing正式开源之前,开源技术团队于去年先开源了一款为近程对立治理主机端Agent生命周期而设计的零碎——EasyAgent,作为EasyManager的要害组件,能够实现数栈服务的装置、降级、卸载、启停和配置管理。
在EasyAgent开源后,受到了社区同学的广泛支持,与此同时社区对于EasyManager开源的呼声越发昂扬,秉持着袋鼠技术人“源于开源,回馈开源”的一贯初心,数栈开源技术团队通过决定将EasyManager也就是ChengYing开源,而EasyAgent作为ChengYing Agent 从新与大家见面。
通过不懈的致力,已经的构想终于在明天实现。ChengYing(承影)作为一站式全自动化全生命周期运维管家,提供大数据产品的一站式部署、运维、监控服务,其可实现产品部署、产品升级、版本回滚、扩缩节点、日志诊断、集群监控、实时告警等性能,致力于最大化节俭运维老本,升高线上故障率与运维难度,为客户提供平安稳固的产品部署与监控。
三、形 自 承 影
ChengYing的logo设计因循十大名剑的概念,联合我的项目自身个性,以字母“Y”为设计主元素,交融进剑的尖锐与尖利进行设计,利用坚硬的三角形去体现产品“稳固”的个性,而倒三角又体现着产品“撑持”的个性,而抉择比拟暗的蓝色也体现着咱们“幕后”的特点。
LOGO主体以字母“Y”与六边形的几何图形组成,有残缺、有组合、有散布、传播出本我的项目外围观点是一个全自动化生命周期的运维管家,其性能具备多样性与稳定性。
四、锋 出 承 影
ChengYing作为一站式全自动化全生命周期的运维管家,具备以下六大个性:
1►自动化部署
ChengYing通过规范化的步骤和参数约定制作出产品安装包,公布包中的Schema文件中配置了安装包中所有的服务,蕴含各服务的配置参数、健康检查参数,服务之间的依赖关系等。产品部署时可依据Schema中的相干配置实现一键全自动化部署。
2►界面化集群运维
Hadoop集群、大数据平台在日常运维中波及到的节点扩容缩容、组件进行启动、服务滚动重启、服务参数批改、版本升级与回滚等多种运维操作,通过逻辑化、流程化的产品界面展示,不便运维人员操作和监控,进步运维效率。
3►仪表盘集群监控
通过集成开源的prometheus和grafana,实现对集群、服务、节点的外围参数监控,并通过灵便形象的仪表盘进行数据展示。蕴含CPU占用率,RAM使用率、磁盘空间、I/O读写速率等外围参数进行监控,实时把握集群、服务、节点的运行状态,升高运维故障率。同时,反对用户自建仪表盘及监控项,实现自定义监控项。
4►实时告警
反对实时监控集群中各组件服务的运行指标,如CPU、内存、磁盘、读写IO等,并反对短信、钉钉、邮件告警通道配置,集成多种第三方音讯插件。当集群服务出现异常时,可触发告警条件,零碎将及时告诉接管人。
5►强拓展性
通过自研的ChengYing Agent Server形象出七大REST接口,装置、启动、进行、更新、配置批改、卸载、执行等与下层利用进行交互,可使agent类别和性能可轻松有限扩大。
6►平安稳固
数据安全、产品安全是大数据产品须要重点思考的问题。ChengYing在产品设计中过滤掉rm、drop等命令行,避免对数据库的误操作,通过更加平安的形式执行相干命令。同时提供服务的滚动重启、产品的断电重启,解决运维时服务不进行运行的场景并节俭运维工夫。
►ChengYing操作页面
四、承 影 迭 代
ChengYing是一个用于大数据产品的一站式部署、运维、监控的规范产品,能够用于企业疾速搭建企业外部的大数据平台,基于现有版本曾经实现的性能,将来ChengYing将会打算:
1)服务编排:反对基于主机角色与服务类型主动编排,缩小人工操作老本;
2)部署形式:反对自定义部署产品包流水线程序;
3)平安认证:反对集群开启Kerberos认证,票据生成与下载;
4)监控告警:反对基于PromQL的自定义告警设置,丰盛告警类型;
5)对接内部:反对对接内部LDAP连贯;
6)操作系统:反对ubuntu零碎主机接入。
六、雁 落 忘 归
明天咱们开源了ChengYing,咱们晓得开源不是完结,而恰好是开始。从2018年咱们开源了第一个我的项目开始,4年间咱们先后开源了ChunJun(原FlinkX)、FlinkStreamSQL、jlogstash、EasyAgent、Doraemon、Molecule、Taier等我的项目,这段时间里咱们一直摸索技术上的冲破,将最新的技术成绩与大家共享,也从许多社区同学中取得颇多助益,在互助共享的气氛中与大家一起成长。
将来,咱们将继续秉持“源于开源 回馈开源”的初心,持续推出ChengYing后续版本,同时咱们欢送更多的公司和集体参加到开发者队伍中来,让ChengYing社区更加强壮、衰弱的倒退,让更多人享受开源带来的技术红利!