技术交换:30537511(钉钉群)

咱们兴奋的向大家发表一个好消息

DTstackCon新成员

袋鼠云一站式全自动化全生命周期运维管家

ChengYing(承影)

正式开源

我的项目地址

Github开源地址:

https://github.com/DTStack/ch...

Gitee开源地址:

https://gitee.com/dtstack_dev...

官网文档:

https://dtstack.github.io/che...

这是继ChunJun(纯钧)、Taier(太阿)后,袋鼠云数栈大数据名剑家族开源的第三支名剑,是袋鼠云开源我的项目史上又一里程碑事件,代表着数栈开源技术团队对于开源的信心与致力。

一、蛟 分 承 影

ChengYing(承影)——承继于袋鼠云开源我的项目名剑家族的概念,取自十大名剑之承影剑。


ChengYing logo

承影铸于商朝,其出炉时两道剑光飞出,犹如蛟龙,有“蛟分承影,雁落忘归”之言,故名承影。承影为商天子佩剑,后由春秋时卫国藏剑名家孔周珍藏,相传其有影有形,为气随机而动,代表着如影随形时刻守护的意义,正如ChengYing作为袋鼠云数栈的运维管家,提供大数据产品的一站式部署、运维、监控服务,为客户提供平安稳固的产品部署与监控。

二、缘 启 承 影

ChengYing脱胎于袋鼠云数栈自主研发的一站式运维管家EasyManager,在ChengYing正式开源之前,开源技术团队于去年先开源了一款为近程对立治理主机端Agent生命周期而设计的零碎——EasyAgent,作为EasyManager的要害组件,能够实现数栈服务的装置、降级、卸载、启停和配置管理。

在EasyAgent开源后,受到了社区同学的广泛支持,与此同时社区对于EasyManager开源的呼声越发昂扬,秉持着袋鼠技术人“源于开源,回馈开源”的一贯初心,数栈开源技术团队通过决定将EasyManager也就是ChengYing开源,而EasyAgent作为ChengYing Agent 从新与大家见面。

通过不懈的致力,已经的构想终于在明天实现。ChengYing(承影)作为一站式全自动化全生命周期运维管家,提供大数据产品的一站式部署、运维、监控服务,其可实现产品部署、产品升级、版本回滚、扩缩节点、日志诊断、集群监控、实时告警等性能,致力于最大化节俭运维老本,升高线上故障率与运维难度,为客户提供平安稳固的产品部署与监控。

三、形 自 承 影

ChengYing的logo设计因循十大名剑的概念,联合我的项目自身个性,以字母“Y”为设计主元素,交融进剑的尖锐与尖利进行设计,利用坚硬的三角形去体现产品“稳固”的个性,而倒三角又体现着产品“撑持”的个性,而抉择比拟暗的蓝色也体现着咱们“幕后”的特点。

LOGO主体以字母“Y”与六边形的几何图形组成,有残缺、有组合、有散布、传播出本我的项目外围观点是一个全自动化生命周期的运维管家,其性能具备多样性与稳定性。


四、锋 出 承 影

ChengYing作为一站式全自动化全生命周期的运维管家,具备以下六大个性:

1►自动化部署

ChengYing通过规范化的步骤和参数约定制作出产品安装包,公布包中的Schema文件中配置了安装包中所有的服务,蕴含各服务的配置参数、健康检查参数,服务之间的依赖关系等。产品部署时可依据Schema中的相干配置实现一键全自动化部署。

2►界面化集群运维

Hadoop集群、大数据平台在日常运维中波及到的节点扩容缩容、组件进行启动、服务滚动重启、服务参数批改、版本升级与回滚等多种运维操作,通过逻辑化、流程化的产品界面展示,不便运维人员操作和监控,进步运维效率。

3►仪表盘集群监控

通过集成开源的prometheus和grafana,实现对集群、服务、节点的外围参数监控,并通过灵便形象的仪表盘进行数据展示。蕴含CPU占用率,RAM使用率、磁盘空间、I/O读写速率等外围参数进行监控,实时把握集群、服务、节点的运行状态,升高运维故障率。同时,反对用户自建仪表盘及监控项,实现自定义监控项。

4►实时告警

反对实时监控集群中各组件服务的运行指标,如CPU、内存、磁盘、读写IO等,并反对短信、钉钉、邮件告警通道配置,集成多种第三方音讯插件。当集群服务出现异常时,可触发告警条件,零碎将及时告诉接管人。

5►强拓展性

通过自研的ChengYing Agent Server形象出七大REST接口,装置、启动、进行、更新、配置批改、卸载、执行等与下层利用进行交互,可使agent类别和性能可轻松有限扩大。

6►平安稳固

数据安全、产品安全是大数据产品须要重点思考的问题。ChengYing在产品设计中过滤掉rm、drop等命令行,避免对数据库的误操作,通过更加平安的形式执行相干命令。同时提供服务的滚动重启、产品的断电重启,解决运维时服务不进行运行的场景并节俭运维工夫。

►ChengYing操作页面




四、承 影 迭 代

ChengYing是一个用于大数据产品的一站式部署、运维、监控的规范产品,能够用于企业疾速搭建企业外部的大数据平台,基于现有版本曾经实现的性能,将来ChengYing将会打算:

1)服务编排:反对基于主机角色与服务类型主动编排,缩小人工操作老本;

2)部署形式:反对自定义部署产品包流水线程序;

3)平安认证:反对集群开启Kerberos认证,票据生成与下载;

4)监控告警:反对基于PromQL的自定义告警设置,丰盛告警类型;

5)对接内部:反对对接内部LDAP连贯;

6)操作系统:反对ubuntu零碎主机接入。

六、雁 落 忘 归

明天咱们开源了ChengYing,咱们晓得开源不是完结,而恰好是开始。从2018年咱们开源了第一个我的项目开始,4年间咱们先后开源了ChunJun(原FlinkX)、FlinkStreamSQL、jlogstash、EasyAgent、Doraemon、Molecule、Taier等我的项目,这段时间里咱们一直摸索技术上的冲破,将最新的技术成绩与大家共享,也从许多社区同学中取得颇多助益,在互助共享的气氛中与大家一起成长。

将来,咱们将继续秉持“源于开源 回馈开源”的初心,持续推出ChengYing后续版本,同时咱们欢送更多的公司和集体参加到开发者队伍中来,让ChengYing社区更加强壮、衰弱的倒退,让更多人享受开源带来的技术红利!