关于数据挖掘:便捷高效智能从运维视角看星环科技大数据基础平台TDH

34次阅读

共计 3955 个字符,预计需要花费 10 分钟才能阅读完成。

日前,星环科技公布了大数据根底平台 TDH8.1.0,新版本围绕页面布局重构,集群降级和超大集群治理能力等方面进行了全新降级,极大水平地晋升了用户数据开发治理体验。那明天这篇文章将率领大家从运维视角来进一步理解星环科技 TDH。

数字化转型中的拦路虎——数据平台的运维难

随着数字化转型的深刻和企业的疾速倒退,企业在数据交融翻新过程中,通常会针对不同的我的项目场景装备不同的数据模型,例如时序数据、点边图数据、音讯队列等。尽管引入不同的数据模型能够解决不同场景的问题,但应用多种单模型数据库将会导致数据冗余、数据一致性治理难、资源配置难等一系列问题。同时,多产品的语言与接口不对立,极大地减少了运维压力与运维老本。

近年来,越来越多的企业逐步意识到:将来的大数据平台,既要为不同的我的项目场景配置不同的数据模型以保障其高性能,又要让数据操作和运维更便捷、更对立。因而在一个对立平台中多种数据模型并用变得越来越风行。晚期的多模型数据平台实现门路,仅仅简略地将多个繁多模型数据库组合在一个软件系统中,但这仅仅是界面的对立,底层多个数据库开发语言不统一,运维起来较艰难,排障的效率较低,老本较高。

此外,针对数据平台的运维通常会呈现如下几种状况:

●没有对立运维入口,传统的查问运维难以完成指标数据的可视化,易不足或脱漏要害监测指标;

●因为日志格局非结构化,海量日志的解决十分复杂,急需弱小的搜寻能力和聚合能力;

●动静调度、弹性扩容:数据碎片化、监控对象粒度宏大的状况下,自动化监控实现渺茫,从而导致故障发现滞后,实时性无奈保障。

原创多模型架构——从根本上解决运维难的问题

星环科技大数据根底平台 TDH 采纳当先的多模型技术架构,其原创的分层架构设计提供对立的接口层,对立的计算引擎层,对立的分布式存储管理层,对立的资源调度层,以及反对 10 种数据存储模型的异构存储引擎层。一站式多模型数据管理架构实现了对海量数据的对立治理与集群服务的对立运维,大幅升高了综合老本,从根本上解决了数据平台运维难的问题。

基于对立的 SQL 编译器 Transwarp Quark,咱们只须要简略的 SQL 语句即可实现各种复合跨模型数据查问,无需拜访不同接口即可操作不同的数据模型。对于场景切换、数据库切换而造成接口、开发语言切换的问题就不存在了,技术对接更加容易,运维更加简略。

对立的分布式计算引擎 Transwarp Nucleon 依据不同的存储引擎主动匹配高性能算法,不再须要手工干涉,能够疾速实现垮库关联,防止数据导入导出的麻烦。

异构存储引擎层通过 8 种独立的存储引擎反对 10 种存储模型,满足多变,高阶的数据分析需要,用户能够依据业务的倒退随时按需增减存储引擎,防止从新设计开发减少后续运维和排障难度。

对立的分布式存储管理零碎为不同存储引擎提供公共的存储管理服务,保障数据一致性,实现数据对立治理运维和高可用。

对立的资源调度层 TCOS 是星环科技自主研发的云原生操作系统,提供对立的资源调度框架,通过容器化编排,可能对立调度计算、存储、网络等各根底资源。其适配了多种支流的 CPU 架构和多种操作系统,反对不同硬件、不同操作系统的服务器混合部署,用户不必放心新旧设施兼容性问题。此外,TCOS 还反对灵便、按需的异构硬件(X86,ARM 混合部署)、异构操作系统的程度扩大,反对独自扩大计算或存储资源的程度扩大,防止因业务数据增长带来的资源缓和而需进行繁琐的扩容、迁徙等工作。

星环科技大数据根底平台 TDH 的多模型技术架构实现了以上五个对立,简化了数据平台架构,升高企业运维老本,在架构设计方面就从根本上解决了数据平台运维难的问题。

全套大数据管理组件——让运维更高效、更便捷、更智能

多模型技术架构带来运维便利性的同时,星环科技大数据根底平台 TDH 还配置弱小的全套大数据管理组件,让零碎的资源保护治理,全场景监控和告警,问题辨认和定位,平安防守等工作变得更对立、更便捷,帮忙用户实现高效运维、便捷运维和智能运维的失效指标。

一站式资源保护治理

Transwarp Manager 是 TDH8.1.0 的大数据管理平台,反对集群的图形化装置、治理与降级等服务,让资源保护管理工作更加便捷高效。

一键图形化装置—Transwarp Manager 反对图形化界面,用户只需几个手动步骤就能够在 x86、ARM、MIPS 等各架构服务器或基于 Docker 的云端平台上实现集群一键部署。

图形化装置

可视化集群治理—TDH 8.1.0 反对对节点 / 集群 / 服务进行可视化治理,监控和优化,用户能够按需增加、删除节点、进行或启动角色服务等,让大数据集群管理工作更加便捷。

为已有服务增加角色

不间断平滑降级—TDH 8.1.0 基于 TCOS 容器化集群操作系统,反对在不停服、不中断业务的状况下实现平台的平滑降级。除此之外,TDH 8.1.0 还提供平台补丁性能,绝对于整体降级,做到了更轻量级、对业务无感知的在线保护。其提供平台及产品升级保护对立操作入口,全流程一键实现。同时,TDH 8.1.0 反对版本升级回溯,让零碎更加平安可控。

平台补丁

此外,Transwarp Manager 还提供用户和账号治理,许可证治理,高可用性治理,集群巡检等性能,使用户日常运维和平安运维更加便捷。

全场景运维利用笼罩

TDH8.1.0 的智能运维剖析平台 Transwarp Aquila 领有弱小的运维数据采集能力,能够反对全栈运维数据采集,实现全场景运维利用笼罩,帮忙运维人员更全面的理解大数据各个维度的运行状况。

全栈运维数据采集—Transwarp Aquila 反对全栈运维数据采集,包含操作系统层面的 CPU、内存等硬件资源数据,调度器、网关等零碎组件相干数据,数据库的指标数据以及例如业务汇报零碎,工单零碎等利用的数据。

全场景笼罩—通过 Transwarp Aquila 能够实现全场景运维利用笼罩,运维人员能够从不同的视角对集群,租户,服务等进行大盘监控,同时也能对数据库,大数据组件,云原生利用的运行性能和稳定性进行监控,理解其衰弱状态,及时发现问题并进行相干的操作。此外,运维人员还能够自定义运维仪表盘, 告警规定,自定义运维大盘,拓扑等,灵便地满足一些个性化运维需要。

残缺的大数据运维体系

Transwarp Aquila 实现大数据各个维度的运维监控,在流程上笼罩了事先预警,事中告警,预先剖析解决,同时联合运维知识库实现一套残缺的大数据运维体系,让运维更高效、更便捷、更智能。

预置大量运维规定—Transwarp Aquila 预置大数据和数据库产品、操作系统硬件和 kubernetes 平台等的仪表盘和告警规定,毋庸繁琐配置,开箱即用。

规定设置

多维可视化监控—Transwarp Aquila 预置丰盛的可视化仪表盘来反对不同场景下的运维数据展现,让用户对集群和服务的资源状况、运行状况即刻一目了然。

可视化监控

及时预警和准确告警—Transwarp Aquila 预置 110+ 运维告警规定,运维人员能够通过预置的告警模板迅速按需创立多条告警规定,极大地晋升了告警性能的易用性。同时,Aquila 反对用户基于指标数据以及日志的告警自定义告警规定,通过设置阈值告警能够及时发现数据指标异常情况并及时筹备应答措施,通过设置不同等级的告警能够帮忙用户更高效的辨认异样问题。用户能够按告警规定分组,将各类的告警信息发给对应的解决人员进行疾速问题解决。此外,Aquila 还反对邮件告诉、webhook 告诉等,不便对接第三方告警解决服务,用户能够第一工夫收到告警告诉并及时进行告警解决。

告警查问

日志治理与问题剖析—Transwarp Aquila 预置平台、租户级别的日志搜寻规定,进步用户日志搜寻效率。同时,其反对日志上下文开展,帮忙运维人员追溯故障产生的上下文,迅速定位故障起因。运维人员能够间接依据日志搜寻后果设置告警,与告警性能联动,疾速识别系统和数据异样。

日志上下文开展

在运维集群的过程中, 咱们常常发现一个服务不失常的根本原因往往是它所依赖的上下游服务不失常,而不同的服务,如果横跨了各个系统, 就须要不同畛域的技术专家一起定位。Transwarp Aquila 基于日志,k8s 事件,告警以及异样指标, 联合根因剖析规定, 主动定位异样产生的可能起因,帮忙运维人员疾速发现和定位根因,进步排障效率,大大降低 MTTR。

根因剖析

Transwarp Aquila 还反对运维数据跨集群以及多租户场景。基于 Aquila,运维人员能够对多个集群集中式对立运维,大大降低多集群运维的难度,进步运维的效率。同时,运维数据反对租户隔离,不同租户只能查看本租户数据,仪表盘,告警规定,在线运维工作等。

此外,星环科技大数据根底平台 TDH 还提供大数据平台平安审计和大数据安全管理工具,让平安防守,权限治理等工作更加便捷。Transwarp Audit 面向 TDH 中对数据的操作和权限进行正当布控和监测,实现对数据拜访和操作的集中监控、查看和治理的智能化、可视化审计。Transwarp Guardian 为 TDH 提供集中的平安和资源管理服务,例如其多租户资源管理模块能够依照租户的形式治理资源,并通过一个图形化工具为用户提供权限配置以及资源配置接口。

星环科技大数据根底平台 TDH 采纳当先的多模型技术架构,实现了五个对立,从根本上解决了运维难的问题。同时,联合全套大数据管理组件实现了一站式集群资源保护治理和全场景运维利用笼罩,提供残缺的大数据运维体系,帮忙运维人员对各种场景的运行状况进行全面监控,疾速发现异常和精准定位问题,并通过日志剖析和根因定位等技术帮忙运维人员疾速排障,让运维更加高效,更加便捷和更加智能。

以上就是从运维视角看星环科技大数据根底平台 TDH 的整体介绍,TDH 致力于帮忙用户实现数据全生命周期的治理。

正文完
 0