关于tdengine:观测云与-TDengine-达成深度合作优化企业上云体验

3次阅读

共计 2726 个字符,预计需要花费 7 分钟才能阅读完成。

近年来,各大厂商纷纷拥抱云原生技术,由此带来的海量数据给传统的技术架构带来了微小冲击,传统监控首当其冲。服务上云之后,大都基于 Docker 容器部署、Kubernetes 服务治理,资源弹性伸缩且实时变动,传统监控难以支撑住此场景下的业务需要,可观测性(Observability)逐步倒退成为云原生畛域的热门方向。

在此背景下,云时代的零碎可观测平台观测云与物联网大数据解决方案商涛思数据达成深度策略单干,依附国产时序数据库 TDengine 的技术和性能劣势,观测云将进一步满足云、云原生、利用及业务上的监测需要,从基础设施到日志数据再到全链路利用性能实现全面被动观测,让企业在上云体验上更加顺滑。

多种存储混合查找,观测云设计 DQL 引擎专一查问


在观测云的数据存储构造中,数据采集软件会被部署到不同的用户环境中采集所需数据,在数据上传后零碎会依据数据类型进行相应的分类,分类实现后所有数据会经由 Worker 进行对应解决,再依据相应的分类写入到各种不同的存储当中。在数据存储实现后,依据业务需要用户须要对数据进行查问操作,但不同的数据存储存在查询语言的差别,如何补救语言差别实现查问操作成为一个亟待解决的问题。

观测云所应用的的存储能够概括为三种,一种是如 TDengine 个别的时序数据库(Time-Series Database),一种是 Elasticsearch(简称 ES),此外还有一部分数据存储在 Redis、MySQL 这类关系型数据库当中,对应如此多品种的存储,在遍历查问方面极度不敌对,尤其是对于前端来说。观测云的解决方案是从新定义一套能够查问多种数据类型的查询语言,并由此设计出了 DQL 引擎,真正意义上实现了数据查问层面的垂直划分。

为了打造出一种可能对立查找多种存储混合的查询语言,观测云在设计上进行了深刻思考,并依靠于具体实现一直打磨,设计出了专一于查问且语法简略的 DQL 引擎,代码展现如下:

M(Metric)::nsq_nodes:(LAST(message_count) AS 音讯数 ) BY 
server_host 
L(Log)::openway_gin:(MAX(cost_time)) {host =‘prd-dataway’} 
BY http_url 
R(RUL)::view:(COUNT_DISTINCT(userid)) { app_id = 
'appid_xyz' and view_path = re('.*/scene/.*') }

在解决了多种存储共存的问题后,为满足业务倒退需要,进一步晋升前端操作体验,观测云决定对既有的存储系统架构进行降级革新。

与 TDengine 单干,晋升用户体验

观测云此前应用的时序数据库是 InfluxDB,利用至今,其越来越难以撑持私有化部署业务,多种问题和瓶颈导致业务倒退受到限制,最终观测云决定对 InfluxDB 进行替换。他们将眼光转移到国内数据库畛域,发现在多年的倒退之下,一些优质的国产时序数据库应运而起,TDengine 就是其中之一。在理解了 TDengine 的种种个性之后,观测云对两种时序数据库进行了相干测试。

根据上述测试后果,观测云发现,不论是从写入、查问抑或是存储方面,TDengine 在性能上能够说是全面当先于 InfluxDB。无论是简略查问还是简单的聚合查问,都有 10x~20x 的性能晋升,存储空间能节俭大概一半,在写入性能上也有两倍晋升,也就是说原先可能须要应用两个或者三个节点能力满足用户的写入需要,利用 TDengine 后一个节点大概就顶住了,肯定水平上又节俭了一部分的部署老本。

目前,观测云正在逐渐将数据从 InfluxDB 迁徙至 TDengine,TDengine 将会被利用在多租户隔离、高频 I/O、私有化部署等场景中。

作为一个 SaaS 平台,观测云须要接入多租户进行对应服务,因而平台方首先须要思考的就是不同租户之间如何以不同的 DB/Index 进行隔离。在 TDengine 中,多个 DB 能够共享一个 database 服务,观测云能够顺利施行这个计划。

此外,多租户模式也会产生高频数据写入,每一个租户都可能会部署多个采集点,而一个采集点就相当于一个写入的客户端,仅对于一个租户而言,就可能产生十个、一百个甚至更多的接入客户端,多租户的写入量之微小可想而知。

除了写入,平台在查问层面也会面临不小的压力,前端指标的生成、监控等无时无刻不在对数据进行查找。TDengine 的逻辑设计使得其既能够满足高牢靠,又可能满足大数据量级的读写需要,能够很好地支撑住多租户模式下的零碎性能。

除了 SaaS 服务外,观测云还会针对一些客户的业务需要进行私有化部署,私有化部署的环境和 SaaS 有很大区别,不仅要将部署效率晋升,还要可能和不同的云平台买通,更便捷地获取须要的资源。相比于 InfluxDB,国产的时序数据库 TDengine 对私有化部署显然更加敌对。

结语

在 TDengine 的助力下,观测云极大地节俭了部署和运维老本,也显著晋升了零碎的整体性能,让前端用户在应用体验上更上一层楼。作为 TDengine 的合作伙伴,观测云心愿 TDengine 将来可能有更多数学函数的反对,同时增强局部查问性能对 Unicode 的反对,以更加丰盛的性能促成单方发展更为深度的单干模式。

“前面在咱们的 SaaS 和私有化部署中都会默认应用 TDengine,其余私有云(AWS、腾讯云等)上的服务都将以 TDengine 为主,对于新接入的用户咱们也将缓缓迁徙到 TDengine 节点。”

将来随着单方单干的继续增强,能够预感,强强联合的技术加持将为云原生行业的智能化监控构筑更加松软的“技术底座”,为企业数字化转型提供技术力量撑持,为国内可观测性技术的倒退奉献源源不断的创造力。

观测云简介: 观测云,新一代 SaaS 化全链路数据可观测平台,实现对立采集、对立标签、对立存储和对立界面,带来全功能的一体化可观测体验。观测云能全环境高基数采集数据,反对多维度信息智能检索剖析,及提供弱小的自定义可编程能力,使零碎运行状态尽在掌控,故障根因无所遁形。聪慧的团队会观测,可观测性用观测云。

涛思数据简介: 北京涛思数据科技有限公司(TAOS Data)瞄准日益增长的物联网数据市场,专一时序空间大数据的存储、查问、剖析和计算,不依赖任何开源或第三方软件,开发了领有自主知识产权、100% 自主可控的高性能、分布式、反对 SQL 的时序数据库 TDengine。采纳 AGPL 许可证,涛思数据曾经将 TDengine 的内核(存储、计算引擎和集群)100% 开源,将来将尽最大致力打造开发者社区,保护凋谢开源的商业模式。


想理解更多 TDengine Database 的具体细节,欢送大家在 GitHub 上查看相干源代码。

正文完
 0