关于数据库:TDengine-用户案例合集-智能环保项目的时序数据处理难点与优化实践

63次阅读

共计 1877 个字符,预计需要花费 5 分钟才能阅读完成。

智能环保零碎通常波及大量的传感器和监测设施,以收集环境数据并对其进行剖析和解决,这些数据通常是时序数据,即在一段时间内按工夫程序生成的数据,规模宏大且要求疾速精确地进行剖析和解决。也因而时序数据处理是智能环保零碎面临的一个重要难题,很多我的项目在创立之初采纳了传统的大数据解决方案,随着数据体量的日益增长,性能差、效率低、老本低等问题逐步露出。在本篇文章中,咱们汇总了三个典型的智能环保我的项目的数据架构降级实际,给到有须要的企业参考。

中科惠软 x TDengine

“以往智慧环保我的项目咱们采纳传统数据库架构设计,对在海量秒级监测数据实时统计和剖析耗时长、CPU 和内存利用率低、磁盘 IO 超负荷。在 A 市智慧环保物联网利用我的项目咱们翻新应用了 TDengine,利用了实时流式计算相干函数,解决了大数据存储和计算,升高了代码开发复杂度,让运维工作变得极为简略,极大升高了经营老本。”

业务背景
中科惠软承建的 A 市“智慧环保”物联网利用我的项目须要采集各类感知设施产生的监测数据和监控设施各种运行状态,我的项目每天采集各类监测数据 2 亿余条,如果应用公司原架构,能够勉强将每天的数据存储下来,但如果须要实现“某天下午两点 A 路段有多少辆渣土车通过”相似条件的多纬度分组聚合查问,那么采纳传统的数据库就无奈达成这类查问需要了。思考到各类感知监测设施会时刻产生大量秒级和分钟级监测数据存储和实时计算,在通过多个时序数据库(Time Series Database)之间的性能和稳定性方面比照,最终,中科惠软采纳了 TDengine 对生态环境监测数据进行实时存储、计算。

中科惠软选型测试后果

点击案例查看更多技术细节

昆岳互联 x TDengine

“利用 TDengine 后,在进行每分钟的均匀量进行实时计算时,咱们只须要简略的定义工夫窗口和滑动增量,数据库就能返回每分钟的均匀量;在解决实时监测、预警的指标上,能够专门为这类数据建设流计算,并将计算结果写入新的表(如下 strm_pt_0304)中存储,这样整个实时计算的后果也能够做历史回顾。本来很多须要在程序中解决的数值计算,当初齐全都由 TDengine 承当,不仅分担了程序的计算压力,更重要的是聚合后果能够主动长久化存储,反对历史数据即时回看。”

业务背景

昆岳互联的“a 环保”APP 基于自主打造的环保产业互联网平台(INECO 平台),对环境基础设施海量数据实时处理与剖析,能够秒级实时采集工业大气环保各项监控指标的数据,别离通过年、月、日三个维度,联合不同的采集频率周期,对采集到的海量数据进行剖析、展现。在进行数据库选型中,别离比照了阿里的时序数据库 TSDB、传统的 MySQL 以及 TDengine 后,最终 TDengine 凭借着高效的性能和独特的设计思路怀才不遇。

架构图

点击案例查看更多技术细节

广东环境迷信研究院 x TDengine

“咱们的一张超级表中存储了 76.5 亿条数据(四张超级表总共 160 亿条数据),扩散在 19,419 张子表中,均匀每张表 39 万行。因为 TDengine 超级表个性,再加上列式存储和超高的压缩能力,这些数据仅占用了 240GB 内存,不仅帮忙咱们节俭了大量的存储空间,也为数据查问性能打下了良好的根底:对于 76 亿行的超级表,分组 TOP 查问仅用了 0.2 秒;基于 TDengine 返回 2,968 行,仅用了 0.06 秒。”

业务背景
为解决国内环境质量治理、污染源监管和数字政府等生态环境数据的管理工作,广东迷信研究院创立了生态环境数据治理服务项目,帮忙企业买通所有相干的业务信息系统、建设数据仓库。与个别的数据存储要求不同,该我的项目感知层的存储计划对数据读写频度和低延时要求更高,同时因为数据量极大,还须要更高的存储效率,此前采纳关系型数据库进行数据存储,最多只能保留 3-5 天的数据,不得不按天删除旧数据。之后思考过采纳 PostgreSQL 的 TimescaleDB 扩大,但却不满足政务信息化自主可控的要求。在通过很长一段时间的钻研和测试后,TDengine 被胜利利用。

架构图

点击案例查看更多技术细节

结语

从上述企业实际来看,TDengine 在智能环保我的项目上的利用具备很大的劣势,能够实现高效的数据采集、存储、剖析和展现等性能,为环保零碎提供无力的技术支持。目前,全托管的时序数据云服务平台 TDengine Cloud 也曾经上线,极致的弹性伸缩能进一步晋升业务的降本增效,十分欢送大家来试用~ 如果你正面临数据处理难题,也可增加小 Tvx(tdengine),申请加入 TDengine 技术交换群,和气味相投的开发者独特探讨解决门路。

正文完
 0