关于tdengine:TDengine-如何助力钢铁行业处理日均亿级的数据量来看几个真实案例

37次阅读

共计 1860 个字符,预计需要花费 5 分钟才能阅读完成。

在钢铁行业的生产、运输、治理等环节中,都会波及大量时序数据的存储剖析、运维监控等操作,每日产生的数据量甚至高达亿级,而传统的工业实时库与关系型数据库,都难以应答这种数量级的数据处理需要,想要保障业务倒退,则亟需更为业余的时序数据库(Time Series Database,TSDB)。本篇文章汇总了三大钢铁行业数据治理场景下的数据架构降级计划,供有相干业务需要的开发者参考。

中天钢铁 x TDengine

“目前 TDengine 在咱们的生产环境中运行安稳,通过对生产环境的机器进行检测,CPU 使用率平时不到 1%,内存使用率稳固在 25%。在 TDengine 安稳运行的数周工夫里,中天钢铁的新零碎均匀每周收录 3000 多辆车辆表与 100 多条船只表,每张表中数据或多或少,累计数量已达百万,业务的实际效果也达到了预期。”

业务背景

为了满足业务倒退需要,中天钢铁须要新开发一套性能,对厂内每辆运输车辆货运船只的实时 GPS 地位进行追踪和实时监控,通过大数据平台对 GPS 坐标进行解决、剖析、可视化展现。这些 GPS 数据来自于中天云商 App,只有运输车辆司机关上云商 App,零碎每隔 10 秒会主动发送该车辆 GPS 信号到大数据平台,再由大数据平台剖析解决,数据量之大可见一斑。实质上来讲,行车记录、行船记录都是时序数据,也因而,从数据特点登程中天钢铁开始对时序数据库进行选型调研,在进行性能比照后抉择了 TDengine。

架构图

点击案例查看更多技术细节

钢铁行业能源管理系统 x TDengine

“TDengine 是涛思数据面对高速增长的物联网大数据市场和技术挑战推出的创新性的大数据处理产品,在时序空间大数据处理上,有着本人独到的劣势。TDengine 单核每秒能解决至多 2 万次申请,插入数百万个数据点,读出一千万以上数据点,比现有通用数据库快十倍以上,也远远超出了 InSQL、PI 这两个工业实时数据库的读写能力。”

业务背景

湖北某特钢公司的电力能源介质的计量,是通过 TBox 工控网关采集多功能电表来实现的,须要欠缺并实现“峰谷平尖”电能量费率计量和能源报表。我的项目一期首先要求采集电能量数据,每天产生的数据量在 2800 万条以上,我的项目二期如果再接入非电数据,每天产生的数据量预估在 1 亿条左右,数据处理压力剧增。TBox 工控网关基于后期我的项目施行和理论利用需要提供了残缺的技术计划,蕴含从电表采集电能数据并写入 TDengine 时序数据库,再通过 ETL 工具解决后转存到 Oracle database,从而满足企业一期电能量数据报表对实时数据采集和存储的要求。

架构图

点击案例查看更多技术细节

钢铁行业节水减排我的项目 x TDengine

“TDengine 存储 26 亿行数据状况下,占用的磁盘空间只有 2.8GB,而实际上入库的原数据大小应为 30GB,其列式存储压缩率能够达到惊人的 10%,咱们筹备了 1.8TB 磁盘,目前只用了千分之一。基于超级表个性,咱们还从构造上省下了 26 亿行的标签数据,设想一下如果该表的每一行数据都还要带上这几个数据(type,sendorid,opcid,共计 436 字节),那其本来数据量间接就会达到 TB 级别,就算压缩率再好也要占用百 GB 级别的存储。”

业务背景

由邯钢牵头的“十三五”水专项“钢铁行业水污染全过程控制技术系统集成与综合利用示范”课题中,深度(平潭)科技承当了“进步水循环利用的分质 / 分级供水技术、水系统优化和水网络智慧治理”的钻研工作,翻新开发了具备自主知识产权的“钢铁联结企业全过程节水减排专家管理系统智慧平台”。

平台利用过程中会有海量数据产生,数据的实时写入成为一大难题,计算剖析、报警预警等性能实现也面临微小挑战。最后应用的 Kafka+Strom+HDFS 的组合计划,在面对每天解决将近一亿条数据压力下,数据读取、一致性等性能下滑,运维部署老本显著减少。基于此,他们决定更换数据库计划,并在选型调研后开始利用 TDengine。

TDengine 中间性试验数据

点击案例查看更多技术细节

结语

从以上案例登程,总结而言,TDengine 针对时序数据的写入、存储、索引、查问等方面都进行了特定的优化,从而实现了更优的数据加载、压缩、查问、写入性能,十分匹配工业传感器数据的利用剖析场景,是助力钢铁企业数字化转型路线上的一个好帮手。目前咱们曾经经营了几十个用户交换群,来帮忙用户更好地解决问题,如果你想要进群沟通了解更多,能够增加下方的小 T 微信。


想理解更多 TDengine Database 的具体细节,欢送大家在 GitHub 上查看相干源代码。

正文完
 0