关于tdengine:TDengine-助力曲靖卷烟厂有效提升时序数据存取效率

4次阅读

共计 2817 个字符,预计需要花费 8 分钟才能阅读完成。

作者:曲烟信息化小组

小 T 导读:作为云南中烟外围生产厂之一,曲靖卷烟厂基于中国制作 2025 的政策号召,不断完善的网络基础设施,梳理数据采集节点,丰盛数据采集伎俩,逐渐买通制丝、卷接、包装、成型、能源等卷烟生产及保障过程中相干设施与现场终端的局域互联,构建全面笼罩生产重要区域的数据采集网络,造成卷烟工厂《制作过程数据采集规范》,实现高效稳固的数据采集,为实现全面智能化制作奠定了数据根底。

近年来,曲烟围绕工业数据的“取、存、管、用”四个方面,搭建工业大数据集群及数据共享服务中台,依靠两化交融、数据管理能力评估规范体系,发展工业数据采集、数据建模、数据利用、技术开发、数据安全及平台运维等钻研。

在数据“取、存、管、用”中,“存”为基石。卷烟工业数据具备时效性强、实时数据量大等特点。而随着业务的倒退,生产中须要监测的指标从几万个减少到几十万甚至百万个以上,曲烟过来应用的某国外时序数据库软件在性能和扩大能力上,越来越难以为继,在对生产设施进行产量、资料耗费、工艺效率等大数据量存储、统计分析、跨长时间段的查问操作时,消耗老本越来越高,无奈撑持起日益增长的业务、效率需要,“如何无效晋升时序数据存取效率”成为了挡在曲烟数字化转型路上的拦路虎。

为晋升数据存取效率、突破传统数据孤岛、晋升数据无效利用率,曲烟决定从以后市面上风行的时序数据库从新进行选型,具体的选型思考和实际成果将在下文中一一进行论述。

从原有时序数据库到 TDengine

在进行数据库选型之前,咱们对以后曲烟生产设施进行了一些特点剖析。在多年倒退下,设施类型越来越繁多,不同设施的通信接口、采集协定、采集参数都各不相同,单个工厂的设施数量在几十到几千之间,单台设施的采集参数数量有上百之多,参数类型蕴含数值和文本两种,根本的采集频次要求每两秒采集一次,同时反对变动上报。由此可见,每天产生的数据量有如许宏大,在这种体量的数据量基数下,存储和查问等操作也会频频呈现问题。

此前曲烟应用的国外某时序数据库是一款非开源软件,其在软件应用上,写入速度满足需要,但查问速度却太慢,同时不足统计工具,数据统计效率较低。在软件运维层面,软件体量大,运维老本高;过于受限,永恒受权也不能自在批改数据点;反对 OPC DA 数据采集,但稳定性较差、安全性有余。

曲烟革新后的零碎须要反对的个性如下:
1. 性能稳固
2. 高效的数据写入
3. 高效的数据查问,包含最新数据和历史数据
4. 可云化部署
5. 可私有化部署
6. 线性扩大
7. 高可用

在 TDengine 于 2019 年下半年刚推出第一个开源版本时,咱们就从开源社区理解到这个国产的高性能时序数据库,很快就开始进行测试试用,并持续保持着和涛思团队的技术交换。作为第一个吃螃蟹的烟草企业,咱们也综合考量了 TDengine 的业务场景匹配度、产品市场成熟度等因素。只管过后 TDengine 还是一款绝对比拟“年老”的时序数据库,市场份额也暂不如一些老牌工业库,但它的外围代码齐全开源,社区活跃度十分高。

在外部比照测试了 OpenTSDB、InfluxDB 等开源时序数据库后,咱们发现 TDengine 的综合体现最优。而涛思团队也在 2020 年公布了 TDengine 2.0 版本,将老牌工业库以及 InfluxDB 开源版不具备的分布式集群扩大能力也开源了,这也进一步减少了咱们采纳 TDengine 做烟厂规范时序引擎的信念。很快咱们的信息技术团队便基于卷包车间的数据采集存储需要,对 TDengine 又进行了一系列生产级别的测评,教训证后它的写入速度和查问速度都满足咱们的生产需要。

其中给咱们印象最粗浅的是,那时候 TDengine 的安装包大小才不到 5MB,竟能提供这么强劲的性能——10 亿级别的数据量做聚合计算只须要 2 秒,而在之前应用的国外某时序数据库中,对全量(有余 1 亿条记录)的均值计算须要 2-3 分钟。此外,TDengine 数据库内置工夫窗口主动宰割和统计机制,让前期报表数据统计更加快捷不便,而且这款软件上手应用很简略,通过命令行能间接以 SQL 语法进行交互,和 Grafana 也能够无缝对接。在排除了开发成本的疑虑后,咱们很快就应用 TDengine + Grafana 搭建起了卷包车间的数据存储和可视化平台。

目前,曲烟卷包、制丝车间均应用的是国产时序数据库 TDengine,逐步代替了之前应用的时序数据库。

技术架构与落地成果

基于曲烟已搭建的公有云平台,咱们将 TDengine 部署到云端,两头借助 Kafka 作为消息中间件作为零碎音讯总线,将数采软件采集到的卷烟机、包装机等实时工作状态数据推送到其中,之后通过多个消费者生产入库 TDengine,进而撑持下层的 MES、危险预警、切丝机水分预测、零配件需求预测等业务应用服务。具体架构如下:

测试后果中,TDengine 的写入和查问的效率十分高,均匀在 10ms 以内,性能齐全满足曲烟的要求。

目前 TDengine 曾经接入曲烟卷包车间数据并继续稳固运行超过半年,已存储曲烟卷包部所有卷接包设施,每张子表超过 150 列数据,总计累计数据量:5 亿 5 千万条(553,666,828),而落盘后的磁盘空间应用只有 1.9GB,极大节俭了存储空间。

目前咱们搭载 TDengine 时序数据库构建的零碎已充沛满足曲烟提出的需要个性。在 TDengine 的无力撑持下,曲烟重点围绕工业数据“取、存、管、用”四个方面,重构了挪动平台及 MES 现场操作站架构,重点打造了“一部手机管生产”,以买通企业外部不同层级、不同零碎之间的数据壁垒,实现对内撑持业务利用和管理决策、对外提供数据共享及服务能力。

搭载 TDengine 的利用介绍

在业务层面,曲烟的各个系统也均取得了 TDengine 十分硬核的助力,数字化过程减速推动,目前也达成了以下各项利用成绩:

1、基于二维码的产品全生命周期零碎: 将一包烟从制丝、卷包、成型生产环节的工艺信息、质检信息、原料信息、辅料信息、设施信息等多方数据进行平台汇聚,通过烟包惟一二维码进行关联,实现了产品的数字化,为协同晋升产品外在品质造成数据撑持。

2、品质危险预警系统: 曲烟将积淀的大量工业数据进行数学建模,构建起品质危险预警模型,对设施剔除、停机、耗费甚至外挂设施状态等要害数据进行实时监控,若出现异常将以短信、微信、大屏推送的形式将信息传送到相干职能人员手中,造成 PDCA 的治理闭环,将传统人找事转变为事找人的工作模式。

写在最初

咱们非常高兴有幸“结识”了 TDengine,并且将其利用到了咱们的零碎革新中,事实证明,这是一项十分正确的决策。TDengine 不仅轻量级好运维,同时它的性能之高、硬件老本之低也让人印象粗浅。在搭载 TDengine 的这段时间,感激涛思数据的各位小伙伴带给咱们的反对,心愿将来 TDengine 可能更新出越来越多优良的个性,咱们之间的单干也能更加深刻。


✨想理解更多 TDengine 的具体细节,欢送大家在 GitHub 上查看相干源代码哦。✨

正文完
 0