关于tdengine:从-OpenTSDB-到-TDengine至数物联网平台技术改造之路

43次阅读

共计 1555 个字符,预计需要花费 4 分钟才能阅读完成。

小 T 导读:至数物联网平台场景多、数据模型简单,随同着业务需要的一直迭代及数据量的一直上涨,原有的 OpenTSDB+MySQL 的组合逐步力不从心,局限性日益凸显。在对 TDengine 进行充沛理解与调研后,基于 TDengine 对至数摇光进行了彻底性的革新。本文分享了至数联合本身平台特点进行零碎架构降级革新的教训,以供参考。

公司简介 & 我的项目背景

至数(Medatc)是一家致力于打造行业最佳设施资产数据化经营、治理、服务的平台,为客户提供全方位的设施资产治理撑持,其领有丰盛的行业教训,以及在大数据、人工智能、物联网、互联网 + 畛域的翻新实际能力。公司成立至今曾经取得红杉资本等出名投资机构的策略投资。

至数摇光(即:至数物联网平台)通过动静能量被动标识,动静环境被动标识,智能网关,利用工业互联网时序数据高效采集,边缘计算以及智能算法主动散发等一系列技术,基于医疗设施行业主数据标准,助力医疗机构短周期、低成本、高质量、广覆盖地实现有源设施智慧治理。

一、至数摇光具备场景多、数据模型简单的特点

至数摇光是以提效降耗为指标,帮忙医疗机构实现有源设施的高效治理,为设施应用效率智能剖析,设施迷信配置,设施动静调配,设施平安保障提供全方位撑持。目前共推出了 15 项智能场景利用,30 项事件及异样告警揭示。

至数摇光的上述场景革新前数据库采纳 OpenTSDB+MySQL 联合的形式实现,因为 OpenTSDB 无奈满足简单查问场景,因而 80% 的场景指标只能基于 MySQL 数据库来实现,这样带来的问题就是 MySQL 数据库的数据增长迅速,须要定时做冷热数据拆散及数据库表保护动作。

二、TDengine 助力至数物联网平台实现技术改造

作为一个大而全的数据库,OpenTSDB 稍显轻便,随同着业务需要的一直迭代及数据量的一直上涨,其局限性日益凸显,零碎的架构降级和革新工作日渐迫切。

2021 年咱们在对 TDengine 有了充沛的理解后,决定将至数摇光从时序数据 OpenTSDB 迁徙到 TDengine,并基于 TDengine 的个性对摇光进行彻底性的革新。目前革新工作曾经全副实现,革新后有大概 80% 左右的指标模型放到了 TDengine 中,20% 左右的主数据或维表数据寄存在 MySQL 数据库中。

相较于革新前的 80% 指标模型寄存在 MySQL 中,20% 指标数据寄存在 OpenTSDB 数据库中,后果刚好进行了颠倒,服务器资源应用状况也有所降落。利用整体的页面影响速度显著进步,数据模型及数据指标上也能够更加地灵便多变。

以下为至数摇光网络拓扑路图:

以下为革新前后的数据库比照:

以下以 11 万条数据表来做查问,后果如下:

聚合查问,1,155,876 条数据在耗时不到 0.17 秒的工夫实现 GROUP BY 聚合查问:

写入状况,这里截了一张 Flink 写入 TDengine 数据库图片,3 个小时左右的工夫里写入了 250 万条采集数据,这样的写入量远远没有达到 TDengine 的写入瓶颈,对业务的增长留有富余的空间。

上面是咱们的局部利用展现:

三、TDengine 应用上的一些意见反馈

咱们有些按小时、按天、按月的指标计算的时候如果过后的维表数据有误须要重算,重算的数据须要笼罩之前的数据或者把之前的数据删除掉从新写入。不过 TDengine 目前不反对数据删除,心愿将来可能反对删除性能。

目前更新只反对更新雷同工夫戳数据,心愿 tag 和一般字段可能联结筛选做 update;也有业务场景须要此类性能。

另外,目前排序还存在肯定的限度,心愿 tag 和一般字段可能进行自在升降序排列。

最初感激涛思团队开源进去 TDengine 这款优良的时序数据库系统,也要感激一下涛思团队对至数研发团队的反对与帮忙,祝愿涛思数据越办越好!


想理解更多 TDengine 的具体细节,欢送大家在 GitHub 上查看相干源代码。

正文完
 0