关于数据库:OPPO京东云-loT-项目数据架构改造数据处理痛点这样破解

30次阅读

共计 1458 个字符,预计需要花费 4 分钟才能阅读完成。

在万物互联的时代,大到企业数字化转型、数字城市建设,小到和生存非亲非故的家居生活、智能驾驶、静止衰弱等,都离不开智能物理设施宽泛的连贯和互通。在 IoT 设施的整体运作过程中,会产生大量的时序数据
,而传统的数据解决方案不论是在性能还是老本管控上都顾此失彼。因而,IoT 产品 / 平台想要实现疾速倒退,首要解决的难题就是数据处理痛点。本文优选出几大 IoT 我的项目的数据架构革新实际,给到大家参考。

OPPO x TDengine

“咱们写入 60 万行数据,到 MySQL(目前局部业务部署在 MySQL 集群)和 TDengine 的 4C 12G 容器上,对 CPU/ 内存 / 磁盘进行察看。测试发现 CPU 和内存耗费根本持平的状况下,TDengine 的落盘数据是 MySQL 环境的 1 / 4 左右。”

业务背景

在 OPPO 的穿戴产品的手环 / 手表类业务中,产生的数据类型为时序数据,具备写入量微小且存在离线 / 历史数据补录(更新)的解决需要。此前应用的 MongoDB/MySQL 集群计划,后端存储压力较大,须要常常扩盘,针对此痛点,OPPO 云计算中心智慧物联云团队尝试调研比照了几款时序数据库(Time Series Database,TSDB)产品,试图寻找一个降本增效的解决方案,最初选中了 TDengine。

集群部署如下:

点击案例查看更多技术细节

京东云 x TDengine

“在与 TDengine 工程师沟通后,咱们只应用了 3 台 4C16GB 形成的 TDengine 的集群,就承载了线上的业务。数据聚合方面,依据 TDengine 的性能、机器配置和后期测试的工夫开销,只需很短的工夫就实现了全量设施的数据聚合。CPU 方面也始终很稳固,在常态下 CPU 低于 10%,因为设施的数据聚合须要耗费大量的 CPU,因而在每个整点 CPU 会有所回升,然而也不会超过 45% 的负载。”

业务背景

京东云智能家居场景保护着大量的智能设施,这些设施联网后,会依据设施设定的速率继续产生时序数据,比方有的设施采样距离是 15 秒。京东云 IoT 团队联合本公司数据特点与业务需要,对多种工业时序数据库进行了技术选型,以解决宏大的数据存储和计算带来的挑战,在进行选型时比照了 OpenTSDB 和 TDengine,最终 TDengine 以显著劣势胜出。

CPU 耗费图示

点击案例查看更多技术细节

图扑物联 x TDengine

“在之前一个版本,平台底层应用的是 InfluxDB 来存储时序数据,然而 InfluxDB 在面对海量数据时的读写性能存在瓶颈,在深刻应用 TDengine 后,咱们还发现了诸多劣势。受害于 TDengine 的超高性能和超小体量,咱们在山东大禹水解决有限公司地方水机监控我的项目中的整个平台架构变得更加简化,解决了工业物联网监控剖析零碎开发成本高、周期长、运维难度大等痛点。”

业务背景

针对海量的设施上报数据,图扑 IoT 平台在做实时显示的同时还思考将历史数据也进行无损保留,并在 IoT Platform 上还要给用户提供数据查问的反对,但这就对底层的时序数据存储提出了相当高的要求。在比照了包含 InfluxDB 在内的几个数据库后,在最新的解决方案中,咱们选用了 TDengine 作为时序数据的存储引擎。

架构图

点击案例查看更多技术细节

写在最初

在适合的时候抉择适合的数据库是反对业务倒退的要害,但数据库的更换也并不是头脑一热就能拍板决定的,还须要进行数据库产品的周密察看和调研,心愿上述企业实际可能给到大家帮忙。目前 TDengine 曾经经营了几十个用户交换群,如果你有要进群沟通了解的需要,能够增加 小 T 微信:tdengine1

正文完
 0