关于tdengine:四个典型的车联网案例给你数据架构升级思路

48次阅读

共计 2289 个字符,预计需要花费 6 分钟才能阅读完成。

在车联网场景中,智能车辆会通过各类传感器定时采集车身状态信息,比方行驶速度、发动机转速、轮胎压力值、里程数等,此外,还会由某个事件触发产生车辆事件数据,比方门锁上防、撤防、车辆碰撞、异样挪动等,在每次上报数据时都会带有工夫戳,这是十分典型的时序数据场景。在这类场景下,高写入、高压缩率、疾速查问是对于数据处理最根本的要求。

但始终以来,在应答车联网场景下时序数据的存储时,企业大多抉择的都是 MongoDB 或 Apache HBase,这两大数据库技术绝对更加成熟,在业务规模尚未扩张之前,因为设施不多、数据量不大,加上查问场景繁多,尚且能够满足业务需要。随着业务的减速扩张,写入速度太慢、撑持老本过低等问题也逐步浮现。本文将会从四个典型的车联网案例登程,给到你数据架构降级思路。

TDengine x 大疆车载

“在大疆车载以后的云端平台中,TDengine 的利用不仅节约了存储老本和开发学习老本,同时也体现出了很好的写入读取性能,满足了智能驾驶云端平台海量时序数据的解决需要。在查问方面,不论是抉择特定数据的查问还是轻量的查问,都是毫秒级返回数据。”

业务背景

因为以后的智能驾驶业务还是新的业务场景,所以大疆车载在选型上的历史累赘绝对较轻。在数据库选型要求上,从业务需要登程,次要聚焦在两点:首先,联合当下的业务场景,须要满足单台车辆的高频音讯上报频率;其次,反对在数据量大的时候,通过聚合函数,或选择函数来疾速筛选出须要的数据。此外,对数据库要求反对集群部署的同时,也要求更低的查问语句编写上手难度;而且需反对单表千万量级,在海量数据并发场景下,须要有较高的统计报表能力和较好的查问 SQL 效率。

架构图

点击案例查看更多技术细节

TDengine x 蔚来汽车能源

“在实际效果上,革新实现后,查问速度晋升显著,从应用 HBase 查问单设施 24 小时数据的秒级返回,到应用 TDengine 查问查问雷同数据的毫秒级返回;每天增量数据占用的存储空间相当于原来应用 HBase 时的 50%;集群计算资源老本相比应用 HBase 节俭超过 60%。”

业务背景

为了给用户提供更好的补能体验,蔚来能源在加电基础设施上进行了大量的投入,须要对设施进行更高效的治理——将设施采集数据上报至云端进行存储,并提供实时数据查问、历史数据查问等业务服务,用来做设施监控和剖析。在业务诞生之初,其用作数据存储的选型是 MySQL + HBase,MySQL 存储设备最新实时数据,HBase 存储设备原始数据。随着换电站和超充站等设施在全国的疾速布局,设施数量持续增长,积攒的数据量越来越多,长时间跨度数据查问效率呈现瓶颈,再加上查问场景不断丰富,HBase 曾经无奈满足以后业务须要(具体痛点问题见下方案例链接)。

测试论断

采纳批量写入数据形式,调整适合的单批次数据量大小,应用单机部署(8 核 32 GB,500 GB 存储)默认配置的 TDengine 服务,RESTful API 写入形式,在 4k 并发流量下写入没有问题,同时生产积压数据时峰值达到 7 k/s,因为单条音讯蕴含信息量太大,理论解决中会拆分为 30 条写入 TDengine,所以理论写入 QPS 为 210 k/s,比满足同样数据流量的 HBase 集群规模要小不少,能够节省成本,再加上 TDengine 自身部署不依赖其余三方软件,也能够同时节俭运维老本。

架构图

点击案例查看更多技术细节

TDengine x 零跑汽车

“在利用 TDengine 后,不必再像 MongoDB 一样,在查问前须要依据业务加工出需要数据;入库性能高,解决了以前 HBase 入库不及时的问题,能够用更少的服务器资源入库更多的数据,节俭更多老本。同时,TDengine 高压缩的算法能晋升 10 到 20 倍的压缩性能,升高了存储压力和老本。”

业务背景

始终以来,在数据存储上零跑汽车的抉择都是 MongoDB 和 HBase,然而随着业务的减速扩张,写入速度太慢、撑持老本过低等问题也逐步浮现(具体痛点问题见下方案例链接)。从降本增效的角度思考,零跑决定在 C11 新车型上试用下其余的数据库,在剖析数据特点后,最终确定采纳时序数据库(Time-Series Database)。

架构图

点击案例查看更多技术细节

TDengine x 现实汽车

“通过跟涛思官网人员进行深刻业务封闭式测试,TDengine 的性能超出预期,性能比 InfluxDB 要强出许多,两级存储架构设计(行存与列存)很棒,TTL 和标签机制对业务通明,具备极其优良的高并发写入和数据压缩能力,极大升高了业务老本和业务压力。因而咱们决定从 TiDB 迁徙至 TDengine。”

业务背景

在现实汽车的信号上报业务中,须要将标记工夫戳和采集点的信息,通过云端写入到后端数据库中,有肯定的聚合查问需要。这是典型的高并发插入场景,写多读少,之前的零碎用的是 MongoDB,起初因为 MongoDB 的局限性,其将业务迁徙到了 TiDB,不便进行扩缩容。但在迁徙到 TiDB 之后,在目前应用百度云 SSD 虚拟机的状况下,TiDB 集群纯写入性能并不能达到业务冀望预期(HTAP 场景数据库对纯高并发写入反对不好,与该业务场景的适配性不高),须要一直的资源扩容(具体痛点问题见下方案例链接)。

应用老本对照表

点击案例查看更多技术细节

写在最初

随着业务的一直倒退,车联网场景下数据量之大难以想象,如果没有一款可能实现高效存储的数据库,服务器老本会十分的高。术业有专攻,在适合的时候抉择适合的数据库是反对业务倒退的要害,从数据处理需要和特点登程,时序数据库无疑是最佳抉择。


想理解更多 TDengine Database 的具体细节,欢送大家在 GitHub 上查看相干源代码。

正文完
 0