分享嘉宾 : 姚延栋
北京四维纵横数据有限公司创始人、原 Greenplum 北京研发核心总经理、Greenplum 中国开源社区创始人、PostgreSQL 中文社区常委、壹零贰肆数字基金会(非营利组织)联结发起人
整顿:墨天轮社区
导读
物联网、车联网、工业互联网的疾速倒退,标记着咱们正在减速进入万物互联的时代,时序数据库成为数据架构技术栈的标配。
MatrixDB 作为寰球超交融时序数据库开创者,专为物联网、车联网、工业互联网和智慧城市打造的一站式数据平台。明天我分享的内容分为四个主题:时序数据与时序数据库,MatrixDB 特点、MatrixDB 案例。
时序数据
1、什么是时序数据?
首先,时序更多是一种视角,用来洞悉过来、剖析将来、决断当初。
在每一个时刻都会产生各种各样的数据,比方指标数据、地位数据、点云数据、图像数据等,相似于一个快照。不同时刻继续的数据积攒下来,就造成了一个工夫序列,这就是工夫序列数据。
在某一个时刻咱们能够晓得当下的状态,这些时刻的叠加就能够洞悉过来剖析、决断将来,这就是时序数据库的微小价值。
时序数据处处皆有,且快速增长。在将来时序数据的体量将会越来越大,且处处皆有。时序数据肯定要有关系数据的整合,能力施展真正的价值。
2、基本概念和建模
时序数据三种建模形式分为:窄表模式、宽表模式、树形模式。
- 窄表模式:相似 Sorted KV,⼀条示意⼀个数据点,核⼼是指标,弱设施概念
- 宽表模式:⼀条示意多个数据点,核⼼是设施或者实体
- 树形模式,核⼼是指标,与窄表区别是以层级⽅式组织元数据
三种模式,窄表写⼊灵便,宽表查问灵便,树居中。
图 1 三种建模模式的比照
时序数据库
1、时序数据库的倒退演变
时序数据库的倒退最早可追溯到上世纪 80 年代。而在晚期时序数据库都是针对特定的场景。
MatrixDB 在 2020 年创建,在万物互联的趋势下,为物联网、车联网、工业互联网设计的一款特特色的数据库。
图 2 时序数据库演进历史
2、时序数据库的发展趋势
- 第 1 大趋势:从监控走向剖析
过来时序场景次要用于服务器监控,服务器不过几万台,存储 7 天到 30 天的数据,数据量小且次要目标是监控;但随着物联网、工业物联网、车联网的崛起下,数据量大且次要目标是剖析,通过剖析开掘海量时序数据的价值。
- 第 2 大趋势:数据模型从窄表走向宽表
相比于“窄表”,“宽表 ”可能业务相干的测点、维度和属性信息放在一张或者几张数据库表中, 存储效率高,速度快,适宜大数据量及简单业务场景。
在物联网、工业物联网、车联网的场景的崛起,时序数据库越来越器重剖析,宽表模型越来越多,近几年呈现的新时序数据库也都是以宽表模型为主。
- 第 3 大趋势:数据规模走向 PB 级
随着物联网的倒退,数据规模将会越来越大,从之前的 GB/TB 级走向 PB 级。
- 第 4 大趋势:技术栈走向超交融时序数据库
从各种开源软件拼搭起来走向 ONE FOR ALL 的架构形式。借鉴奧卡姆剃刀原理:“如无必要,勿增实体”。一个数据库能够实现的事件,就不须要太多的数据库来解决。
因而,MatrixDB 的指标是把“极简”、“极速”留给用户,把简单留给数据库开发人员。
图 3 时序数据库的将来发展趋势
MatrixDB 特点
1、MatrixDB 产品简介
MatrixDB 是寰球首款超交融时空数据库,基于自主研发的多项专利技术,实现海量时空数据的疾速采集、高效存储、实时剖析以及深度学习(ML+AL),比传统的时序数据库 InfluxDB、OpenTSDB 性能快 50 倍,空间节俭 60% 以上,比传统的 MPP 数据库快到 3 -100 倍。
Matrix DB 广泛应用于能源、航空航天、汽车和车联网、智能制作和工业互联网、金融、保险、证券、5G 通信、雷达和气象、智慧农业、生物医疗研发、智慧城市、智能家居等各行各业,笼罩智能监控、实时控制、设施溯源、用户画像、行为剖析和预测剖析等多种利用场景,为物联网、车联网、工业互联网和智慧生存提供松软、简洁的数据基座。
图 4 MatrixDB 全景图
2、MatrixDB 产品劣势
- All in One:一个数据库间接解决各种数据类型,不论是时序数据、GIS 数据、传统的关系数据、KV 数据或 JSON 数据等。
- 稳固牢靠:MatrixDB 基于开源的 Greenplum 及 PostgreSQL 来开发,这两个产品都通过几十年的积攒积淀。研发外部也有很多的测试用例,分两大类:几十万的动态测试及混沌测试,能够说 MatrixDB 是站在伟人的肩膀上。
- 大规模:海量的数据规模曾经达到 PB 级的数据量,数据库要能反对 100 PB 级,大量节点的可扩展性,线性扩大能力强能够随时加节点,能力是出现线性增长的,在线性扩大点上,最小的集群能撑持多大的数据量。
- 高性能:MatrixDB 是撑持于 Greenplum,应用外围的 MPP 为主体架构,在此基础上加了专门优化时序场景的执行器,以及为时序场景优化的存储器。
- 企业级个性齐全:对于数据库而言,POC 关注性能,一旦上了生产,更关注稳定性、可运维性,MatrixDB 有监控报警、在线扩容、备份复原及安全控制等企业级个性十分的齐全。
- 生态齐备:与 PostgreSQL 12 / Greenplum 兼容,无缝对接 Hadoop 生态,在数据库外部进行 Machine Learning 训练,反对 Python 及 R 等 UDF。
图 5 MatrixDB 产品劣势
MatrixDB 案例
MatrixDB 的利用案例次要分为三大类:数字孪生智能设施 、 工厂大脑智能制作 、 经典数仓实时剖析。
图 6 MatrixDB 案例场景分类
1、案例一:某造车新权势
新能源造⻋新势⼒疾速倒退,销量年增⻓率超过 200%,过来基于 OpenTSDB+Hive 的技术架构⽆法⽀撑其疾速增⻓的数据量和业务,翻新迭代速度受限,成为倒退瓶颈。
应用 MatrixDB 建设后成果显著,硬件老本节俭 80%,写入效率晋升 10 倍、特定查问效率晋升 100 倍、开发运维效率晋升 1 倍。
图 7 MatrixDB 在造车新权势的利用案例
2、案例二:某能源科技巨头
动⼒电池制作巨头,基于电池充放电数据分析,⽀持电池健康状况查看、电池⻛险预警、电池⼯艺优化等要害业务。因为业务疾速增⻓,基于 Spark + Hive 的⽼架构成为瓶颈。
通过 MatrixDB 建设后,实现了存储 500TB 电池充放电数据、计算开销节俭 85%、存储开销节俭 30% 的成果。
图 8 MatrixDB 在新能源科技的利用案例
3、案例三:某配备制造业巨头
智能配备运维和优化某配备制造业巨头对散布在寰球各地的产品进⾏智能化革新,使其对产品的使⽤过程一目了然,为客户提供运维治理、预测培修、动⼒优化等。
用 All-in-One 代替 MySQL/TDEngine/Greenplum/Spark,实现集群硬件节俭⼀半,性能晋升 6 倍的成果。
图 9 MatrixDB 在配备制造业的利用案例
4、案例四:某物流物联⽹服务商
建设成果:
-
数⽉数据量:300TB
- 实时定位:100ms 返回,1000 并发
- 1 天轨迹 500ms 内返回,3 天轨迹 1 秒返回
- 数据提早不超过 1 分钟
图 10 MatrixDB 在物流互联网服务商的利用案例
5、案例五:某省工厂大脑
2021 年 11 ⽉实现多条总装⽣产线、裁切机和数控机床的接⼊以及安吉、越南两套 ERP 零碎和⼀套 MES 零碎的全副数据荡涤和标准化接⼊⼯作,实现了第⼀阶段通明⼯⼚建设⽬标,22 年全省推⼴。
图 11 MatrixDB 在某省工厂大脑的利用案例
6、案例六:某制药企业
传统的⼯业⼤数据“简单”、“低效”,投⼊巨⼤产出甚微,使得很多⼯业企业谈“⼤数据”⽽⾊变。基于 MatrixDB 的⼯业⼤数据平台解决⼤数据复杂度问题,把“极简”、“极速”留个客户。
图 12 MatrixDB 在某制药企业中的利用案例
7、案例七:某制作企业
某国内出名制造业企业通过收集⼯⼚的各种数据,剖析影响成品率的次要因素,改良⽣产流程,降本增效,⼤幅晋升利润率。
图 13 MatrixDB 在某制作企业的利用案例
以上就是我明天的分享内容,谢谢大家!
更多精彩内容,欢送大家观看视频回放与会议材料
视频回放:https://www.modb.pro/video/6115
会议材料:https://www.modb.pro/doc/57017
- 查看原文:https://www.modb.pro/db/337182
- 查看【国产数据库沙龙】往期生态工具、图数据库专场文章、视频回放资源:https://www.modb.pro/topic/157860
墨天轮,围绕数据人的学习成长提供一站式的全面服务,打造集新闻资讯、在线问答、流动直播、在线课程、文档阅览、资源下载、常识分享及在线运维为一体的对立平台,继续促成数据畛域的常识流传和技术创新。
关注官网公众号:墨天轮、墨天轮平台、墨天轮成长营、数据库国产化、数据库资讯