简介：本篇内容为 2021 云栖大会 - 企业级云原生数据库最佳实际论坛中，上海市新能源汽车数据平台 王成名对于“车联网全景监控数据时空超交融数据库计划”的分享。

上海市新能源汽车公共数据采集与监测钻研核心技术总监——王成名

本文将通过三个局部来介绍车联网全景监控数据时空超交融数据库计划。（基于 2021 云栖大会“企业级云原生数据库最佳实际”分论坛演讲内容整顿而成）

一、数据中心平台业务简介

二、平台技术架构

三、平台愿景与指标

一、数据中心平台业务简介

首先，我简略介绍下咱们的组织以及咱们所做的业务。咱们是做上海市新能源汽车数据中心。咱们所做的业务是接入全上海市所有新能源汽车的数据，蕴含乘用车、商用车、物流、大巴等电动汽车数据的全接入。目前咱们平台接入数据量靠近 60 万辆车。咱们的数据规模曾经靠近 1.5 个 PB，上图是咱们的监管大数据平台。

咱们数据接入是依照新能源汽车安全监管 32960 进行数据采集，其中蕴含 38 项静态数据和 80 多项的动态数据。包含以车辆 VIN 码为根底的整车数据、动员电机、驱动电机、电池以及报警等 8 大类数据。这些数据是典型的物联网时序数据。咱们须要对这些数据进行存储剖析并利用。

同时，咱们是多元的数据架构，咱们岂但有政府委托的数据采集治理，还有国内合作项目。咱们有新能源汽车数据平台、氢能源车站一体化平台、电池溯源治理平台、可再生能源治理平台以及智能网联汽车治理平台。咱们的指标是要致力建设成为世界级汽车产业核心的外围数据中心。

咱们基于数据面向政府，为政府政策的制订、执行和后评估提供无效数据撑持，比方新能源汽车推广报告、政府公共充电桩的选址和部署、节能减排功效评估、安全事故回溯等场景提供数据撑持。咱们还面向市场和行业提供增值服务，比方汽车后市场二手车销售、电池回收以及保险产品的设计等场景提供数据产品服务。咱们也面向高校和科研机构提供数据凋谢的服务，咱们心愿咱们的数据可能更大程度服务行业。

二、平台技术架构

整体数据架构，咱们基于开源 Hadoop 体系构建，数据链路里应答不同场景抉择不同的架构。咱们的数据是多源异构的，有结构化数据，半结构化数据，物联网时序数据，文件数据等。依据不同的数据个性，咱们抉择不同的存储引擎。咱们构建了多协定数据采集平台。咱们有基于 netty 实现的数据网关接入，音讯队列 (Kafka)，文件日志(flume) 和数据接口 API。数据存储有静态数据(RDS)，高速缓存(Redis)，热存储(Hbase），温存储（HDFS），冷存储（OSS）等。而后咱们提供基于 spark 引擎的数据分析和场景化利用。

上图是咱们原有的技术架构（基于 Hadoop 构建的数据仓库），以后大部分互联网行业大家都会选用相似架构。很难有对立引擎解决掉数据存储问题。除此之外，现有技术无奈对时序数据进行无效剖析。为了无效剖析，咱们须要把物联网时序数据转化成构造数据来实现数据分析，这样能够简化剖析，且能够满足咱们绝大部分的业务场景。

咱们应答不同的场景抉择的这些架构，但这些架构也遇到了很多问题与挑战。大略有四个方面。第一，技术栈简单，多组件交融搭配导致技术栈高度简单，保护老本高。第二，存储碎片化。数据同步机制实现和保护，数据查问保护以及数据生命周期治理导致数据高度冗余。第三，开发门槛高。不同技术栈所用不同开发语言及工具开发门槛高，难以标准化。第四，平台扩展性挑战。咱们在容量布局，资源利用率，扩缩搬迁都有很多挑战。

通过多个产品的比照之后，咱们最终选用了阿里云 Lindorm 平台。外围数据存储应用多模数据存储到 Lindorm（结构化、半结构化、时序数据等），数据分析仍然应用 Lindorm 平台提供的 spark 模块。阿里云 Lindorm 的劣势在于低成本，高可用，弹性灵便，主动数据冷热拆散，并且满足低提早。

阿里云 Lindorm 平台零碎架构实现了端到端的产品一体化, 大幅缩小开发与保护老本, 晋升易用和稳定性。反对 HBase 的增量数据实时主动归档为 Parquet 格局, 并定期合并、荡涤, 供 Spark 剖析。Spark 剖析后果以 BulkLoad 回流到 HBase。能力产品化封装, 反对通用 API 调用, 并具备主动容错、分布式扩大、监控报警、高性能等能力。

三、平台愿景与指标

咱们举一个案例谈谈汽车数据的价值，咱们已经做过一个场景，咱们基于数据做了一个交通事故的还原，咱们把车和路网联合匹配，通过数据分析，发现车主在某个工夫点，既踩了油门又踩了刹车导致了事变的产生。如果没有这个数据的剖析，很难定责是车辆故障问题、还是用户驾驶行为问题。相似场景在事变鉴定中常常碰到，数据的价值也得以体现。

另外新能源汽车服役，它具备肯定的剩余价值。但要怎么去评判新能源汽车的剩余价值？咱们利用汽车的数据能够对用户驾驶行为和电池性能做剖析。所以咱们和合作伙伴共同开发一个 app，基于咱们的数据去对汽车做残值评估。首先须要作为集体受权你的汽车数据，而后咱们能够预测你的车子还能够跑多少公里，电池残值还有多少，从而服务于汽车后市场，这是一个很典型的利用。

接下来说说咱们的愿景和指标。咱们心愿基于大数据利用开放平台构建一个凋谢的数据生态。一个基于新能源汽车、智能网联汽车数据的数据中台。咱们致力于将有价值的数据以及具有特征标签的数据，再加上咱们的数据算法包，都集中在这个平台之上。咱们心愿上下游包含政府、钻研机构及其相干产业都能够用咱们的数据和平台，互利共赢。

随着新能源的全面遍及，大数据在交通安全、以及节能减排等畛域起到很重要的作用。咱们心愿在交通安全、能源各个层面以共建，共享，共治的形式，和大家独特构建这个平台，为行业赋能。

版权申明：本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。