关于程序员:从1天→10分钟华为云DRS在背后做了这些

51次阅读

共计 1994 个字符,预计需要花费 5 分钟才能阅读完成。

数字化时代下,企业 IT 的数据重心从反对在线交易后移到经营剖析,数据的及时更新、高效剖析、缩小人工干预,是企业经营的谋求指标。因而企业不再满足于“T+1”,而是“T+0”,须要实时和个性化,对于汽车行业也不例外。

一汽 - 大众汽车有限公司(简称一汽 - 公众)于 1991 年成立,是我国第一个按经济规模起步建设的现代化乘用车工业基地,旗下有奥迪、公众、捷达三大品牌 20 余款产品,笼罩 A、B、C 级全系列乘用车型。为了更好地服务客户,一汽 - 公众通过剖析客户应用习惯及偏好、产品个性化需要收集等形式,多维度满足用户购车和体验需要。

但随着数据挖掘的深刻,对 BI 平台的要求也越高,为解决报表业务零碎数据量的快速增长、数据会集、交互剖析难等难题,一汽 - 公众携手华为云数据库 在 MEP(经销商多功能生态平台)-BI 平台我的项目单干中获得了冲破,逾越了挑战。

实时数据更新,能力具备更快的市场反馈能力

家喻户晓,BI 平台的报表零碎能够连贯多维数据库。报表是帮忙用户把握和理解数据,企业决策者通过实时数据进行剖析和开掘,为业务的变动及时作出应答策略。

一汽 - 公众 4S 门店的 BI 报表业务须要实时会集所有门店的数据,面临微小的技术挑战:60+MySQL 实例,200+ 数据库,共 3 万张表须要数据实时同步到 BI 零碎内。

如果依照传统的数据入湖形式,须要配置 3 万条数据同步链路,以及海量的工作比对数据一致性,保护老本极高,同步效率低下。此外,随着数据量的收缩,现有的数据库无奈撑持数 TB 级别的数据量。

因而打造反对海量数据存储、数据实时同步的商业数据智能剖析的 BI 平台火烧眉毛。

面对一汽 - 公众的业务挑战,华为云在计划选型上的次要考量如下:

  • 抽取数据对源数据库影响最小化:抽取数据不能拖垮源数据库,也不能对源业务的性能造成较大的衰减,甚至表被锁定;
  • 部署施行要轻量简略:不须要在每个数据源装置代理程序,即开即用,配置操作简略易用;
  • 数据一致性有保障:基于 binlog 解析进行逻辑数据同步,具备断点续传和严格的认点技术,无效确保数据一致性。

综上,具备实时精准同步且保障数据统一的轻量级服务,华为云数据复制服务 DRS是迎接业务挑战的不二之选。

助力报表零碎数据实时同步,全面开释数据价值

DRS(Data replication Service)华为云数据复制服务,能够将云上的数据通过多对一的计划会集到具备写入能力的华为旗舰型云原生数据库 GaussDB(for MySQL)中,保证数据一致性和实效性,再通过 DRS 施行同步,从 GaussDB(for MySQL)同步到华为云数据仓库 GaussDB(DWS)中进行剖析。但要达到实时数据同步难度极大,因而,华为云数据库解决了以下外围难题:

  • 减少数据起源列,解决主键抵触 :通过 MySQL 到 GaussDB(for MySQL) 的多对一计划,减少数据起源列,记录 server/database/table 信息,防止多个源表主键抵触;
  • 同步链路反对动静加减表 :新增业务随时须要减少同步的表,华为云 DRS 反对 GaussDB(for MySQL) 的链路动静增减表,配置更加简略不便;
  • 标记数据入湖工夫,帮忙实时剖析:减少附加列数据行写入工夫和更新工夫的列,标记数据插入和更新工夫,为数据入湖及数据实时剖析打下基础;
  • 引入缓冲数据库,实时计算 :针对 1.8 万张表不停的会集和写入,抉择了百万级 QPS 吞吐量和海量数据存储能力的 GaussDB(for MySQL) 作为缓冲层数据库,解决 OLTP 和 OLAP 数据库之间人造的数据处理能力差异。基于 DRS 实时精确的数据同步后,华为云 GaussDB(DWS)实现实时计算,极大缩短简单报表的执行工夫;
  • 数据实时精准同步:基于华为云 DRS 精确的数据同步能力,失常状况下提早均在 1s 以内,为实时报表提供根底条件,且数据同步准确度高,源端和指标端数据行数统一。

业务上线后,一汽 - 公众业务报表系统维护的链路数量从 3 万条升高至 65 条,工作效率大幅晋升;同时10 亿级数据无一条失落,极大升高数据比对工作;帮忙一汽 - 公众实现了销售报表数据可用工夫 从 1 天升高为 10 分钟,时效性大幅晋升。

此外,缓冲层数据库 GaussDB(for MySQL) 具备海量数据存储能力,最大反对 128TB,超百万级 QPS 吞吐,可撑持业务疾速倒退;基于 GaussDB(for MySQL)的计算存储拆散架构,数据三正本存储强统一,数据零失落;RTO 秒级,故障秒切换,全面保障数据安全。

一汽 - 公众以用户为核心,构建以数据分析为外围的生态圈,洞察用户需要,提供高价值产品,深受客户青眼。而华为云数据库通过技术手段实现数据实时同步,从海量的数据中发现洞察,为企业经营决策提供数据根底。将来,华为云数据库将继续携手一汽 - 公众通过数字技术,打造差异化有竞争力的数字化服务,满足客户对产品和服务日益增长的个性化需要。

【重磅举荐】华为云数据库特惠流动

本文由华为云公布

正文完
 0