关于数据库:墨天轮访谈-阿里云捷熙AnalyticDB人人可用的数据分析服务

75次阅读

共计 2909 个字符,预计需要花费 8 分钟才能阅读完成。

分享嘉宾 李婧玮(捷熙) 阿里云数据库资深产品经理
整顿:墨天轮社区

导读
大家好,我是来自阿里云的捷熙。AnalyticDB是交融数据库、大数据技术于一体的云原生企业级数据仓库平台,明天我为大家带来的分享分为三个方面:AnalyticDB 的诞生背景、AnalyticDB 产品介绍、AnalyticDB 利用场景。

市场的挑战和趋势

1、寰球市场的挑战

从寰球市场上看,数据呈现出一个爆炸式的增长的趋势,更加偏差于生产解决的实时化,以及生产解决的智能化,数据库也正在朝着云原生的方向倒退。


图 1 寰球市场挑战

2、业务趋势

数据变动的趋势也对数据处理带来了挑战。

首先要实现 数据强统一,咱们心愿在数据的输出与解决中,保证数据不失落。

第二点是做到 剖析实时性,对多元的数据源进行对立以及实时性剖析。在过来更多的是做“T+1”的数据工作,即当天产生的数据须要在第二天来做解决与剖析,而在当下咱们心愿可能演进到“T+0”的数据分析成果。

第三点的挑战来自 数据系统的复杂性。在面对各种各样的数据源与数据分析系统,须要咱们保留同一份数据的状况下进行多模与多元化的剖析。

最初,学习与运维老本高的状况下,须要咱们实现自运维。咱们心愿数据库从客户层面实现自运维、自复原。


图 2 数据处理面临新挑战

3、技术发展趋势

数据库的倒退历经了从商业——开源——剖析——异构——云原生、一体化剖析式、多模、HTAP 的不同阶段。基于云计算技术可能实现资源的高效池化和隔离,因而在下一个阶段咱们心愿在云计算技术根底之上,研发云原生和一体化分布式的数据库。


图 3 数据库倒退历程

下图是数据库在技术架构上的变动,从单节点逐步演进到对立元数据。


图 4 数据库架构倒退演进

AnalyticDB 产品介绍

1、构建新一代数据存储、解决计划

AnalyticDB 是云原生数据仓库与数据构建的新一代数据存储解决计划的产品。

底层反对各式的数据源以及数据处理,数据的传输通过通过 ETL 的形式传输到数据湖两头。目前提供两种不同的生态,AnalyticDB MySQL 版以及 AnalyticDB PostgreSQL 版。同时,咱们也会反对一体化数据管理同步加工的工具帮忙数据实现一站式的服务。


图 5 云原生产品架构

2、人人可用的数据分析

作为交融数据库、大数据技术于一体的云原生企业级数据仓库服务,AnalyticDB 具备以下六点劣势:

  • 规范 SQL,简略易用:会 SQL 就会数据分析,就会用大数据;
  • 云原生:存算拆散,秒级弹性扩缩容
  • 低成本:按需存储,冷热数据分层,存储老本降落 3 -10 倍
  • 性能强劲:在 2020 年 TPC 权威测评中位列寰球第一
  • 数据共享:真正跨实例的“一写多读”,防止数据孤岛
  • 湖仓一体:原生湖仓一体的数据分析平台

除此之外,AnalyticDB 基于行列存储、混合负载治理、智能索引、交融计算引擎这几项技术的提供,从而在应用中可能满足以下三种利用场景,多维分析 明细查问 实时高吞吐查问和写入


图 6 AnalyticDB 设计愿景

作为领有齐全自主知识产权的数据仓库产品,AnalyticDB 取得了业余畛域的认可并通过多项测评。在 2020 年 5 月寰球权威数仓性能评测 TPC- H 中,AnalyticDB PostgreSQL 版荣获第一;在 2020 年 6 月寰球权威数仓性能评测 TPC-DS 中,AnalyticDB MySQL 版荣获第一。


图 7 AnalyticDB 取得业余畛域认可

3、云原生产品架构

上面展现 AnalyticDB 的产品架构,MPP 数据库架构 + 在离线一体化 +Serverless。
第一层是接入层,两头为计算层,第三层是存储层。其中计算层提供了不同的计算引擎,能够配置不同的资源组,来实现不同的计算和查问的交融剖析的服务。


图 8 AnalyticDB 产品架构

同时 AnalyticDB 提供了冷热数据分层的技术,帮忙实现冷热分层、冷热策略轻松定义、冷热分区主动迁徙、内部接口对立、外部闭环实现。


图 9 AnalyticDB 提供冷热数据分层技术

不仅如此,咱们能够通过资源组来反对不同的计算引擎的混合负载。

客户通过接入层进入到数据库之后,能够分一个资源组作为默认资源组用于在线剖析,也能够用一个新的资源组用于落盘的剖析,在另外一个新的资源组下面去做算法剖析。

所有的剖析服务都能够通过不同的资源组的维度来提供,在同一个实例下面能够反对多种的数据场景,从而大大减少了数据迁徙中带来的这个工夫老本和运维老本。


图 10 AnalyticDB 实现一份数据多场景

利用场景

1、游戏经营剖析

游戏畛域的竞争十分强烈,在互联网高速增长的同时,流量老本一直升高,市场营销开始往精细化倒退。在这样的背景下,须要游戏经营平台实现精细化经营、成果实时反馈,而传统的 Hadoop 大数据平台存在扩展性繁琐、难用、实时性差、性价比低等问题。

“POLARDB + DTS + ADB 大存储 + ADB 高性能”产品组合打造出新一代游戏买量市场实时数据经营剖析平台,极大的晋升了业务体验,促成投放效率转化,同时达到了升高总成本高达 300% 的现实成果。

充沛开掘数据价值,帮忙剖析性能产生了 5 -10 倍的晋升,极大的晋升了业务体验,促成了买量市场的投放效率转化。基于玩家行为日志表日益增长,日增长过亿数据量,通过 ADB 存储密集型实例进行存储和剖析,无效地升高的客户的总体应用老本,总成本降落高达 300%


图 11 利用场景一:游戏经营剖析

2、制作营销

在制作营销的场景中,存在着不同业务数据分析能力低效、多渠道数据汇聚多、运维数据难度高的痛点。

BI+AnalyticDB 打造了在离线一体化数据平台,实现了减速销售端数字化转型,解决大量线下老本的成果。


图 12 利用场景二:制作营销

3、多模剖析、全文检索

原有的数据治理架构存在着数据一致性无奈保障、数据冗余寄存、性价比低等痛点。通过替换 AnalyticDB,达到了大大简化了业务零碎架构、大幅升高存储老本、升高计算成本的成果。


图 13 利用场景三:多模剖析、全文检索

4、企业级数仓

AnalyticDB 在企业级数仓中也能施展极大的作用,以其弱小的批处理和多维度简单剖析能力撑持用户包含 ETL、CRM 和在线剖析报表等多种性能,为商家订单治理、仓储治理、分销治理和协同供应链等性能提供无力剖析反对,并且基于财务和经营数据,为商家提供疾速经营报表、剖析、测算工具零碎。


图 14 利用场景四:企业级数仓

以上就是我明天分享的全部内容,谢谢大家!

更多精彩内容,欢送大家观看现场视频回放与会议材料
视频回放:https://www.modb.pro/video/6389
会议材料:https://www.modb.pro/doc/61411


  • 查看原文:https://www.modb.pro/db/407974
  • 查看【国产数据库沙龙】实时数仓专场文章、视频回放资源:https://www.modb.pro/topic/405214

欲了解更多能够进入👉墨天轮,围绕数据人的学习成长提供一站式的全面服务,打造集新闻资讯、在线问答、流动直播、在线课程、文档阅览、资源下载、常识分享及在线运维为一体的对立平台,继续促成数据畛域的常识流传和技术创新。

关注官网公众号:墨天轮、墨天轮平台、墨天轮成长营、数据库国产化、数据库资讯

正文完
 0