阿里云峰会直播地址 2020 年 6 月 9 日,“全速重构”2020 阿里云·线上峰会即将隆重召开。在此次峰会上,阿里云数据库重磅发布云原生分布式数据库 PolarDB-X、云原生数据仓库 AnalyticDB、数据库自治服务 DAS、云数据库专属集群、图数据库 GDB、云数据库 Cassandra 版、云数据库 ClickHouse 7 款跨时代产品,用技术倾情打造新数字时代的基石!今天小编为大家倾情呈现全球首个数据库自动驾驶云平台 DAS 产品亮点!过去 10 年,数据库上云俨然已成共识,云数据库相较于传统线下数据库,解决了资源、弹性、高可用、备份、监控等基本 DB 运维负担。但如何用好数据库,如何对数据库进行快速诊断和持续优化,对一般应用开发者而言,依然充满挑战。阿里云基于阿里巴巴自身数据库规模化运维的专家经验,结合人工智能和机器学习技术,实现自感知、自诊断、自修复和自安全的数据库自动驾驶能力,今天依托于阿里云平台,推出数据库自治服务,正式向云上客户开放。DAS 是业界首次以独立云服务的方式实现数据库自治能力,推出六大核心自治特性,覆盖支持包括 OLTP(RDS/PolarDB)、NoSQL(Redis/MongoDB)、OLTP(ADB) 等各类数据库引擎,并支持混合云、SQL 审计和风险识别等企业级数据库运维特性,为客户数据库的稳定安全提供全方位保驾护航。基于数据驱动、专家经验和机器学习,从异常发现、根因分析、执行修复/优化操作、跟踪评估、反馈实现全流程闭环,无需人工干预,实现数据库的自治,保障数据库持续稳定、高效运行。DAS 具备 6 大核心自治特性 7 x 24 实时异常检测:通过机器学习算法,实时对数据库的 Workload 进行异常检测,相比基于阈值的告警方式,能够更及时的发现数据库的异常,而不是靠故障驱动;异常自愈:DAS 发现异常后,自动进行根因分析,定位到问题后,自动执行相关止损/修复/优化操作,帮助数据库自动恢复,减少对企业业务的影响;自动优化:基于全局 workload 和真实的业务场景,而不是基于单条 SQL,持续的对数据库进行 SQL Review 和优化,就像有一个不知疲倦的专业 DBA 一直在守护着您的数据库;智能调参:数据库的参数成百上千,用户的业务场景多种多样,靠人肉的方式无法将参数调整为最优的配置,DAS 和达摩院合作,通过基于机器学习技术,和智能压测相结合,可以为每个数据库实例的自动推荐最优的参数模版;AutoScale:基于机器学习,自动对数据库的业务模型、容量水位进行计算和预测,实现先知先觉式的自动扩缩容。智能压测:为用户提供个性化的压测服务,DAS 可以自动学习业务模型,自动生成无限多的接近真实业务的 workload,同时提供给用户更丰富的压测场景,帮助用户解决大促、数据库选型等等问题。和自动驾驶一样,数据库自治服务,也不是一蹴而就的,我们将数据库的自治能力划分为 5 层:
- Level-0: 全部靠人肉,没有任何工具/产品辅助
- Level-1: 提供基础监控、告警等信息,不输出任何建议;
- Level-2: 在某些场景下,能够输出诊断或者优化建议,但是建议是否采纳和应用,还是由人来决策,例如 SQL 诊断引擎
- Level-3: 在某些场景下,实现完全的自治,无需人参与,例如自动 SQL 限流、自动弹性伸缩
- Level-4: 实现数据库的完全自动驾驶,目前 DAS 正在努力做到 Level- 4 的过程中。
为了实现数据库自治服务,我们已经实践了 6 年。从 2014 年开始,我们开始尝试如何将 DBA 的经验转换成产品,为业务开发提供更高效,更智能的数据库服务。我们就构建了基于规则的 SQL 诊断引擎,即输入一条或者多条 SQL 后,SQL 诊断引擎会直接输出优化建议;2016 年,CloudDBA 的 web 版发布,同时也升级了 SQL 诊断引擎,在这个阶段用户可以直接在阿里云上通过 C loudDBA 直观的查看数据库的负载,同时进行 SQL 诊断和优化。2018 年我们通过在阿里巴巴的业务和场景,开始孵化和锤炼数据库自治能力,通过 Self-driving Database Platform,截止到 2020 年 4 月已经自动优化了 4200 万 + 的 SQL、自动回收了超过 4 PB 的空间、自动优化了 27 TB 的内存。2019 年 11 月,为了更好的服务客户,我们将混合云数据库管理 HDM+ CloudDBA+ 自治的能力,升级为数据库自治服务 DAS。DAS 在 4 个方面取得了核心创新和突破:首个全局综合自治引擎:基于根因分析以及实例全维度聚合信息,进行集中决策,冲突解决,专项自治场景决策分发,在多自治场景下实现综合自治。首个外置式 Cost-based SQL 诊断:基于代价的诊断引擎,一套独立于数据库之外的优化器,并以自适应的统计信息收集机制,基于执行计划的代价评估,实现 SQL 精确诊断与优化建议输出。基于 Workload 全局 SQL 优化技术:以 Workload 负载为优化单位,综合考虑 Workload 中影响整体性能的特征,如 SQL 执行消耗资源占比、读写比等,进行整体优化,实现负载整体性能最大化提升同时,最大化降低空间消耗。基于机器学习的 Workload 异常发现与预测:基于机器的 Workload 异常发现,自动感知引发 Workload 变化的异常 SQL,自动触发全局优化,变被动式优化为即时主动式全局优化。和达摩院的相关的研究成果,也取得了国际学术界的认可:2018 年,WWW《Unsupervised Anomaly Detection via Variational Auto-Encoder forSeasonal KPIs in Web Applications》2019 年,VLDB《iBTune: Individualized Buffer Tuning for Large-scale Cloud Databases》2020 年,VLDB《Diagnosing Root Causes of Intermittent Slow Queries in Large-ScaleCloud Databases》通过 DAS,可以帮助企业节省 90% 的数据库管理成本,降低 80% 的运维风险,让用户可以更集中在业务创新,让业务持续行驶在快车道上。更多 DAS 产品性能尽在 2020 年 6 月 9 日阿里云峰会数据库新品发布现场,我们不见不散!预约观看:
PS. 关注公众号,后台回复“峰会”即有机会免费获得阿里云数据库定制太阳伞一把 详细规则请参见:2020 年 6 月 9 号,我们准备干一件大事