共计 2800 个字符,预计需要花费 7 分钟才能阅读完成。
为推动数据库畛域技术创新,赋能企业转型降级,腾讯云原生数据库团队继续发力,团队最新研究成果 入选 2022 年国内顶会 SIGMOD,并在 2022 年智能调优人机大赛中战绩不菲。这 标记着腾讯云数据库在数据库自治畛域获得重大突破,实现性能当先。
腾讯云数据库云原生团队近期举办了线上直播常识分享流动“腾讯云数据库自治 AI 技术首次解密”,本次直播对数据库自治畛域进行行业探讨,并分享了腾讯云数据库自治的 AI 钻研和实践经验。
残缺视频回顾链接
一、《数据库自治技术将来和挑战》
分享人:周可 / 华中科技大学传授
周可传授示意,在海量数据的大背景下,DBA(人工运维)的增长远远跟不上数据的增长,且用户负载具备多样性和动态性,变化无穷的运维形式已不可能满足用户的需要。把 AI 退出到数据库,造成数据库的自治大脑,合乎数据库自治的倒退方向。
实现数据库自治的根本框架包含察看、剖析、决策三个方面。用更低的老本收集负载数据,依据收集到的数据抉择适合的办法进行剖析,最初决策局部解决何时部署,量化操作以便于模型解决,进行反馈操作使模型可能进行自学习,自优化,从而 使自治数据库能够在不须要人工辅助的前提下,针对特定的数据和负载主动地进行配置、治理和优化。
将来,数据库自治面临的挑战有三方面:
- 数据库负载动静多样,须要保障数据库的 高效适应性;
- 用更少的资源,保障数据库的 性能稳定性;
- 数据库自治操作具备 可解释性,以便帮忙系统管理员从中学习,还能够促成零碎的优化倒退。
二、《“智能调参”AI 技术实际》
分享人:邢家树 / 腾讯云数据库高级工程师
数据库的参数多,调优难度大,运维人时老本高;现存工具性能无限,耗时久且成果个别;局部用户没有专职运维团队,参数调优更是难以实现。针对种种艰难,腾讯云数据库团队推出 参数调优服务 , 端到端地主动调优数据库参数。相比于现存办法,CDBTune(腾讯云 MySQL 混合调优零碎)无需细分负载类型,无需积攒大量样本,可智能学习参数调优过程,取得较好的参数调优成果。
原理上采纳深度强化学习模型。通过对数据库进行压测,记录数据库的内外部指标,生成样本进行学习。应用遗传算法和专家教训进行疾速预热,通过并行架构显著晋升调优速度。履行端到端的设计,简略、高效且易于训练,易于实现服务化,可能在尽可能少的工夫里,为用户找到最佳调优方向。
落地到工程实际利用层面 。拆散服务调度和工作执行工作,由 worker 执行具体的工作。Learner 工作负责抽取样本,计算网络梯度,更新神经网络,为 Actor 举荐数据库参数。Actor 则负责与训练实例交互,设置参数,回放流量,并收集性能数据;每实现一轮,从 Learner 获取新的参数举荐,造成闭环。 整体上实现为并行架构,具备高可用、可扩大、工作主动复原等能力。
三、腾讯云数据库自治,“监控 - 诊断 - 解决”AI 技术实际
分享人:张远 / 腾讯云数据库专家工程师
在数据库服务中,数据库资源包含内存 /IO/CPU,资源的监控,异样的辨认、检测十分重要,只有正当地应用数据库资源,能力放弃数据库服务的稳固高效。腾讯云 MySQL 的异样检测能力,可主动发现异常(内存剖析、内核埋点、io 提早硬件资源统计),对异样进行辨认,实现异样检测外部闭环,升高运维压力。
腾讯云 MySQL 可设置 SQL 限流性能,在发现异常申请之后,对异样业务 SQL 进行限流,从而保障失常 SQL 语句可能运行;改良 MySQL 官网原有直方图, 推出 Compressed 直方图 ,防止了因数据歪斜导致统计信息不准,选错打算而导致的问题; 推出 Statment Outline 性能 ,将用户须要的查问打算固化下来,不须要批改 SQL 语句,从 Outlint 表中即可查问到对应的打算,从而晋升用户应用体验;对新建索引进行并行优化,推出 并行排序优化 ,并行构建 btree,与官网 mysql 比照, 性能更好(减速比最高可到 15,是官网 mysql 的 5 倍),性能更全;优化器自治方面,跟踪业务 SQL 性能数据 (SQL 标签, 性能埋点, 变动跟踪),主动产生优化策略(统计信息, 虚构索引, 打算干涉),验证优化策略并灰度失效,实现 SQL 调优闭环,升高规模化经营压力。
针对特定业务场景性能问题 ,对 死锁场景优化 ,设置死锁检测开关,丰盛死锁信息,对事务锁优化,升高产生死锁的概率同时缩小了锁资源占用;对电商业务的秒杀场景,动静一键开启 热点更新爱护性能 ,使业务无感知, 秒杀场景性能晋升 50 倍;迁徙切换场景优化 ,通过 主备缓存同步优化 解决 HA 预热工夫长等问题,使 HA 业务平滑适度,缩小抖动。
四、“智能调参”的利用以及将来布局
分享人:程昌明 / 腾讯云数据库高级产品经理
因为业务零碎的千差万别,针对业务的参数调优是令数据库管理者头痛的难题,往往须要借助教训去构筑一套绝对“无效”的参数模版,往往模板无奈应答所有状况。“智能”以适应任何业务场景。
腾讯云 MySQL 在 2019 和 2022 年发表 2 篇 SIGMOD 顶级论文:
- 2019 年,腾讯云数据库产品团队首度提出基于深度强化学习 (DRL) 的端到端云数据库参数调优零碎 CDBTune,该钻研论文“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”入选 SIGMOD Research Full Paper(钻研类长文)
- 2022 年,腾讯云数据库产品团队最新研究成果入选 SIGMOD Research Full Paper(钻研类长文),论文题目为“HUNTER: An Online Cloud Database Hybrid Tuning System for Personalized Requirements”,标记着腾讯云数据库团队在数据库 AI 智能化上获得进一步冲破,实现性能当先。
通过 AI 智能剖析的形式,可能获得最佳的调参成果;通过“一键”形式,实现简单的调参过程,获得最佳参数设置倡议。依据业务状况,业务每个阶段须要的个性是不一样的。腾讯云 MySQL 的最佳实际可对应到业务的以下三个阶段:
实例新购阶段:针对每一种场景训练最优配置,尽可能匹配业务特色,不同的工作负载上有15%-50% 的晋升。
业务疾速迭代阶段:确定业务类型,不同的场景依据本身状况齐全自定义,预估优化后果,一键疾速利用到实例。以游戏为例,开局时玩家疯狂涌入;以电商为例,购物峰值的产生;有预见性地提前设置好最佳参数以应答行将到来的数据库峰值压力。
业务稳固运行阶段:通过对数据库的工作负载特色捕捉、重放,对监控指标、SQL 运行状态进行监控剖析,一直通过深度学习调整参数值以最终输入最佳参数值。
数据库自治将来的“智能”瞻望,除了数据库参数,还有各种各样的因素影响着数据库的高效运行,SQL 执行效率、索引是否正当、锁、资源配置等都能够通过“AI”的形式失去解决。
腾讯云 MySQL“智能调参“将于 5 月份对外收回公测邀请,敬请期待!