好消息,腾讯云数据库团队智能调参 CDBTune 产品现已进入内测阶段,欢送数据库爱好者、使用者、开发者前来测试。
CDBTune(cloud database tune)是基于 2019 至 2021 年间腾讯云数据库团队间断发表 两篇顶级论文的研究成果,对云数据库进行调优的一整套解决方案,旨在充沛借助深度学习技术 晋升数据库的运行效率。
在事实场景中,因为 业务零碎的千差万别 以及 大量参数带来的可设置范畴复杂度 ,往往须要借助教训去构筑一套绝对较为 优异且通用 的参数模板。因而,数据库以后运行参数往往也不是业务所需的最佳参数。同时,数据库参数调优能力也是专家级数据库管理者的专属技能,这也就意味着调优性能 受限于人力。除此之外,数据库参数调优还存在以下常见问题:
参数十分多:例如 MySQL,有几百个配置项,调优难度大。
人力老本高:须要专职 DBA,依附专家教训,人时老本高。
工具普适性:现存工具性能无限,耗时久成果个别。
云上新需要:局部用户没有专职运维团队,参数调优很难实现。
腾讯云数据库团队通过一直强化学习算法来解决数据库参数设置的问题,指标是应用无限的样本,构建 端到端的模型 ,输出为当数据库以后状态,输入为举荐的配置,并且将 工夫老本管制到尽可能的短 。基于此,团队构建了一个应用 深度强化学习的云数据库调优零碎,通过设置性能指标处分,比方 TPS 回升,QPS 回升或者提早升高,认为是取得处分,使得 AI 像玩游戏一样来调整参数,最终数据库取得更高的一个性能。
在整个过程中,数据库上执行举荐配置数据库的以后状态将发生变化。外部指标可用于掂量与强化学习状态绝对应的数据库的运行时的行为。而内部指标可评估数据库的性能或处分,一直反复整个过程,直到模型收敛。从调优成果比对图中能够看出,CDBTune 在所有的状况下均体现了 更好的性能,响应工夫广泛升高 50% 以上。
同时也得益于腾讯云充分且欠缺的硬件基础设施,以及遗传算法、专家教训、定型价格,使得只能调参得以产品化,不仅仅停留在实践层面。
智能调参 CDBTune 服务于数据库适应业务的各个阶段,所能实现的性能也正对应着每一阶段的个性。具体如下:
实例新购阶段,可针对每一种场景训练出最优配置,并且思考到业务特色反对灵便自定义,在不同的工作负载上有 15%-50% 的性能晋升。
在未知并发量、负载的状况下,CDBTune 反对交易类场景、OLTP 性能测试场景、压力测试场景抉择。
在已有最佳性能参数的状况下,CDBTune 反对针对性调优,不笼罩原有最佳性能参数设置,不影响客户手工指定最优参数。
在非凡业务场景下,应用程序必须适配非凡场景,参数调整不影响参数模版的应用。
业务的疾速迭代阶段,可被动判断业务类型,当适应疾速迭代后,仅需 2 - 3 小时即可取得调优后果。
当业务特色疾速变动时,被动确定业务类型,缩小逐个匹配带来的资源损耗。
不同的场景能够依据本身状况进行齐全自定义,针对具体场景进行专项调用。
预估优化后果,一键疾速利用至实例。
稳固运行阶段,整个数据库运行的负载及个性明确,该阶段次要指标为升高 TCO。
依据长期运行监控剖析工作负载特色。
记录工作负载相干 SQL 信息。
记录工作负载相干资源信息。
整体而言,CDBTune 具体劣势如下:
全生命周期:CDBTune 反对在新购阶段以及运行阶段进行剖析,笼罩数据库实例全生命周期。
灵便易操作:针对不同的场景能够依据理论需要进行负载特色的调整,适配多样化的业务场景。
疾速牢靠:比照传统的深度学习算法要获取最佳参数倡议时长缩小 60% 以上。
优越性能:针对性优化,取得更好更精确的参数倡议,实现更优的参数设置。