共计 2913 个字符,预计需要花费 8 分钟才能阅读完成。
工作久了,人总会有种遗记初心的感觉。
置信每个人小时候都想过成为一名科学家,只不过到起初,连本人都忘了。
当一名科学家的确不容易,学术研究难,薪酬待遇还不高,如果不是真的酷爱,很难走上来。
但在腾讯,你能够把学术当成工作,工作就是做学术,而且两者都能够做得很好。是的,你没有听错。
明天, 腾讯云两项数据库内核技术的研究成果再次入选 SIGMOD 和 ICDE 的收录论文。 其中,SIGMOD、ICDE、VLDB 并称为国内数据库三大顶级会议。
另外,据说在学术圈,一篇 SIGMOD 或者 ICDE 就能当副教授了?这么看的话,那咱们这至多有两个副教授了
其实腾讯云数据库也是各大顶会的常客了,之前咱们「AI 调参的技术优化数据库」的研究成果被 SIGMOD 收录,同时,还在 MySQL 社区上提交各种 patch,总量位列前茅,2020 年,咱们荣幸举办 MySQL 之父本年第一次中国区见面会,失去了 MySQL 之父的称许,年末还收到了 MariaDB 社区的官网感谢信(当初都还在官网上挂着 )
(看看 MySQL 之父怎么说)
那么,这次又是什么成绩能俘获顶会专家学者的“芳心”?咱们间接上干货:
胜利入选 2021 年 SIGMOD 钻研类长文的论文主题为“Spitfire:A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory”。
在这篇论文中,腾讯云原生数据库内核团队首次提出了多级缓冲管理器 Spitfire 的概念,通过一种新鲜、低代价且无效的热数据识别方法,将热数据页面放弃在 DRAM 缓存中,同时将暖数据保留在非易失存储 NVM 中,无效晋升了零碎整体性能与性价比。
Spitfire 重点钻研了页面迁徙策略,这些策略决定了一个数据页面应该被搁置在哪一层,比方,一个页面应该从 SSD 载入 NVM 还是 DRAM,一个 DRAM 层页面被驱赶进来后,应该写入 NVM 还是写入 SSD。Spitfire 引入了基于概率的页面迁徙策略框架,并囊括了所有三级缓存架构的页面迁徙策略。
论文指出,对于不同的存储硬件和工作负载,最优策略可能不一样。鉴于此,鹅厂小伙伴们提出了一种基于模拟退火的机器学习技术,用于针对任意工作负载和存储层次结构主动调整页面迁徙策略。
不仅如此, Spitfire 利用了 NVM 按字节寻址和持久性个性,可能间接读写 NVM 页面数据或者包容来自 DRAM 层的脏页,而不须要将它们刷入 SSD,可能无效升高页面刷脏的数据库复原协定代价,特地适宜写频繁的工作负载。
这项成绩目前在 TDSQL-C(原 CynosDB) 失去了验证与实现。TDSQL-C(原 CynosDB) 是腾讯自研云原生关系型数据库,100% 兼容 MySQL 和 PostgreSQL,极致计算能力冲破千核,存储容量达 PB 级别。
SIGMOD 评审委员会评估称:随着商用非易失存储 NVM 硬件的呈现,数据库如何治理蕴含 NVM 的多层级内存缓冲区成为了重要的研究课题。文中论述的 Spitfire 是一种在蕴含 DRAM 和 NVM 的数据库系统中治理缓冲区的翻新办法。此外,文章还进行了蕴含 NVM 硬件的数据库系统架构性价比方面的钻研和倡议,这些均是此前的钻研工作尚未充沛波及到的。
该项研究成果与佐治亚理工学院 Joy Arulraj 传授等作者共同完成,其中 Joy Arulraj 传授是 NVM 数据库钻研畛域的出名学者。
这曾经不是鹅厂第一次登上 SIGMOD 会议。
此前腾讯云原生数据库团队就曾与华中科技大学单干,在 SIGMOD19 上公布论文《An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning》,实现了基于 AI 技术的数据库性能调优后果首次全面超过数据库专家。
SIGMOD 目前是数据库畛域具备最高学术位置的国际性学术会议,位列数据库方向顶级会议之首。
说完 SIGMOD,再来说 ICDE。
这次,腾讯云原生数据库团队与中国科学技术大学单干的最新研究成果也入选了数据库顶级会议 ICDE2021。
入选论文题目为“TLBtree:A Read/Write-Optimized Tree Index for Non-Volatile Memory”。
此项钻研在非易失内存上翻新提出了一种读写兼优的数据结构,作为数据库内核存储引擎中的索引构造,其读写性能大幅超过前沿的等同索引构造。
目前,在 NVM 上应用最频繁索引构造是基于 B + 树的,而已有的 NVM B+ 树索引技术都存在一个读写衡量的问题,要么是专门优化读性能,要么优化写性能,同一种技术往往无奈做到兼顾读写性能。而且因为目前 NVM 的硬件写带宽较低,NVM 数据长久化代价较高,这种读写衡量就会越发显著。因而,设计一种在 NVM 上读写兼优的 NVM 索引构造成为重要的钻研指标。
依据树型索引的读写访问模式以及实在 NVM 设施个性,本文提出了两层持久性 B + 树架构。如上图所示,它将索引分为高低两层(读优化的下层和 NVM 写优化的上层),从而解耦了读写优化技术,让齐全不同的优化技术能够共存在同一个索引构造中,达到多维度优化要求。
基于此架构下,本文设计了 TLBtree,一种读写优化的两层索引,并给出了其并发版本。
TLBtree 的下层是一个读优化的多叉齐全树,采纳无指针构造,所有结点存储在间断数组空间中。TLBtree 的上层是针对 NVM 设计的写优化树型构造,它可能无效地缩小对 NVM 的写代价,而且无需 WAL 即能保障持久性和解体一致性。TLBtree 的并发版本采纳无阻塞读的并发机制,可能无效的缩小多过程状况下的读写抵触。
ICDE 评审委员会认为,该论文对于组合多种数据结构实现读写兼优 NVM 索引结构设计思路十分新鲜,这一概念具备广大的前景。同时,文章对该设计进行了清晰而明确的表述,相应的试验后果也失去了充沛的验证,读者能够从文中获取到许多有价值的信息。
数据库作为和操作系统并列的三大根底软件,重要性显而易见。
腾讯云近年来加大了基础架构畛域的前沿技术钻研,通过与顶级高校和钻研机构“产学研”一体的单干形式,将技术研究成果转换为利用落地,继续输入产品和业务场景。
华中科技大学 - 腾讯公司智能云存储技术联结钻研核心是代表之一。该联结钻研核心于 2018 年成立,在数据库自治理、分布式存储技术、高性能存储引擎、业务负载预测等方面发展技术的联合攻关,冲破超大规模 IaaS 服务的诸多技术难题,推动智能数据库和存储技术的科技翻新及技术利用落地。
截至目前,基于联结实验室平台,单方曾经在 SIGMOD、DAC、USENIX AIC 等国内顶会联结发表 21 篇高质量论文,联结输入翻新技术专利 14 余项。
原有的 CynosDB、TDSQL、TBase 三大产品线将对立降级为“腾讯云企业级分布式数据库 TDSQL”后,腾讯云数据库曾经有了涵盖云原生、分布式、剖析型等多引擎交融的残缺数据库产品体系。而在全新数据库品牌体系下,咱们也将进一步深度交融数据库技术和云计算技术,充沛开释当先技术的红利,助力客户业务倒退。
– End –
AI 调参新纪元,腾讯数据库论文被 SIGMOD 收录
明天,咱们和人民大学一起干了件小事!
本文由博客群发一文多发等经营工具平台 OpenWrite 公布