乐趣区

关于数据库:DTCC-年度最佳创新产品丨真正的-HTAP-数据库是怎样炼成的

12 月 21 日,在第十一届中国数据库技术大会(DTCC)2020 数据风波奖评选活动中,PingCAP-TiDB 荣获 2020 年度最佳翻新产品奖。同时,PingCAP 数据库内核研发工程师韦万受邀在数据库内核专场进行了《应用 TiDB 列存引擎进行实时数据分析》的主题演讲。

由 PingCAP 创建的分布式关系型数据库 TiDB,为企业要害业务打造,具备「分布式强一致性事务、在线弹性程度扩大、故障自复原的高可用、跨数据中心多活」等企业级外围个性,帮忙企业最大化施展数据价值,充沛开释企业增长空间。

2020 年 5 月,TiDB 推出 4.0 版本,作为 TiDB「新一代云原生分布式数据库」路线上的重要里程碑,TiDB 4.0 在提供良好的交易解决能力前提下,创新性地引入了基于 Raft 算法的 HTAP 架构解决方案。这套架构设计胜利地解决了以往困扰 HTAP 架构的隔离性,一致性和性能之间的矛盾,以此为根底的论文《TiDB: A Raft-based HTAP Database》被国内顶级数据库会议 VLDB 2020 收录,标记着该架构失去了寰球学术界的认可。

韦万 | PingCAP 数据库内核研发工程师

在数据库内核专场上,PingCAP 数据库内核研发工程师韦万分享了 TiDB 新版公布的专为实时剖析场景设计的 TiFlash 的零碎架构设计和技术特点以及案例分享。TiFlash 领有匹配行存的实时更新数据能力,能够作为可随便拔插的列存镜像实时同步在线数据。配合 TiDB 优化器的智能抉择性能,岂但能够让用户实时查问在线交易数据,而不用放心影响业务稳固,也能够当做查问加速器,为 TiDB 剖析场景提速,使得整个体系同时领有行存和列存的性能劣势。

演讲完结后,韦万还受邀承受了 IT168 编辑高博的采访,以下为内容分享:

很快乐有机会采访到您,请您简略介绍下本人以及负责和关注的畛域?

我叫韦万,来自 PingCAP,是一名数据库内核研发工程师。目前次要负责 TiDB 的实时剖析方向存储侧的研发工作,关注数据库、高性能计算和分布式系统等技术方向。

数据库内核研发在大家看来仿佛是份很神秘的工作,内核工程师每天的工作内容有哪些?一名合格的内核工程师都有哪些门槛和要求?

其实工作内容和其它程序员没有太大区别,波及技术调研,需要剖析,编码实现,测试调优等各个方面。因为是做根底软件的,咱们器重产品性能的竞争力的同时,对品质更加重视。比方咱们的计划评审绝对更严格,新性能和 bug fix 计划,须要确保其它同学,包含社区成员都能充沛了解。要达到这个水平,须要研发人员提供详实的数据,以及残缺的决策链路,充沛听取其它人的倡议,最终压服大家,达成统一才会入手去做。这看起来费时费力,但却能够让产品的设计放弃在一个正确的门路上。

如果你是一名心愿进入这个行业的新人,那么扎实的 CS 根底,以及对数据库的酷爱,足以让你在数据库研发畛域起步。TiDB 作为一个风行的数据库开源我的项目,有丰盛的技术资源和沉闷的社区,并且有很多适宜老手的工作帮忙你疾速成长。

本届 DTCC 以“架构变革 高效可控”为主题,您对此有何了解? 请联合这些年数据库技术架构的演变,谈谈您对这个主题的见解。

咱们当初处于一个疾速变革的时代,一个技术升级的时代。从单机到分布式,从本地到云端,从稳态到敏态等等。它对传统数据库厂商和新权势来说都是微小的时机,将来的赢家肯定是把握住了这次技术升级的红利。

目前 TiDB 在国内外互联网头部公司失去宽泛的利用,造就了成熟的产品和当先的利用场景,顶级的开源社区吸引了寰球的研发人才,在这个根底上置信会诞生当先的数据库产品。随着企业数字化转型的一直降级,事实上当初曾经到了一个拐点,中国数据库厂商将迎来新一波的高速倒退时机。

TiDB 作为贵司的主打产品,近来都进行了哪些产品的降级迭代和技术的翻新?这些降级可能对用户业务的晋升有哪些积极意义?

所有的需要最终肯定是来自用户需要的。TiDB 的策略是和社区和用户紧密结合,独特成长,从而取得更高的加速度。

引入 TiFlash 加强 OLAP 能力,让 TiDB 成为真正的 HTAP 数据库;咱们反对了乐观锁,优化高频事务抵触的场景;优化分布式事务的二阶段提交升高提早,并反对 Clustered Index,让 TiDB 更能胜任金融场景的刻薄要求;反对云上 DBaaS 模式,让 TiDB 在云上应用老本降到最低。将来,随着 TiDB 的生态继续扩充,它的迭代速度会更快。

您本次 DTCC 的演讲题目是《应用 TiDB 列存引擎进行实时数据分析》,通过该议题分享可能给听众带来哪些启发和思考?TiFlash 作为 TiDB 新版公布的高性能列存引擎,其产品次要特点和劣势有哪些?

通过正当的设计,咱们能够扩大单个数据库的边界。TiDB 通过引入 TiFlash,领有了和其它剖析型数据库一样甚至更弱小的 OLAP 能力,即同时领有了金融外围级别的 OLTP 能力和对实时数据进行疾速剖析的 OLAP 能力。同时 OLTP 和 OLAP 又能保障隔离成果,互不影响。用户能够大大的简化他们的技术栈,这样的体验对于业务开发者来说是十分敌对的,并且能够升高企业的老本。

纵观寰球数据库市场,您认为目前国内数据库市场和国内市场相比存在哪些差异化?相比之下国内数据库产品有哪些劣势,又有哪些须要借鉴之处?

我认为国内企业对于数据库的要求,曾经广泛比国内市场更高了。在中国头部的金融与互联网用户的业务场景中,产生了海量规模的数据,最高的 TPS 需要,最低的提早要求,最简单的场景锻炼,以及配上较差的付费习惯,活脱脱一个 Hell 模式。在这种环境下走进去的产品,必然曾经蕴含了成为世界级数据库产品的基因。

在产品策略上,作为国内的同业者作为数据库畛域的追赶者,能够更关注如何利用新场景、新技术、新平台的时机。Snowflake 就是一个十分好的学习对象,它利用云平台的劣势,从新定义了了数据库仓库的商业模式。

请您做一下简略的预测,您认为将来数据库市场将会产生怎么的转变,将来数据库平台的发展趋势是怎么的?

  • 云原生是大趋势,领有云基因,充分利用云基础设施的数据库将博得将来
  • 开源将成为根底软件包含数据库的重要甚至次要的产品状态
  • 垂直畛域数据库将长期存在并越发凋敝,直到新技术的呈现,将它们对立起来

贵司在往年 11 月份刚刚实现 2.7 亿美元的 D 轮融资,并示意本轮融资将用于分布式数据库要害核心技术的研发,将来对通用分布式数据库 TiDB 有哪些降级布局?

咱们会进一步强化 TiDB 产品,扩充性能和稳定性的当先劣势,把覆盖范围内的性能点做透;会继续进行架构降级,以更好撑持本地以及云上两种部署模式;让 TiDB 变得更易了解,更易使用,能稳固反对更多场景。

中国数据库技术大会到往年曾经是第十一届了,对于这次大会,您又有哪些期待呢?

最近几年是中国数据库技术疾速倒退的几年。业界诞生了不少优良我的项目和人才,我十分期待能和他们交流学习,心愿能看到更多干货技术剖析。

退出移动版