引言
日益剧增的数据洪流与改革迅速的新兴业务,既引发了互联网企业对数据库技术的从新思考,也带来了传统行业对数据库利用的二次迷思。以灵便、易扩大著称的 NoSQL 在企业数字化转型的过程中,到底施展着怎么的作用?其重要性体现在哪?将来 NoSQL 数据库又将迎来怎么的倒退?
2022 年 5 月 14-15 日,第五届 Techo TVP 开发者峰会“数「聚」将来,岂止于快——NoSQL 引爆数据效率与价值”正式落下帷幕,12 位来自 NoSQL 畛域的出名技术首领和专家,从性能、效率与数据价值三大方向,与数据库从业者一起独特探讨了面向未来的 NoSQL 之路。
一、Day1:NoSQL 前沿技术趋势
(一)主持人收场
峰会第一天聚焦在 NoSQL 的将来趋势剖析与新技术解读,由天翼云首席专家、腾讯云 TVP 侯圣文老师负责主持人。会议伊始,侯老师提出,大数据时代,数据量持续性爆炸式的增长,数据存储构造的灵活多样,新兴业务的日益改革,这些需要催生出数据库及利用零碎的存在模式愈发丰盛,也对数据库的各类能力提供了十分多的一些场景和需要,也给技术人带来了极大的挑战和要求。
(二)嘉宾致辞
腾讯云副总裁林晓斌的致辞,正式拉开了本届 Techo TVP 开发者峰会的帷幕。他指出,数字化浪潮中,数据已成为企业最重要的资产,数据库作为数据存储的重要基础设施,工作重大。过来十年间,基础设施降级、数字化过程减速、云计算的遍及,带来了数据库行业的二次高速发展期,云计算服务商在其中施展了微小的作用。
随着云数据库服务进入云原生时代,数据库 + 云的翻新模式将进一步推动云数据库技术的变革。NoSQL 是数据库中十分重要的一大分支,其在海量并发拜访及大规模数据场景下劣势显著,在软件架构层面上具备高并发、易扩大、灵便易用等特点。简而言之,NoSQL 数据库曾经成为古代企业不可或缺的数据库服务类型。
腾讯云在 NoSQL 畛域始终继续着策略级的投入,从产品设计、技术创新、客户服务、再到生态建设,都有着经久不息的摸索和实际。腾讯云私有云曾经提供了包含缓存、文档、时序、KV 等在内的数据库服务,并仍在继续丰盛服务品种。与此同时,腾讯云也在踊跃推动内部单干,比方与 MongoDB 签订策略单干协定。
他最初总结道,腾讯云 NoSQL 数据库曾经笼罩了包含金融、电力、电商、游戏、视频等数十个典型行业利用场景,将来,腾讯云将在 NoSQL 数据库畛域继续投入,保持技术创新,以服务企业为基本,助力企业降本增效,晋升生产力。
(三)解放生产力:腾讯云 NoSQL 的趁势而为与改革翻新
腾讯云数据库副总经理罗云带来了题为《解放生产力:腾讯云 NoSQL 的趁势而为与改革翻新》的主题演讲。
他首先向与会者介绍了过来十年,NoSQL 数据库的倒退历程。他示意,随着互联网业务的快速增长,海量用户、海量数据、实时体验、疾速迭代的要求带来了 NoSQL 的飞速发展。腾讯云 NoSQL 的发展史也是趁势而为,一脉相承,在缓存、KV、文档、图、时序、宽列、表格这系列的场景中,腾讯云都有提供相应的产品服务。
家喻户晓,Redis 在过来 5 年间始终是最受欢迎的 NoSQL 数据库产品,然而 Redis 的利用场景早已冲破了缓存的领域,特地是在存储场景中的利用越来越宽泛,然而企业在存储场景中应用 Redis 会面临着规模、老本、长久化的难题,业界往年多有推出 Redis 的长久化产品,然而大多数产品通常可能满足业务在性能、老本、长久化、规模 4 个诉求中的 2~3 个,很少有 4 个诉求能同时满足的。罗云老师示意,腾讯云通过创新性的软硬联合提供极致性能、三级存储解决性能、长久化、老本、规模难题的解法,KeeWiDB 团队实现了极致的冲破,做到了:
- 性能(单节点):20 万读取,18 万写入,P99<2ms 可程度重叠,性能线性晋升;
- 老本:三级存储,冷数据老本降落 97%;
- 长久化:命令级长久化;毫秒级稳固写入提早;SSD 提供低成本长久化;
- 大容量:单节点提供 TB 级容量空间;集群形式提供 100TB 容量空间。
分享最初,罗云老师示意,技术人的终极目标是让整个社会的生产效率变得更高,让整个社会的生产力可能变得更好,心愿能够用技术的形式去实现这些美妙的欲望。
(四)新硬件赋能翻新:数据发展趋势及软硬件交融解决方案
随着技术的倒退,新硬件的呈现带来了更多可能。英特尔数据库及大数据资深首席工程师、腾讯云 TVP 程从超&英特尔数据平台事业部傲腾产品事业部中国技术核心工程部经理吴国安联手带来了题为《新硬件赋能翻新 - 数据发展趋势及软硬件交融解决方案》的主题演讲。
程从超老师向与会者介绍道,数据处理架构畛域目前有以下几个非常明显的趋势:从 Scale up 到 Scale out;从物理机到云原生;从 share-everything 到 share nothing 再到 share everything;内存数据库 + 对象存储;行存和列存并存。因而,数据处理端到端、系统优化端到端成了其中至关重要的局部。
吴国安老师接棒解说了英特尔傲腾新硬件的当先个性,其能够升高数据中心的老本、能够整合工作负载,尝试对数据做更多的事件,在开释数据潜能方面具备弱小能力。英特尔傲腾在 NoSQL 数据库、举荐零碎、KV 存储等方面均有着卓越的用例。
吴国安老师最初总结道:
- 数据分析的倒退,须要更多的软硬件一体的交融解决方案;
- 英特尔®傲腾™带来新的内存和存储层,更容易的扩大内存和减速存储;
- 更加平衡的老本和性能,为你的业务提供更多、更好的抉择;
- 新硬件带来了新的业务翻新,让不可能成为可能;
- 更加凋谢的生态,更加凋谢互连的零碎,更多的客户拥抱新硬件。
(五)MongoDB 利用数据平台技术洞悉与实际分享
MongoDB 北亚区技术总监林涛带来了题为《MongoDB 利用数据平台技术洞悉与实际分享》的主题演讲。
分享伊始,林涛老师抛出了一个令人惊心动魄的数据:70% 的企业数字化转型都以失败告终。究其原因,在于大部分数据基础设施依然围绕传统的关系数据库构建,无奈满足以后企业应用和解决数据、构建程序的需要。围绕这些需要,抉择增加专用的 NoSQL 数据存储,又带来了新的问题。
林涛老师介绍道,扭转简单的数据存储构造、让开发效率变得更高、让架构变得更简略、同时具备安全性和易管理性等个性,正是 MongoDB 想要实现的。具体而言,MongoDB 提供了以下产品能力助力企业腾飞:
- 提供灵便的文档模型;
- 提供对立的接口;
- 分布式的架构;
- 冷热数据的主动迁徙;
- 客户端字段级加密。
最初,林涛老师介绍了多个应用 MongoDB 构建数据平台的最佳实际案例,通过数据平台的形式,让开发人员和企业可能以更低的老本减速翻新。
(六)直面海量图数据挑战,腾讯在图数据库的业务实际与利用
腾讯云图数据库技术负责人肖品带来了题为《直面海量图数据挑战,腾讯在图数据库的业务实际与利用》的主题演讲。
肖品老师示意,随着大数据爆发式的增长,数据之间的关系更加简单多样,对关系数据的关联性计算和剖析成为常态需要,由此带来了图数据库技术的腾飞。在腾讯外部,图技术被广泛应用在图数据库、图计算、图可视化等畛域。
肖品老师重点介绍了腾讯图数据库 KonisGraph 的架构、性能及应用案例等要害内容。KonisGraph 在架构层面采纳的是接口层、计算层、分布式缓存、存储层的模式,设计准则是存算拆散,保障部署的灵活性。在优化策略上,也做了异步并行、向量化、批量预取以及计算下推等优化。此外,在缓存、索引等策略上也都有独到的设计理念。
除此之外,肖品老师还分享了 GraphIdex 图可视化的设计理念及性能成果、Angel Graph 图计算及其框架性能,以及 KonisGraph 图数据库的相干用例。他最初示意,KonisGraph 将来将在以下方向继续优化,欠缺本身。
- 交融图计算引擎;
- GQL 语法的反对;
- 自研存储层;
- 缓存层欠缺;
- 欠缺周边组件及平台能力。
(七)云原生多模 NoSQL 在特色存储上的利用实际
腾讯 PCG 利用架构平台部 NoSQL 开发负责人赵政,为咱们带来了题为《云原生多模 NoSQL 在特色存储上的利用实际》的主题演讲。
赵政老师介绍道,云原生多模数据库是以后很多私有云厂商提供云托管存储服务的形式。腾讯自研的云原生多模型 NoSQL 数据库,通过形象高扩大的数据以及高复用的工作流框架,构建了具备容灾备份、数据分层、多种一致性等能力的通用平台底座,依据业务需要灵便定制可插件化的存储引擎框架和扩大 API,提供数据模型的灵便扩大和疾速接入能力。
在特色存储的主题上,赵政老师具体分享了“特色”存储的特点、技术挑战,企业需要和以后的解决方案等背景信息。基于这样的背景,腾讯云原生多模 NoSQL 在零碎设计和实际上要思考要害的两点:首先要反对多级存储能力,第二是存算拆散。在存储引擎方面,要思考到同时实用于内存、长久化存储的需要。除此之外,其余需要则能够靠多模 NoSQL 的平台来提供撑持。这其中波及到的诸多技术挑战,赵政老师都十分粗疏地向与会者做了剖析。
分享最初,赵政老师示意,腾讯云原生多模 NoSQL 平台已接入五大业务,日均调用量超过千亿,TB 级全量数据更新低于 1H,分钟级 GB 增量数据更新,显著实现了降本增效的业务收益。谈到腾讯云原生多模 NoSQL 的将来瞻望,他向与会者描述了一幅搜广推场景存储和索引云一体化解决方案的美好蓝图。
二、Day2:NoSQL 技术实际与利用
峰会第二天聚焦于 NoSQL 数据库在各行各业的最佳实际利用,由 CCIA 常务理事、腾讯云 TVP 韩锋老师负责主持人。
(一)主持人收场
韩锋老师提出,随着数字化转型的深刻,数据越来越失去人们的器重,挪动互联网的蓬勃发展产生了大量语音、图像、视频等非结构化的数据,这些数据蕴含了十分丰盛的信息,如何把这些数据的价值开掘进去,如何利用 NoSQL 来助力翻新业务的落地,赋能业务疾速倒退成为企业数字化转型中至关重要的一环。
(二)金融场景下的 NoSQL 实战:微众银行 Redis 利用实际
微众银行数据平台数据库负责人、腾讯云 TVP 胡盼盼带来了题为《金融场景下的 NoSQL 实际:微众银行 Redis 利用实际》的主题演讲。
分享伊始,胡盼盼老师为与会者介绍了社区版 Redis 的痛点。他示意,分片架构主节点异样对集群有影响,权限治理性能无限,资源统计和资源管制性能十分无限,短少对立的运维与治理平台是微众银行在应用社区版 Redis 遇到的痛点问题。
为此,微众银行自研了基于 Redis 的分布式缓存平台 WeRedis,除领有开源 Redis 的个性外,还有如下个性:
- 多租户与细粒度的鉴权;
- 资源管制;
- 子系统进行资源管制;
- 高危操作隔离;
- 扩展性更高;
- 可用性更高;
- 智能剖析与管控。
胡盼盼老师示意,WeRedis 目前曾经利用在全行所有的业务场景,有 300+ 零碎接入、87 套集群、4000+ 实例数。随后,他具体介绍了 WeRedis 的跨 IDC 部署架构,以及运维过程中在性能、高可用、容量等问题上踩过的坑,并自私分享了从复盘中一直优化来的 WeRedis 利用开发标准。
随后,他还分享了包含 WeRedis 治理台性能、鉴权治理及高可用相干的设计与思考。他最初示意,将来 WeRedis 将在容器化、降级到 Redis Cluster 6.0 以及长久化架构等方面持续打磨精进。
(三)腾讯音乐 NoSQL 利用与实际:基于 Redis 和 MongoDB 构建社交类业务后盾
全民 K 歌根底研发后盾 Leader 李革委带来了题为《腾讯音乐 NoSQL 的利用与实际:基于 Redis 和 MongoDB 构建社交类业务平台》的主题演讲。
分享伊始,李革委老师为与会者介绍了腾讯音乐 NoSQL 的利用详情,据他介绍,腾讯音乐旗下 QQ 音乐、酷狗音乐、酷我音乐、全民 K 歌四大 App 的特点是多媒体社交 + 多媒体内容,大量利用了 NoSQL 数据库。
李革委老师示意,从业务架构的层面看,数据库选型须要思考的是匹配业务模型、扛住海量申请、均衡老本开销三大关键点。在这样的准则登程下,腾讯音乐在 Redis 和 MongoDB 两种开源数据库产品下都有深厚的利用实际。
具体到 Redis 下,实际维度包含:
- KV 读写;
- CAS 解决方案;
- 分布式锁;
- 轻重拆散;
- 列表排序;
- Bitmap;
- 分布式定时器。
在 MongoDB 下,实际维度包含:
- Embed or Reference;
- 列表存储设计;
- Replication 策略;
- maxTimeMS 注意事项。
李革委老师最初介绍道,这其中自研的很多相干技术计划曾经在腾讯云的数据库产品中能够应用。他还特地揭示与会者,不要鄙视生产环境下的数据库利用与操作,防止产生影响重大的事变。
(四)Infinity:微信新一代大规模在线存储系统
微信技术架构部根底平台的 Leader 郑建军带来了题为《Infinity:微信新一代大规模在线存储系统》的主题演讲。
在微信的大规模体量下,对存储的高可用性、高可靠性、性能、老本、低延时都提出了十分刻薄的要求,郑建军老师首先介绍了微信存储的倒退历程。微信存储的倒退总体上能够分为四个阶段:第一阶段的 QuorumKV;第二阶段是 2015 年的 PaxosStore;第三阶段是 2018 年期间对 PaxosStore 的能力加强;第四阶段是新一代大规模在线存储系统 Infinity。Infinity 是微信新一代大规模在线存储系统,反对多种数据模型,通过一套对立架构应答不同的业务场景,提供线性统一和近实时拜访模式。
郑建军老师解释道,Infinity 的诞生背景源于业务对可用性 / 可靠性晋升、更加灵便的调度能力、更快的扩大速度、举荐 / 直播等业务场景单 key/ 单表高性能需要。具体而言,Infinity 的外围个性包含以下几个方面:
- 路由核心彻底去依赖:放弃非租约高可用程度晋升扩展性;
- 数据存储与复制日志解耦:灵便反对存储异构 / 插件化和多种容灾模式;
- 机器故障主动极速复原:实现可用性 / 可靠性的数量级晋升;
- 稳固可控的集群扩大:解决高负载集群的扩容悖论。
分享最初,郑建军老师也介绍了 Infinity 在微信业务中的经营功效,其中动静负载平衡、模块混合调度部署,利用率晋升,3 万 + 台的规模每年节俭约数亿老本。此外在元旦零点峰值的更快扩大,视频号奥运期间大量异构机型扩容的案例,也突出展示了 Infinity 的个性能力。
三、圆桌对话:高低十年,数据库技术的倒退与变迁
精彩的技术分享环节完结后,接踵而至的是启发思考、碰撞价值的圆桌环节。本次圆桌对话以《高低十年,数据库技术的倒退与变迁》为话题,由 CCIA 常务理事、腾讯云 TVP 韩锋老师主持,英特尔数据库及大数据资深首席工程师、腾讯云 TVP 程从超老师,腾讯云数据库副总经理罗云老师,微众银行数据平台数据库负责人、腾讯云 TVP 胡盼盼老师,全民 K 歌根底研发后盾负责人李革委老师畅所欲言,娓娓而谈,开展了精彩的巅峰对话。
作为一个老牌的技术方向,数据库技术曾经走过了数十年,在最近十年间又有了飞速的倒退。最受人关注的话题莫过于——将来十年,数据库技术将有哪些新的发展趋势?
程从超老师的观点是,在底层算力没有产生革命性变动的前提下,将来的倒退方向是 Serverless、内存化、分布式、计算存储拆散的状态。而这其中不可避免的是要思考更多平安的问题,这又会对数据库技术的倒退带来制约和新的契机。
罗云老师示意,腾讯外部对于数据库技术的发展趋势早已有过探讨,外部技术委员会比拟明确地在几个方向上达成了统一:第一是国产化,第二是多模型的交融化,第三是云原生化趋势下的软硬件联合冲破。
胡盼盼老师则从微众银行的业务实际登程,提出了混合事务模式倒退的趋势,他示意混合架构的需要肯定存在,将来也将成为很多数据库具备的个性。另一个畅想的点是基于新兴开源数据库的一体机产品的呈现,满足中小金融机构有力运维的痛点。此外,国产化的趋势也是胡盼盼老师认同的一个方向。
李革委老师则从腾讯外部业务的倒退登程,示意了对数据库技术交融的发展趋势的同意。交融一方面在业务侧能够缩小耗费,另一方面也能够促成技术上的新陈代谢死记硬背。作为开源文化的拥趸,李革委老师示意开源也极有可能是数据库技术的一大发展趋势,通过开源的协同、社区哺养,必将推动业务的倒退。
最初,主持人韩锋老师总结了技术、业务、开源三个方向的了解和认知,从技术侧,资源拆散、数据分层、Serverless 利用都是数据库倒退将来可期的方向;在业务侧,大量差异化的场景会催生数据库走分化的路线,但同时也会有分而治之之后交融的趋势;同时,开源也是一种很好的商业模式,能够通过开源的模式去调动更多的资源来做底层的开发。韩锋老师示意无论是从哪个方向登程,数据库技术的倒退都将帮忙企业和开发者们受害其中。
结语
数据库技术的发展史,简直能够视作技术人一直冲破极限,谋求更高、更快、更强的奋斗史。数据库技术倏忽数十载,既有关系型数据库的独占鳌头,又有 NoSQL 的异军突起,既有商业数据库产品的强悍稳固,又有开源数据库产品的继续翻新,当初又迎来了云与数据库的美好联合。这一方百花齐放的舞台上,既不缺演员,也不少观众,但对于技术的思考、趋势的判断却总不嫌多。
本次 Techo TVP 开发者峰会,一以贯之的理念正是通过最用心的分享、最前沿的洞察、最理论的观点,为开发者敌人献上“最有料、乏味、且有用”的开发者峰会。在这个时代转型的浪潮下,坚守科技向善的初心和本心,助力企业与开发者一起通往技术倒退的理想国。