关于后端:李飞飞云原生数据库是大势所趋

简介：本文为钛媒体联结创始人刘湘明与阿里云智能数据库事业部负责人李飞飞对话节选。

作者 | 张帅起源 | 阿里开发者公众号云原生数据库不是弯道超车，是换道超车。数据库、芯片、操作系统并列为寰球信息技术三大件，也是企业技术零碎必不可少的外围，互联网、金融、政务、电信、制作等次要行业都依赖于数据库技术和产品。在云数据库诞生之前，以 Oracle 为代表的传统数据库巨头统治着这一畛域。技术畛域的翻新可分为两种，渐进性翻新和破坏性翻新。在一个格局稳固的行业中，具备劣势位置的老玩家并不放心其余厂商推出渐进性翻新技术，凭借行业积攒和资源积淀，他们往往能轻易赶上并放弃当先，只有本身不产生策略误判，当先劣势甚至能够继续经年。与之绝对应的是，老巨头可能产生显著的门路依赖问题，毕竟谁会违心“革本人的命”呢？破坏性翻新往往不会产生在原有巨头身上，而是由行业大势挟裹新的入局者，谱写新的故事篇章。每一次技术反动都蔚为壮观，内燃机取代蒸汽机，汽车取代马车，当初轮到云数据库取代传统数据库。数据库始于 1960 年代，在它的发展史上，你能够听到一些嘹亮的名字：美国通用电气公司推出世界上第一个网状数据库管理系统；IBM 推出了层次数据库管理系统 IMS（Information Management System），并首次提出关系数据模型；UCB（加州大学伯克利分校）、Honeywell（霍尼韦尔）、Ingres 等一众厂商形成了数据库行业的晚期工夫线。尔后数据库迎来了黄金年代，Oracle、MySQL、Microsoft SQL Server、PostgreSQL、IBM DB2 等一批有代表意义的数据库崛起，并且交织倒退近四十年，直到明天依然在企业生产零碎扮演着重要的外围角色。实质上，数据库的倒退与底层技术的冲破非亲非故，并不是孤立成型，在企业场景的淬炼与 IT 基础设施的适配下，演化出适应过后需要的状态——IBM 的小型机、Oracle 数据库、EMC 存储设备，都是时代的产物。云计算正在扭转所有。传统企业赖以生存的“稳态 IT”建设模式很难满足更大数据量、更强计算、更麻利业务的需要，云数据库代替传统数据库，云计算资源取代公有计算和存储，提供了全新的业务价值，“敏态 IT”变成了外围竞争力，没人不爱云计算。历史总是螺旋回升的，从传统数据库到云原生数据库，所要付出的致力，不逊于数据库诞生以来的任何一次扭转。云计算最大的技术改革是资源池化与资源解耦，以及由此而带来的弹性、高可用、容器化部署、智能化运维等外围能力。云计算时代，数据库值得从新做一遍。李飞飞认为，在云计算大潮下，云数据库这个新的赛道上，中国的云原生数据库在很多技术创新畛域曾经处于领先地位。以阿里云 PolarDB 为例，从 2017 年启动自研，采纳存储计算拆散、软硬一体化设计，在弹性场景下老本仅为传统商业数据库的十分之一，现在曾经实现了计算、内存与存储资源的“三层解耦”、多主多写、HTAP、Serverless 等性能，以上皆为寰球独创或业内当先的技术。这是一次中国底层技术换道超车的机会。以下为钛媒体联结创始人刘湘明与阿里云智能数据库事业部负责人李飞飞对话节选，以李飞飞第一人称口气叙述，经编辑。数据库的演进：高低牵引，重复迭代我认为，所谓的弯道超车简直不可能，弯道超车只会产生在一种场景，就是两个人的程度差不多的状况下。Oracle 干了 40 年，在云数据库起来之前，长年占据寰球数据库市场一半以上的市场份额。它有这么多资本，有这么多客户，吸纳和造就高密度的人才，一直地积攒迭代，简直不可能被弯道超车。在这样的状况下，为什么会产生微软整体数据库份额超过 Oracle 这种事件？不是因为 SQL Server，而是因为呈现了一个全新的赛道——云数据库。相似地，AWS 和阿里云在寰球数据库市场份额的排名回升，也是因为云数据库畛域的倒退。船大调头难，但咱们这种从零开始的厂商，在云数据库的新赛道上能构建全新的架构，疾速地响应市场需求。云计算彻底改变了传统软件系统构建的根本逻辑，它对冯·诺依曼架构里的计算外围模块做了两件事。第一是资源池化，“池化”的比喻很多人都听过，200 年前家家户户都要本人打一个水井，明天大家不会再挖水井，而是用自来水。对计算资源从独享式到共享式的利用，就像人类用水的过程，会产生截然不同的变动。第二是解耦，以前计算和存储是紧耦合在一起的，当初是计算、存储、网络三层构造。解耦意味着有越来越多的人能参加到云计算的设计上来，因为最根本的服务器存储资源的获取难度大幅升高，用户能够在此基础上设计出更好的操作系统和软件，SaaS 玩家会越来越多。云计算的实质就是池化加解耦，之后的挑战就在于，谁能把高可用、自动化调度、智能化运维等问题解决好，谁就会成为云计算的赢家。底下的系统结构变了，那上一层的数据库系统肯定要变。我越来越粗浅意识到，数据库的演进就是高低牵引、重复迭代的过程。首先，是下层业务变动的牵引。最早没有数据库系统的时候，咱们用文件系统加存储系统来治理业务数据。起初银行业有一个十分具体的需要就是“转账”，所以你看数据库的 OLTP（Online Transaction Processing）为什么会有 Transaction 这个词，就是因为这是银行的业务需要。起初很多行业都发现这个形象带来了技术好、有价值的产品，才叫关系型数据库的联机交易。所以数据库的诞生就是从银行业的下层业务牵引而来，最早就是为了解决交易过程中的原子性、高可用性、隔离性等。如果没有数据库，还是用文件系统的话，下面这种需要也不是不能够实现，那就要求每个程序员都具备很高水平，所有的问题都要到业务代码里去解决，这要通过数年的训练能力搞定。大多数场景下是不可能满足这些要求的，而且随着业务逻辑的一直迭代和演进，这种形式倒退上来肯定会遇到很大的瓶颈，这是第一个逻辑。第二，是上层硬件的牵引。最早计算机的状态是大型机，用于军事用处。随着硅谷半导体行业的衰亡，计算密度被做得越来越大，随着计算密度的一直晋升，对数据库的设计也产生了很大的冲击，例如 HDD（硬盘）变成 SSD（固态硬盘），IO 吞吐性能一下就上来了，再如原来是单节点架构，当初是 MPP（大规模并行处理）架构，这是硬件对数据库翻新的牵引力。下面是利用，上面是硬件，那云计算干什么？云计算能够进步计算的应用效率，能够把单位计算单元以及单位存储单元的应用效率晋升，这是云计算的实质。因为只有一种极其状况，才不须要云计算，就是一个人用一个单位计算 24x7x365 运行、百分之百负载打满，这种状况根本不存在。在这个过程中产生的生产效率晋升、生产资料高度池化的价值，一半让利给客户，另一半留给本人，这就是云计算毛利的商业逻辑。回到数据库自身，数据库倒退到明天产生了新的时机，不是因为咱们如许不同凡响，是因为在这个逻辑下，传统数据库设计模式不是为云计算这个新体系架构设计的。以阿里云为代表的云厂商，在一个新的赛道，在资源池化、架构解耦的前提下，没有历史包袱，可能尽可能地晋升资源应用效率。将来数据库的倒退肯定还是遵循下面这个大的逻辑趋势：下层业务需要牵引和上层硬件改革的驱动。所以明天咱们做数据库的人要维持两个敏感度，一个是以技术为本，数据处理能力、查问优化、存储压缩，通过技术创新与软硬件联合来晋升技术实力。还有一个是很多人很少提到，然而我集体认为越来越重要的，就是面向行业的能力构建。回到数据库最后的状态，Transaction 自身就是一个面向行业的能力，当年只有银行有需要，只不过起初其余各行各业发现，银行的形象很有用，所以它变成了数据库的一个通用能力。我认为未来数据库的倒退也是这样，某一个行业有一个通用的痛点需要，针对这个行业，谁能先把这个能力做到本人的数据库外面，谁就可能先拿下这个行业。如果明天你有个新能力是他人没有的，客户没有理由不抉择你。阿里巴巴自研数据库：往前看都是危险，往后看都是机会万变不离其宗。阿里巴巴数据库的倒退，和数据库畛域的大逻辑是统一的，2005 年至 2009 年，电商高速倒退期间，阿里巴巴团体曾领有亚洲最大的 Oracle 集群；2009 年至 2010 年，淘宝业务的数据量，还有互联网业务所需的弹性，Oracle 数据库集群曾经不能满足，所以阿里巴巴才有能源去倒退数据库。咱们最早用 MySQL 分表去解决了 Oracle 的老本问题，同时咱们又在 MySQL 内核外面做了 Group Commit（组提交）能力，淘宝的很多行业需要场景，都转化成数据库能力。2010 年至 2013 年，阿里巴巴胜利用自主开源的 AliSQL 替换了传统商业数据库。2014 年，阿里巴巴开始布局自研数据库，因为业务推着咱们往前走，比方双 11 电商场景，有异地多活、热点打卡、秒杀的需要，让咱们看到了自研数据库的价值，于是咱们动摇投入到数据库这个根底软件的自主研发中去。就是我说的第一条能源：淘宝的业务场景催生了一些有显明行业属性的需要，比方阿里巴巴决定做“双 11”，这是人为制作的一个峰值，数据库能不能搞定这个交易量，咱们须要在数据库内核层面做行业属性的竞争力。到了阿里云时代，咱们开始服务内部客户，内部客户给咱们带来了不同的视角，开始做基础设施池化以及资源解耦，数据中心的网络基础设施一直晋升，例如 RDMA 网路的遍及。2016 年到明天，通过多年积攒的数据库技术，咱们提供了丰盛的数据库服务，比方云数据库的托管服务 RDS、云原生数据库 PolarDB 和分布式版本 PolarDB-X，以及云原生数据仓库 AnalyticDB、云原生多模数据库 Lindorm，这些外围产品造成了咱们数据库产品矩阵。任何事件往前看都是危险、往后看都是机会。阿里巴巴自研数据库的过程，也是一样，这外面每一个决策，在过后看都是十分高风险的，站在明天，咱们才感觉这个决策是理所应当的。为什么阿里巴巴最早去做自研数据库？外围还是有电商业务推着你往前走，没有进路；没有电商业务的话，这个事件并不一定会产生。明天阿里云数据库在国内至多当先其余厂商一年半到两年的身位，因为阿里云做得早，“春江水暖鸭先知”，咱们是最早服务客户、看到趋势的厂商。明天，阿里云更关注两类行业动态：一类是头部云计算厂商，比方微软云、AWS 等；第二类是头部的独立数据库公司，比如说 Snowflake、Databricks 等。尤其是开源畛域，因为对市场反馈的麻利度高，倒退起来十分快，抓住一个机会就像火山爆发一样。中国为什么没有或很少诞生数据库畛域的独角兽？我集体认为短期内也很难。中国各行各业的 IT 标准化水平低，导致很难推广规范的数据库服务，很多行业对软件服务化的认知，还比拟初期，甚至感觉齐全没有必要为此付费。另外，还有一个问题是传统商业软件盗版横行。种种因素叠加在一起，导致中国的 PaaS 甚至 SaaS 层独角兽很少。时势造英雄：先有时势，才有英雄如果端到端地独立做一个数据库系统，咱们和其余数据库厂商比没有太多劣势，人才密度可能阿里云有一些劣势，但很有可能最终会被资本劣势拉平。那其实只有一个逻辑，这个逻辑闭环就是阿里云本人，肯定要充分利用阿里云的劣势去构建阿里云的数据库，将阿里云 IaaS 这一层的劣势施展到极致，这样咱们才可能构建进去不一样的数据库。过来几十年，IT 基础设施的规模正在发生巨变，从晚期的大型机、小型机，再到 X86 服务器，再到云 + 端的演进，底层的设施数量呈现了从几十台到几百万台指数级的增长。这种基础设施的变动，为下层数据库的演进提供了新的能源。就像物种会随着环境的变动而演进一样，当计算、存储、网络这些根底计算设施一直演进的时候，基础设施之上的数据库系统，也需相应地继续演进。不同的基础设施对应了数据库倒退的不同历史阶段。数据库经验了从晚期的关系型数据库，到起初的数据仓库和关系型数据库配合，OLTP 和 OLAP 两个畛域的细分，到前面开源数据库、NoSQL 数据库，再到明天云原生数据库的一个倒退历程。权威市场钻研机构 Gartner 在相干报告中论述了几个十分重要的趋势：第一，数据规模爆炸性增长——咱们处在一个大数据时代，毋庸置疑。第二，数据的生产和解决的实时化和一体化需要越来越强——这也是为什么阿里云明天提出云原生数据库 2.0，提供一站式数据管理与服务。第三，生产和数据处理的智能化——当初用户对数据的解决不再停留在传统的事务处理、交易以及简略或聚合类的剖析查问，而是心愿能从数据中失去更多洞察，利用数据驱动智能的业务决策。依据 Gartner 预测，2022 年，全世界 75% 的数据库会以云的形式运行。将来，数据库畛域的外围倒退方向是云原生 + 分布式，以及由此带来的几个核心技术布局：平安稳固、自动化与智能化、数据库大数据一体化、数据仓库与数据湖、多模数据库以及软硬件联合。我在阿里云做了四年，学到了很多货色，有很多的挑战，也有很多思考。依照产业逻辑倒退，时势造英雄，肯定是先有时势，才有英雄，英雄只会决定这件事产生的早晚。很侥幸咱们明天凑巧碰上了时事，唯愿不负时事。附：数据库演进历史数据库是企业技术零碎的外围。传统商业数据库时代垄断在多数巨头手中，云计算这种底层计算系统化，为数据库技术带来改革；互联网与传统产业交融，数据库撑持的业务场景产生了微小的变动，也为数据库带来了技术挑战。

举荐浏览 1. 从业务开发中学习和了解架构设计 2. 代码正文的艺术，优良代码真的不须要正文吗？3. 是什么让一段 20 行代码的性能晋升了 10 倍 云原生架构白皮书 2022 年新版 将来十年，云计算将无处不在，像水电煤一样成为数字经济时代的基础设施，云原生让云计算变得规范、凋谢、简略高效、触手可及。本书由阿里云 20+ 位云原生技术专家独特编撰，也是作为业界首本全方位构建云原生架构布局与实际全景图的白皮书。本书在具体论述云原生架构定义的同时，残缺展现云原生架构利用所需的演进门路与设计规定，旨在帮忙企业更好地了解与利用云原生架构，助力企业数字化转型降级。点击这里，查看详情。原文链接：https://click.aliyun.com/m/10… 本文为阿里云原创内容，未经容许不得转载。