关于sql:Rockset-陈博玚从数据库创新看云原生技术

2次阅读

共计 7435 个字符，预计需要花费 19 分钟才能阅读完成。

云计算产业对整个 IT 行业产生了革命性的影响，云化的趋势不可逆转，容器、K8s 开始成为从业者和投资人口中最常提起的名词，这背地所代表的云原生赛道也成为云时代的下一个方向。

Rockset 是新一代的云原生 OLAP 数据库，通过多维聚合索引和存储、计算、导入三层分流，使得各种企业的实时高并发查问需要失去很好的解决。买通物联网的孤岛，是 Shifu 和他的合作伙伴独特的愿景。

“物联市场线上对谈”是由边无际发动的立足物联网行业的访谈栏目，第三期邀请到 Rockset 陈博玚，与边无际 CEO 陈永立、COO 郑凯文、CTO 李翔独特探讨云原生为数据库与物联网带来的时机与挑战。

陈博玚：我是一名硅谷的软件工程师，现任职 Rockset，是一家做云原生数据库的公司。我就任过两家独角兽守业公司，其中一家是 Confluent，是做开源的 Apache Kafka 我的项目，围绕这个开源我的项目做了一整套的企业级服务的解决方案。再之前我是在 Pinterest 的做广告零碎架构工程师。

我当初任职的公司 Rockset 规模绝对小一些，当初是 B 轮融资阶段。Rockset 在 2020 年的时候进行融资，公司团队规模在 100 人左右。我当初的次要工作是对于实时数据注入的。Rockset 公司的产品定位是云原生的数据库方向，次要做 OLAP（大数据查问）方面。

Rockset 的产品比拟独特的点是强实时性与高并发。传统的产品更多针对的场景是某一个具体的数据去做一些剖析型的查问。Rockset 的产品是面向用户的用户，咱们称之为 tenant，举例来说如果一个体育网站的用户须要看 NBA 球赛实时的一些总结、赛况、运动员信息等，这个时候 Rockset 就能够提供很好的反对。

郑凯文：比照传统数据库，云原生数据库特点是什么呢？

陈博玚：首先讲一下云的特点。在平时提到云的时候是多概念混淆在一起的，人们也会比拟奇怪为什么一些词语加上云当前就变得更弱小了。云之所以弱小，是基于 2015 年左右亚马逊最早推的 AWS 我的项目，那个时候也是云的发展势头最强劲的一个阶段。

有一句话很好地概括了云的特色：在以前传统的机房落地的数据库里，租一台机器能够跑 1 个 CPU，1 个 CPU 做的工作须要 100 分钟，然而当初把这个工作放到云上能够变成 100 个 CPU 跑 1 分钟，这在以前是无奈设想的一件事件。

云计算能够在短期有一个爆发性的算力，这扭转了很多，包含数据库、技术构造等，也就是说人们能够有极强的在云上的弹性。所以我认为各种云原生的技术的要害就是在于弹性，这种弹性彻底突破了以前了解的互联网技术。原来互联网技术被当作一种须要事后买设施、算老本的行业，比方服装行业须要先去买布料能力动工。然而在云原生的时代的话，很多事件就会有一个十分大的效率的进步。互联网企业能够先不去想要买多少的机器，这些机器怎么保护，在哪儿设厂开机房等问题。这就是云原生带来的微小的劣势。云把所有的理念都虚拟化了，须要买的时候就买入，不须要的时候资源就被释放出来。这升高了很多互联网公司起步的难度。

数据库不是一个新兴概念，尤其在上云的热潮里。数据库自身的概念其实很简略，它可能让使用者以一种与人对话的形式去查问数据，并对数据做各种各样的操作。Rockset 当初次要做的是查问这一部分，是一个读多写少的场景。

数据库以前用的一种语言就是咱们常常听到的 SQL。SQL 语言做得很杰出，它把很多人类想要表述的几个不同的数据因子去做聚合或者穿插，而后去搜寻并加很多搜寻限定条件。SQL 把一些比拟形象的概念，用一种更自然语言的形式表达出来，而不是像以前一样作为程序员能力用的工具去写查问模式。

其实数据库也有一个演变：一开始是用 SQL 去做实现，起初大家发现这种办法太简单了，做很多的架构是比拟艰难，所以会有新一代的 NoSQL 呈现。NoSQL 彻底进化成了机器似的语言，就只有程序员写代码能力去查问一个数据库的信息。然而，在新一代云原生当前，人们又把 SQL 搬回来，因为人们意识到 SQL 是一个通用的语言，不管是谁做这一代的数据库产品，没有人去避开 SQL，不论 MySQL 还是 PostgreSQL，依然是基于 SQL 这一套表达方式。

所以云原生数据库次要还是云原生扭转它底下的技术架构的底层，然而数据库自身没有很大的变动，它还是以前的那种用户用一种关系式的形式去把数据存储起来，而后有很好的形式能再把数据取出来。

郑凯文：OLAP 这个数据库属于云原生数据库里一种是吗？

陈博玚：应该这样解释，OLAP 的 A 的是 Analytics，就是做剖析查问这个方向。另外一个跟它对应的概念叫 OLTP，T 是 Transaction 事务，是次要针对写的场景的。

当初市面上的数据库产品少数是针对 AP 来做的，起因就在于 AP 的查问量大而且拜访并发度高。反之 TP 利用场景更狭隘一些，更有挑战性的场景没有 AP 那么多。

能够看到 AP 的市场，取得了资本很高的青眼，比方 20 年上市的 Snowflake，这家公司能够以这个当年营收的百倍作为它的市值，这是很夸大一件事件，可能是历史上最高的营收跟市场估值比。所以过后整个的市场就被 Snowflake 上市给带动起来了，大家都意识到这个市场有这么广阔。这个市场也还是很大的。

郑凯文：Rockset 在这个市场中主打的特色是什么？

陈博玚：Rockset 创建的工夫正好是 Snowflake 整个体系在逐步地占领市场的时候。Rockset 在 2016 年创建的，那个时候 Snowflake 曾经成立 4 年左右了。Snowflake 过后做的很多的是 data warehouse，就是数据仓库，Snowflake 心愿把用户各种不同的数据从不同的中央拿起来，放到一个一个仓库外面，比方用户有一个仓储零碎，他们能够从这外面轻易的把几个不同的数据联合在一起。

然而，这个数据仓库不足了几个因素，这就是 Rockset 想解决的问题：

第一，当初整个互联网用户的急躁正在升高。很多的事件会烦扰人们的心智，不论有如许好玩乏味的货色人们可能看一会儿而就要换下一个，所以对急躁最大的挑战就是网页加载速度。我小时候上网的时候我要是有什么货色想看的话，那个 loading 在那儿转很久，我能够有很大的急躁去期待。然而当初齐全不会了，当初没有人会看一个网页加载超过 10 秒钟，基本上两三秒就不想看这个网页了。所以，在信息的实时性上普通用户的要求变高了。

第二，在很多场景下，信息如果不够实时就等于是有效信息。这句话怎么了解呢？在一些跟广告相干的环境下，很多的时候须要去捕获用户的要害信息的窗口其实没有很大，可能就几分钟或者半个小时内，用户忽然有趣味想要去理解一个事物。比如说用户可能看家具途中忽然想去买把椅子，可能就这一会儿他有买椅子的需要，那如果零碎不能有这种实时的反馈，不能有实时的模型去计算得出这个论断的话，意味着错过了一个真正贴近用户的窗口。所以，很多人意识到传统那种一天跑一个模型的速度曾经跟不上了，剖析昨天用户的行为利用到明天可能偏差十分远，所以当初须要很多实时的信息去这个改正原来的模型，让它可能更精准的贴近用户的需要。在这个根底上，大家也越来越意识到实时性这很重要，Rockset 就是去解决这个问题的。Rockset 整个数据的集成都是走实时的通道，很多的信息能够管制在 1 秒到 5 秒左右的提早。

第三，数据推送的速度也要快。在传统的数据库上有一个概念叫索引，就是 index。索引就好像一本书外面的目录，读者能很快去查到他须要的信息。比方一个学校可能要去查高二一班所有人的信息，那就能够在每个人的班级下来做一个索引，在这种构造下的数据库里能够很快的把数据拿进去。然而，建设索引不是那么容易的，它须要一个工作经验丰富的、或者对整个公司的业务十分理解的人，能力在传统数据库上建设出很好的索引。这项工作是齐全依据业务走的，比方明天建一个索引是给班级做的，今天可能要依照学号来做，然而整套索引要从新做其实是很麻烦的。以前有一个工作叫 DBA，是专门负责数据库治理的岗位，当初这个岗位的需求量没有那么大了，它须要很多的教训并解决过很多的数据库系统，能依据一个需要建设索引使查问的效率更高。

Rockset 提出了一个概念叫“多维索引”。即 Rockset 抉择暴力建索引，比方数据库有 20 个不同的 column，即有 20 个不同的这个信息在外面，Rockset 把每个信息都间接建设索引，这样不论用户按什么维度去查效率都比失常的数据库要快 5 到 10 倍。然而显然暴力建索引是有代价的，它带来的问题就是存储老本迅速减少。这个问题上云原生的劣势就能够体现进去，在当初这个时代的存储老本其实没有计算成本高，咱们齐全能够靠这个空间去换工夫。

这就是 Rockset 开始发明产品的核心理念：咱们认为在查问端的减速就是要保障把用户的工夫释放出来，不要让用户不停地调整索引条。调整索引是一个十分苦楚而且不稳固的工作，可能明天索引对了今天数据状态变了当前旧的索引就彻底废掉了。这就是 Rockset 想解决的问题，咱们把整套索引都做好用户应用时就不会有太大的问题。如果用户有非凡的问题，Rockset 还会有一些后续的办法帮忙用户解决问题，保障开箱的用户体验达到最好。

李翔：您刚刚提到存储是有代价的，那么 Rockset 建设这么残缺的索引保留在哪里呢？这么大体量的存储也是须要相当大的开销了。

陈博玚：所有的用户数据会做一个正本，传到 Rockset 的云平台里，用户的所有的查问间接拜访 Rockset。

Rockset 做了一个前人没有做过的优化，比如说某一个家公司有寰球各地的业务，他们心愿把微小的数据库表放到不同的业务中心里。失常的逻辑会把这张表做一个分片，把欧洲的所有客户的信息放到一个分片外面，北美的、中国的别离分片。然而因为 Rockset 索引量太大了，就抉择了不同寻常的路线，即把某一份数据的索引做在一台机子上。不同类型的索引比方依照国家的、依照商业业务的形式，可能会做出好几个不同的数据的备份。Rockset 的优化点在于，只有一份用户数据就能够把它所有的索引都放在一起。

这种形式为什么没人做呢？起因也很简略，比方我要查北美用户的信息，为什么要拜访欧洲的数据中心呢？比方原本分 100 片的时候，只须要拜访一台机子，这样的查问提早是能够保障的。但当初这 100 份数据每一条查问都要去拜访 100 台机子，查问提早可能会增大并且所有都要同时运行。但这就回到了刚刚提到的问题，在云上能够用这个 100 台机子的 1 分钟 CPU 来换取 1 台机子 100 分钟的 CPU，等于同时利用了 100 台机子的算力。哪怕这种形式看上去会带来更高的提早，但其实在工夫换空间的衡量外面是赚的。以前做索引要跟数据走，做两三份数据量就十分大了，然而当初 Rockset 不再做分片而是把所有数据的索引做在一起，并且每次查问都会去查所有的机器，所以这是一个比拟有意思的优化。

李翔：Rockset 是怎么建设索引的呢？是像 SQL 那样依照 row 来建设还是本人 create index 来建设呢？

陈博玚：咱们建设了 3 个维度索引，一个是 row index，还有 column index，还有 inverted index 就是逆向索引，在文件外面把关键词拿进去作为一个逆向索引。Rockset 用的全是 AWS 的服务，然而有一点跟边无际很有缘就是也用 Kubernetes 零碎，Rockset 的部署都是容器化的，因为咱们也发现这样能够更高效的去治理咱们的资源。

郭琦：请问 Rockset 进一步优化的方向是什么呢？

陈博玚：当初的次要方向是隔离，咱们当初的很多用户资源是共享状态的，包含一些计算资源。然而长期来看，咱们会去反对一些更高级的特点去让特定用户能够有本人的专属的数据的注入通道和查问模式。

其实这也是一个十分有争议性的话题，在云原生的大背景下很多人强调另一条路，是叫做多租户的计算资源共享。一台机器上既然能放很多容器，那实践上其实是能够让很多用户用这台机器资源把资源效率进步，然而另一方面，万一有一台容器出问题了间接吃掉了一些其他人的资源，可能某一个算子的问题导致这台机器不可用反而影响了其余用户的查问体验。这依然是一个比拟难均衡的点。

郭琦：请问陈永立，云原生在软件架构上做到了什么能力去适配那么多种场景？

陈永立：这是一个特地大的话题，然而外围其实是两种技术。一个是 Docker 所代表的容器技术，另一个就是 Kubernetes 所代表的容器编排技术。如果没有容器技术的话，以前大家用虚拟机的耗费是十分大的，个别虚拟机里边都会跑很多的利用。有了容器当前人们把每一个利用都独自封装成一个 image，很多的 image 串起来的话就能够做成微服务架构。这就是云原生技术的底层技术。

有了微服务当前怎么去治理这些微服务又是很大的问题，原来治理一个容器比较简单，然而当初治理成千盈百个容器了怎么办？这个时候就有了 Kubernetes，用它来治理 container fleet 变得很简略，Kubernetes 会把容器主动调度到不同的计算资源下面。而且 Kubernetes 还有很多运维自动化的性能，比方某个容器挂掉了当前 Kubernetes 能够主动重启，相当于把运维极大地简单化了。这也就使整个云原生的极度弹性的做法成为可能。这是一个底层的技术基础设施的提高而后推动下层的利用变革的过程。

Rockset 也是基础设施的一部分，然而 Rockset 的技术提高也会让下层的用户的利用变得更快，而后就能凋谢进去十分多的新的场景。

郭琦：请问陈永立在理论过程中有遇到云原生有一些固有的阻碍须要冲破吗？

陈永立：必定是有的，它既然叫原生就阐明得从头来设计架构。很多传统的架构就须要打翻了从新设计，而后能力真正的用到云带来的便当。所以真正能做云原生架构的人才也不是特地多，这必定是限度大家转型的一个很大的问题。将来云原生的利用会变得越来越简略。

另外一点，云原生自身也会带来新的问题，比如说我原来我骑马的时候马要吃草，当初我改成开车的时候车也得加油。Kubernetes 可能会呈现各种各样的问题，人们有没有能力去运维它呈现的各种问题。我原来在 Azure Kubernetes Service 工作，常常有客户能起 1000 个虚拟机，而后他过一段时间就删掉了，所以这也给整个的架构开发运维带来了很大的挑战。当然我认为这都是坏事，因为业务驱动的问题就是的确有这样的业务需要，而后才会呈现技术改革。

郭琦：陈永立之前在微软用 Kubernetes 做了第一套云厂商出品的云原生分布式防火墙，请介绍一下如何在 Kubernetes 的根底上做一个网络安全的解决方案？

陈永立：云原生时代有云原生时代本人的问题，平安的危险也在减少。原来只须要思考一个一个虚拟机的攻击面。然而在云原生的时候一个虚拟机里边的，可能有上百个容器，攻击面就会相应的变大。他人如果跑到一个容器里，可能能够从一个个容器渗透到整个的零碎里进行攻打。

所以我做的这套云原生的分布式防火墙实质上其实用的是 Kubernetes network policy（网络策略）的思路，相当于能够设定哪些容器到容器之间是能够通信的，哪些是单向通信，哪些是双向通信。也能够用各种形式来更形象一层，比如说这个利用到那个利用能够通信，那个利用到这个利用不能反向通信。这个是我做的云原生的分布式防火墙 Azure network policy manager 也是开源的，大家也能够去看一看。

郑凯文：如果把物联网比作是血管，那数据库应该比作大脑皮层，这句话怎么了解？

陈博玚：我感觉与其说物联网是血管不如说它是神经末梢这样一类的货色，因为它其实是一个把信息载入的点，它的地位十分要害，保证数据有具备准确性可靠性。

我有一些敌人是做监控的，他们会有不同的除了 camera 之外的一些副产品，比如说 sensor。可能平时在墙上看到 sensor 只能监控方圆很小的一块区域，然而它可能要监控 10 种不同的数据，这些性能可能还会相互烦扰，我置信一线工作的技术人员，必定要面临很多的问题。然而我更多地理解把数据载入当前连贯到互联网连贯到云当前的局部。

陈博玚：请问能够开展讲一下边缘计算的问题吗？这也是我比较关心的一个话题，边无际抉择做边缘计算这条路的想法是怎么的呢？

陈永立：边缘计算是将来的一个大趋势。那么深扒一下边缘计算的底层到底是什么呢？计算总是用来计算数据的，那么它这个信息和数据是从哪儿来的？其实就是互联网里的数据。边无际从先从物联网动手，就是因为如果没有把物联网当初的一个一个的孤岛的这种现状给买通的话，那么在下层去开发利用是十分艰难的。如果没有利用，边缘计算的意义其实也就不大了。云原生的技术实际上是也是由业务驱动的。

咱们发现做各种各样的数据处理和剖析可能须要解决实时性的问题，就须要用到边缘计算的技术。然而物联网生态割裂的问题限度了边缘计算的倒退，所以边无际就筹备先把物联网生态割裂的问题解决掉。解决形式就是把一个个的设施封装成一个个的微服务，把它的能力用 API 的形式凋谢进去。那么这样，传统物联网比拟碎片化的低效开发模式就转化成互联网下面的 web 开发模式，这样就把物联网的开发门槛大大降低了，咱们置信这是将来的技术趋势。

陈博玚：边无际的商业模式是怎么的呢？

陈永立：边无际的商业模式分为两个局部，外围局部是开源。之后会附加更多各种各样的企业级服务，边无际会基于咱们的产品——Shifu Framework 开发相应的产品，让人们能够托管物联网开发的全流程。

因为 Shifu Framework 把每一个设施都封装成了一个一个微服务，最终做到了一个一个模块的感觉，用户能够基于模块像拼乐高一样拼出来他们的场景。而后 Shifu Framework 会把底层以及下层的利用一起打包，造成一个一键装置的产品放到客户那边部署。这个流程是边无际之后的商业模式。

Shifu Framework 尽量把运维自动化，打包在基础设施里边去尽量升高客户的累赘，而后让客户能够轻松地在本地运维。

因为 Shifu Framework 齐全能够跑到云上，如果用户对实时性的要求没有那么高，咱们能够通过 Shifu Framework 把设施虚构到云上，变成一个 Kubernetes 的 pod 并与传统云上的数据库跑在一个集群里边，所以利用能够同时对接数据库也能够同时对接各种各样的设施资源，主动实现所有的建设与管控。