关于数据库:Snowflake核心技术解读系列架构设计

10次阅读

共计 1073 个字符,预计需要花费 3 分钟才能阅读完成。

简介:Snowflake 获得了微小的商业胜利,技术是如何撑持起它的千亿美元市值呢?它技术强在哪?本文为大家倾情解读 Snowflake 的核心技术原理。

背景:2020 年 9 月 16 日,Snowflake 胜利 IPO,交易首日市场估值达到 704 亿美元,募集资金 34 亿美元。Snowflake 成为迄今为止规模最大的软件 IPO,市值最高冲破 1200 亿美元。Snowflake 提供基于云的数据存储和剖析服务,个别被称为 “ 数据仓库即服务 ”,它容许企业用户应用基于云的硬件和软件来存储和剖析数据。Snowflake 自 2014 年起在亚马逊 S3 上运行,自 2018 年起在微软 Azure 上运行,自 2019 年起在谷歌云平台上运行,其 Snowflake Data Exchange 容许客户发现、替换和平安地共享数据。

Snowflake 获得了微小的商业胜利,技术是如何撑持起它的千亿美元市值呢?它技术强在哪?OLAP 内核技术爱好者浙川为大家倾情解读 Snowflake 的核心技术原理。本文为该系列一。

概览

Snowflake 是齐全基于云构建、充分利用云个性的企业级 SaaS 数据仓库产品,它不仅具备灵活性(即买即用)、高安全性、极致扩展性和弹性等特点,而且反对多租户、事务、规范 SQL 语法和半结构化、非结构化数据。Snowflake 在 2015 年开始上线应用,现在倒退成反对每天运行数百万条查问的 PB 级云原生数据仓库。


图 1 整体架构图

整体架构

图 1 展现了 Snowflake 的整体架构。Snowflake 设计的最终目标是为用户提供高易用性、高可操作性,以及高可靠性,基于这样的前提,Snowflake 的内核组件的设计都具备高牢靠、高可扩大的个性。组件是相互独立的,组件之间通过 RESTful 接口进行通信。Snowflake 内核组件从底向上能够分为三个层面:

1)数据存储。Snowflake 的数据存储是构建在 Amazon S3 存储服务至上,次要用来存储表数据和查问后果。

2)虚构仓库。虚构仓库构建在 Amazon EC2 虚拟机组成的弹性集群之上,负责执行用户的查问申请。

3)云服务组件。云服务组件是 Snowflake 的大脑,它包含并发访问控制、基础设施治理、优化器、事务管理、平安治理、元数据管理,其中元数据蕴含 schema 信息、表信息、权限认证信息、秘钥、统计信息等。

本篇文章为开胃菜,先从 Snowflake 架构设计切入,有个总体的理解。接下来会陆续推出几篇系列文章,解说包含 Snowflake 重要的云原生技术及其它的翻新之处,云服务组件,面向云的各自个性。

原文链接
本文为阿里云原创内容,未经容许不得转载。

正文完
 0