关于java:CDS技术揭秘系列-总篇阿里云的云定义存储来了

49次阅读

共计 3672 个字符,预计需要花费 10 分钟才能阅读完成。

简介:全新公布的云定义存储 CDS 和传统的存储阵列、分布式存储、软件定义存储的区别在哪里?阿里云存储团队如何对待未来存储的发展趋势?本文邀请了 CDS 研发团队的核心技术负责人为大家揭开围绕着阿里云 CDS 的种种谜团。

云定义存储(CDS: Cloud Defined Storage)正式公布

在 2021 年中秋与国庆之际,阿里云存储团队公布了全新的云定义存储 CDS。

这次公布的 CDS 1.0 版本,基于阿里云飞天操作系统和分布式存储底座盘古,是业界首次同时反对对象存储服务 OSS、块存储服务 EBS、日志服务 SLS 和灾备服务 HBR,特地是通过盘古全新的 QoS 框架反对对象存储服务 OSS 和块存储服务 EBS 服务交融部署在同一套物理服务器下面。这次公布的存储服务与公共云上规模化的存储服务做到了代码版本基本一致,弥合了以往混合云版本和公共云版本差距比拟大的问题,让客户可能享受到和公共云基本一致的性能。

阿里云存储团队为什么要公布 CDS? CDS 和当初传统的存储阵列、分布式存储、软件定义存储的区别在哪里?阿里云存储团队如何看未来存储的发展趋势?在这里,咱们 CDS 研发团队的核心技术负责人们会通过一系列的技术文章为大家揭开围绕着阿里云 CDS 的种种谜团。

为什么要开发云定义存储?

业务的需要

从阿里云存储在 2016 年底成立混合云存储 HCS(Hybrid Cloud Storage)部门以来,内外部业务对规模配置灵便和性能有竞争力的分布式存储产品的需要始终都不少。过后综合思考产品研发的投入,阿里云在混合云市场尚且缺乏经验,以及国内市场参加厂商比拟多和竞争强烈等多方面因素,咱们制订的策略是以专有星散成的分布式存储、阵列、灾备一体机等联合起步,先进入传统存储市场的不同细分畛域试水,为阿里云理解和摸索这个市场,储备教训和弹药。

自 2018 年开始,随着 IT 基础设施云化的节奏放慢,基于云的基础架构或者数据中心曾经成为政企客户的首选计划,给新的存储厂商特地是软件定义存储厂商带来了微小的市场机会,同时随着阿里云在混合云市场的倒退,对阿里云存储在混合云场景输入的要求越来越低落,于是存储团队在 2019 年开始正式启动相干产品的布局、设计和开发。

艰巨的决策

在把指标聚焦在分布式存储和 SDS 的方向当前,通过剖析和钻研,咱们发现国内 SDS 产品的的同质化很重大,咱们如果脱离公共云技术栈重整旗鼓搞一个相似的产品难以构建长久的外围竞争力,同时从技术和工程角度讲,公共云和专有云两套产品架构并行开发,会造成微小资源节约,很多类似个性都须要在不同产品上从新做一遍,而且因为架构束缚还不能保障都能反对。最初咱们决策启动混合云分布式存储 SDS 的自研,技术上保持公共云和混合云 CDS 共享同一套技术和代码,放弃公共云存储服务的弹性、扩大能力和服务托管的差异化竞争力,同时踊跃补齐企业存储的高级个性。因而混合云 CDS 的架构、性能和用户体验都是和公共云保持一致的,这也是咱们这里所说的云定义存储的“云定义”的由来。

接下来,咱们顺次介绍一下软件定义存储的特点、云定义存储和软件定义存储的区别。

软件定义存储

软件定义存储的起源

软件定义存储(SDS:Software Defined Storage)的说法最早见于 2012 年 VMware 和 EMC 推动软件定义数据核心(SDDC:Software Defined Data Center)的一系列市场战斗,后续一众数据中心 / 服务器 / 存储厂商也跟进了这个定义,大家的策略是为了应答越来越显著的企业上云的诉求,以及 AWS/Azure 云计算厂商带来的压力和竞争,于是面向云计算从新定义了企业数据中心和存储的门路和方向。当年 SDS 最热的一段历史过程如下图所示:

软件定义存储的要害特色

软件定义存储有很多特色,业界比拟公认的有三大特色:形象(abstract),池化(pool)和自动化(automate)。这些特色背地的驱动力是企业上云和企业 ICT 基础设施云化。

  • 形象,软硬解耦,管控解耦:云计算厂商和云化的数据中心大量应用了标准化 / 商业化的服务器来代替 EMC/NetApp/IBM 等的专有硬件存储设备,大规模洽购、存储 / 服务器别离投标等促使存储软件和硬件解耦。数据面和管控面解耦,也帮忙客户通过对立的管控面来治理不同厂商的不同硬件(数据面)。
  • 池化和横向扩大:为了进步资源利用效率,应用存储虚拟化技术池化各种存储和数据烟囱。
  • 自动化:通过开发 API,让软件来管制存储资源和服务的增删改查,比人机界面的效率更高,业务弹性伸缩能力更强。

软件定义存储与传统存储阵列 / 软件的区别

SDS 和传统存储阵列在硬件耦合、节点 / 控制器扩大形式和规模、交互和治理接口各个层面都有区别:

值得一提的区别是,SDS 的“软件定义”在国外特别强调的是 SDS 是 API/SDK 丰盛,能够软件编程驱动,而传统存储更多的人机交互接口,管理员驱动为主。

云定义存储是什么

云定义存储 CDS 是一个全新的软件定义存储,既可能在定制的 CDS 存储服务器上软硬一体优化输入,也有反对 X86 到各个信创平台的软件输入模式。其中最外围的关键词是“云定义”,总结下来有六大能力:

云原生(Cloud Native)

CDS 不是从新开发的产品,它是把阿里云公共云的各种存储服务,依照产品布局和市场需求逐渐导入公布到对立的 CDS 存储平台,在外部 CDS 里的存储服务例如 OSS 的代码和个性和公共云完全一致;对外部,CDS 集成的各种云存储服务从控制台(GUI)、命令行(CLI)到 Open API/SDK 都和公共云统一,升高了原有阿里云客户和合作伙伴应用和集成的难度。

与此同时,CDS 还人造反对公共云的分层架构:云 - 区域(Region)- 可用区(AZ)- 集群(Cluster)。

  • 云规模(Cloud Scale)

绝对绝大部分分布式存储或者 SDS 厂商,阿里云 CDS 的最大劣势就是 CDS 这些代码都是经验了阿里云公共云百万级客户和阿里巴巴团体各种业务(例如双十一)的打磨和验证的,撑持了超大规模和简单业务的压力。以 CDS 的 OSS 存储服务为例,单个桶在生产环境可能反对万亿对象,达到 EB 级容量。

  • 云服务(Cloud Service)

CDS 在同一存储平台上同时提供多种云存储服务(个别最常见的有块存储和对象存储服务),反对多租户。前台能够像公共云那样客户自助服务(Self Service),后盾能够客户自主运维也能够托管运维(本地驻场或者近程),各种根本存储服务通过 CDS 云管套件对立管控和运维、通过盘古对立数据底座,同时能够抉择开明高级存储服务例如日志服务、灾备服务、数据管理和剖析服务等。

与此同时,为了减速企业上云,阿里云存储在公共云和 CDS 上同步公布企业存储的性能,例如基于 EBS 的企业级块存储 ESSD,基于 HBR 的容灾备份性能。

  • 云连通(to Cloud)

存储数据在 CDS 和 CDS 以外的云之间通过网络受控的平安的流动。

  • 云部署(on Cloud)

CDS 间接部署在云环境里作为云存储服务对外提供服务,这里的云环境能够是公共云、本地云、边缘云和专有云等各种云架构。

  • 混合多云(Hybrid Multi Cloud)

除了内部客户的需要,阿里巴巴团体外部也有很多业务单元在对外输入产品或者服务的时候都有对存储的需要,综合这些需要,他们或者他们的客户都有防止被某个供应商锁定的诉求,混合多云曾经成为标配。在这里,混合多云有两种不同解读:一种是阿里云的混合多云,包含阿里云公共云、混合云、本地云、边缘云计算等等;另外一种是阿里云和其余的云计算服务商。

CDS 基于对立的盘古 2.0 分布式存储混合多云实现了混合多云、云连通等多态云部署:

从新定义的个性公布模式

阿里云 CDS 不仅从新定义了混合云的 SDS 的新基线,同时也从新定义了阿里云存储产品和个性研发的工程模式,从 CDS 1.0 开始,曾经在 CDS 平台公布的云存储服务单品会被要求公共云和混合云场景准同时公布。与此同时,混合云输入特地是无公网连贯的场景,依赖客户或者驻场服务人员的技术能力;阿里云 CDS 产品重点打磨智能运维、RAS、和主动诊断能力,这些能力也同时反哺到公共云存储服务中,进步零碎运维效率,加强零碎稳定性。

CDS 从新定义的工程模式大大减速了混合云存储版本公布的能效,在本财年 CDS 的下一版本里,云存储网关、新的企业级快存储 ESSD 和文件存储 NAS 等重要产品和个性将疾速推出。

瞻望

阿里云 CDS 是一个云定义的存储平台,以后 CDS 1.0 版本反对了多款阿里云存储产品和数据服务(包含块存储 EBS、对象存储 OSS、日志服务 SLS 和灾备服务 HBR)。在接下来的技术连载里咱们会逐渐介绍 CDS 里平台和管控服务、盘古、EBS、OSS、SLS 等各个产品和要害模块的特点。

阿里云 CDS1.0 的公布,代表着阿里云存储开始以一个原汁原味的云存储的状态进入混合云存储市场,来满足日益增长的云计算的需要。作为国内公共云的领先者,同时又是混合云市场的挑战者,咱们有动摇的信念和信心,和高校的专家、友商同行一起推动中国存储技术的倒退。

原创作品:阿里云存储 慈湖

原文链接
本文为阿里云原创内容,未经容许不得转载。

正文完
 0