乐趣区

关于云原生:ECIC演讲精华|如何构建云原生应用下的高性能持久化存储

近日,由寰球企业级开源解决方案领导者 SUSE 举办的第四届“企业云原生翻新大会 Enterprise Cloud Native Innovation Conference”(以下简称“ECIC”)在北京金隅喜来登大酒店盛大举行。作为国内规模最大、影响力最强的云原生技术大会之一,ECIC 大会现场仍旧火爆,13 场来自各行业头部企业 IT 负责人的主题演讲,吸引了近千名容器技术爱好者到场和近万名观众线上观看直播。

焱融科技作为受邀参讲嘉宾之一,在大会现场分享并深度分析现阶段企业客户在理论利用场景下遇到的存储瓶颈以及转向容器存储所面临的挑战。那么,

  • 云原生利用下的高性能长久化存储是如何构建的?
  • 企业该如何突破存储技术妨碍云原生利用?
  • 什么才是容器长久化存储的要害?

以下是焱融科技产品总监黎俊鸿在 ECIC 大会现场的演讲实录精华版,浏览时长 15mins,Enjoy~

YRCloudFile 产品设计初衷

在 2019 年年初,焱融科技是国内第一个进入 CNCF 云原生存储地图的国内企业。其实这外面有一个小插曲和小故事,在剖析将来存储方向的时候,咱们认为云原生当前必定是整个行业的一个重要方向,而且咱们过后认为 Kubernetes 曾经是整个云原生的一个事实标准,所以当咱们在开发这款产品的时候,就曾经瞄准了 Kubernetes,而且将来会以 CSI 为标准接口来进行开发。

当咱们针对 Kubernetes 的利用接口开发后一段时间,大略半年左右,Gartner 公布了每年一次的存储技术能力成熟度曲线的剖析,在 2018 年公布的时候,咱们发现 Gartner 第一次把 Cloud Native Storage 放在能力成熟度曲线外面,这让整个团队都十分欣慰。通过团队的不懈努力,焱融 YRCloudFile 产品无论是在性能上,还是用户数量上都失去了业界的充分肯定。焱融科技产品曾经造成了肯定的技术壁垒,曾进入寰球 IO 500 存储性能挑战前六。

存储成为容器利用面临的挑战

在剖析不同的云原生利用在数据中心的应用情况的时候,咱们看到一个乏味的景象:从 DockerHub 的 Image 下载量能够看到,大量的长久化利用在 Docker 环境下面运行,为了对这种有状态的利用进行撑持,肯定须要一个长久化的存储。从很多调研报告上看,容器的存储技术是云原生在企业里更大范畴利用的一个阻碍,容器存储提供的数据拜访、读写模式、读写性能以及与 Kubernetes 等支流编排平台的整合,都是容器长久化存储的要害。

Kubernetes 是否很好地去编排底层存储体当初两方面:一是 K8S 在进行接口层面的对接时,让 K8S 可能很顺畅的去编排和调度底层存储,这里须要提到的是 CSI 基本上曾经是很成熟或者说被宽泛认可的一种接口;二是整个底层存储是否可能反对多种读写模式,包含对共享型数据的反对。

此外,容器平台上 PV 的数量会远远大于咱们应用虚拟机创立的 Volume 的数量,如何治理和监控大量 PV,以及出现 K8S 中 Pod、PVC、PV 等关联关系,也是容器平台应用和运维人员关注的中央。

存储是为利用而服务的,如何为利用提供足够的性能,对于很多用户来说也是无比辣手的一件事件。因而,焱融 YRCloudFile 针对 IO 场景做了不少针对性的优化。

利用场景带动容器存储需要

什么样的存储产品才称得上优良?咱们认为可能很好的去对接用户利用,让利用可能更高效地去拜访数据才是好的存储产品。为此,咱们破费了大量工夫和精力投入在利用场景上,钻研特定场景的 IO 特点。

基于容器的 AI 架构面临的挑战

首先对于 AI 这种业务来说,肯定是面向海量数据的,一些 AI 行业客户单个数据集群,数据量以及文件数量都在几亿,也有一些极其客户,单个集群的数量都在几十亿,在这种集群下,集群到了几亿甚至几千万文件数量级别后,整个文件系统的拜访性能会呈现较大的衰减。

咱们把元数据集群设计成了一个可扩大的架构,无效地解决了承载海量文件元数据的外围问题,在为咱们承载几十亿、上百亿文件后拜访性能无衰减打下了根底,在海量文件场景下,不论是元数据的 creation、stat 还是 removal 操作,或者是咱们文件读写操作,咱们的性能都能够保持稳定状态。

MySQL(MariaDB)IO 模型和特点

MySQL 数据库中有几个要害的文件,其中一个是 Redolog,它记录事务日志,这是一个固定文件,它会循环的写,而且是 512KB 对齐写。Binlog 文件记录数据库所有的更新操作,追加写,不对齐。YRCloudFile 自身确保 Redolog 和 Binlog 数据在写入时间接落盘,缩小近程的 fsync 调用,省去客户端调用 fsync 的开销。通过这样的优化,能把 MySQL 容器利用的写入性能晋升近一倍。

以上是 ECIC 会上分享给大家次要内容。焱融科技作为软件定义存储的企业,心愿能为用户提供面向容器环境的优良的长久化存储服务。

演讲视频完整版请戳👇: https://www.itdks.com/Home/Act/apply?id=5675&mUid=20022#dingbu

退出移动版