乐趣区

关于云计算:NeonIO-云原生存储简介与应用

jiezi

作者简介：杨兴祥，QingStor 参谋软件工程师，2012 年开始先后在翻新科、华为从事存储相干的开发工作，在分布式存储畛域有丰盛的开发教训，目前负责 QingStor NeonIO 云原生存储的开发工作。

NeonIO 是什么

NeonIO 是一款反对容器化部署的企业级分布式块存储系统，可能给 Kubernetes 平台上提供动态创建（dynamic provisioning）长久存储卷（persistent volume）的能力，反对 clone、snapshot、resstore、resize 等性能。

NeonIO 架构图

NeonIO 架构如图上所示。

  • zk/etcd：提供集群发现、分布式协调、选 master 等服务；
  • mysql：提供元数据存储服务，如 PV 存储卷的元数据；
  • center：提供逻辑治理服务，如创立 PV 卷，快照；
  • monitor：提供监控服务，可能把采集监控指标裸露给 Prometheus；
  • store：存储服务，解决利用 IO 的性能；
  • portal：提供 UI 界面服务；
  • CSI：提供 csi 的规范 IO 接入服务；

NeonIO 特点

易用性

(1) 组件容器化：服务组件、CSI、Portal 容器化。

(2) 反对 CSI：提供规范的 IO 接入能力，可动态、动态创建 PV。

(3) UI 界面，运维不便：

  • 存储运维操作界面化、告警、监控可视治理；
  • 有基于 PV 粒度的性能监控，如 IOPS、吞吐量，能够疾速定位到热点 PV；
  • 有基于 PV 粒度的 Qos，可能保障用户高优先级的服务质量；

(4) 与云原生高度交融：

  • 反对 Prometheus，通过 ServiceMonitor 把 NeonIO 的采集指标裸露给 Prometheus、Grafana，进行图形化展现；
  • 同时 UI 界面可与 Prometheus 对接，展现其余云原生监控的指标，如 node-exporter 的磁盘 IO 负载、带宽等；
  • 平台化的运维形式，存储的扩容、降级、劫难复原运维操作、只须要 k8s 的一些命令即可实现，不须要额定把握过多的存储相干的运维常识；
  • 服务发现、分布式协调反对 etcd、元数据的治理，应用 CRD 的形式；

(5) 一键式部署：helm install neonio ./neonio — namespace kube-system。
(6) 部署简略灵便：和 Rook-Ceph 比照：

性能 NeonIO Rook-Ceph
Quick Start 总共 4 步:
1. 查看确保有可给供 neonio 的设施；
2. 查看是否曾经装置 QBD；
3. 增加 helm repo；
4. 装置部署：helm install neonio ./neonio –namespace kube-system		 总共 5 步:
1. 查看确保有可给供 ceph 的设施；
2. 查看是否曾经装置 RBD；
3.apt-get install -y lvm2；
4. 下载代码：git clone –single-branch –branch master https://github.com/rook/rook.git
5.cd rook/cluster/examples/kubernetes/ceph
kubectl create -f crds.yaml -f common.yaml -f operator.yaml
kubectl create -f cluster.yaml
单机 all-in-one helm install neonio ./neonio –namespace kube-system –set sc.rep_count=1 –set center.servers=1 — cd rook/cluster/examples/kubernetes/ceph
kubectl create -f crds.yaml -f common.yaml -f operator.yaml
kubectl create -f cluster-test.yaml
应用区别与集群部署时的另一个配置 cluster-test.yaml 进行部署，不能做到配置共用
节点布局部署 通过对对应节点打 label 通过批改 cluster.yaml，须要配置节点 IP 配置那些服务
RDMA/TCP helm install neonio ./neonio –namespace kube-system –set store.type=RDMA ceph 自身反对 RDMA，rook-ceph 不反对
治理、存储网络拆散 / 共有 helm install neonio ./neonio –namespace kube-system –set store.port=eth0 –set rep_port.port=eth1 ceph 自身 pubic、cluster 网口的拆散专用，rook-ceph 适配简单

高性能

(1) 全闪的分布式存储架构

  • 集群中所有节点独特承当压力，IO 性能随着节点减少而线性增长；
  • 存储介质反对 NVME SSD；
  • 反对 RDMA：通过高速的 RDMA 技术将节点连贯；

(2) 极短的 IO 门路：摈弃文件系统，自研元数据管理系统，使 IO 门路极短

(3) 应用 HostNetwork 网络模式

益处：

  • Store CSI Pod 应用 HostNetwork，间接应用物理网络，缩小网络档次；
  • 管理网络、前端网络、数据同步网络拆散，防止网络竞争；

高可用

(1) 服务组件可靠性与可用性

  • 治理服务默认应用 3 正本 Pod, 正本数能够配置，举荐应用 3/5 正本，任何一 Pod 因故障无奈提供服务，还有其余 Pod 提供服务；
  • 应用探针检测 Pod 服务是否可用，是否存活，检测到 Pod 服务部可用剔除组件服务，检测到 Pod down 掉后重启 Pod，使其重新启动服务；

(2) 数据的可靠性与可用性

  • Volume 分片为 Shard；
  • 每个 Shard 独立抉择存储地位；
  • 每个 Shard 的 3 个正本存储在不同的物理节点上；
  • 写入时同步写入 3 个正本，强统一；
  • 读取时只从主正本读；
  • 正本数按 volume 可配；

敏捷性

(1) Pod 跨节点重建高效：2000PV 的挂载 / 卸载 16s。

(2) 批量创立 PV 能力：2000PV 的创立 5min。

NeonIO 性能体现

测试平台：NeonIO 超交融一体机集群（3 个节点，192.168.101.174 – 192.168.101.176）。

留神：所有测试均应用 NVMe SSD，卷大小 = 1TiB。性能工具：https://github.com/leeliu/dbench

图中黄色示意的是 NeonIO，第一张图纵坐标是 IOPS，第二张图纵坐标是毫秒，从后果来看，无论是单正本还是 3 正本，NeonIO 在 IOPS、时延都有显著的劣势。

NeonIO 利用场景

  • Devops 场景：批量疾速创立 / 销毁 PV 能力，2000PV 创立 5min。
  • 数据库场景：WEB 网站后端数据库 MySQL 等提供稳固的长久化存储，提供高 IOPS、低时延。
  • 大数据利用剖析场景：提供超大容量，PV 可扩容到 100TB。
  • 计算和存储拆散部署场景：k8s 集群 1 部署 neonio，k8s 集群 2 通过 CSI 应用 k8s 集群 1 的 neonio 存储。

相干文章举荐

存储巨匠班 | ZFS 存储池块治理与事务模型
对象存储手把手教四 | Bucket 生命周期治理

本文由博客一文多发平台 OpenWrite 公布！

退出移动版