关于分布式:扬州万方基于申威平台的-Curve-块存储在高性能和超融合场景下的实践

4次阅读

共计 1916 个字符，预计需要花费 5 分钟才能阅读完成。

扬州万方科技股份有限公司次要从事通信、计算机和服务器、智能车辆、根底软件等产品的科研生产，是国家高新技术企业、专精特新小伟人企业、国家火炬计划承当单位。

申威处理器是在国家“核高基”重大专项反对下、由国家高性能集成电路（上海）设计核心自主研发，采纳自主指令集，具备齐全自主知识产权的处理器系列。以后支流的申威 3231 处理器是基于第三代“申威 64”二次优化版外围的国产高性能多核处理器，次要面向高性能计算和高端服务器利用。申威 3231 采纳 CC-NUMA 多核构造和 SoC 技术，单芯片集成了 32 个 64 位 RISC 构造的申威处理器外围、8 路 DDR4 存储控制器接口、40lane 的 PCI-E 4.0 规范 I / O 接口以及 3 路直连贯口，最高工作频率可达 2.5GHz。

2018 年至今，万方科技基于申威系列处理器研制了面向海量存储、高密度存储、全闪存储等多种需要的多类型存储系统，大量采纳了基于 Ceph 的分布式对立存储技术。在随后的生产环境应用保护中，Ceph 在性能一致性、运行稳定性、故障修复能力等方面的体现不尽如人意，并且简单的 IO 解决流程、数据搁置及迁徙机制、宏大的代码规模等减少了应用运维老本。同时，咱们也继续关注存储的技术生态，有动向另辟蹊径，摸索新型的存储技术，改善目前存储产品的有余。在深刻调研了 Curve 的技术架构、利用成熟度、社区背景的根底上，决定在申威硬件平台上适配、试用 Curve 技术，次要的试用场景包含高性能块存储、超交融等。

Curve 适配的申威平台，因为申威 3231 处理器采纳自主申威指令集，因而须要应用申威平台的 gcc 对 Curve 进行从新编译。

Curve 的移植适配须要解决的外围问题是 brpc 的编译，brpc 采纳 M:N 的线程模型，为了进一步优化性能，在原子操作、用户态上下文切换等局部应用了与处理器平台强关联的汇编语言，咱们应用申威的汇编指令重写了这两局部内容，并且优化了申威平台非对齐拜访内存的相干代码。

高性能块存储场景实际，高性能是 Curve 的次要特点之一，而在业务层面，高性能块存储是撑持数据库等性能型利用的要害。在 Ceph 存储技术的理论利用中，咱们大量应用了 NVMe 闪存盘，通过 bcache 缓存计划晋升机械盘的存储性能。

对于高性能块存储场景，咱们采纳全 NVMe 闪存形式构建 Curve 集群。

为了充分发挥 NVMe 闪存性能，咱们基于 SPDK 技术重构 Chunkserver 的 Ext4 filepool。与以后社区中所采纳的 Polarfs+SPDK 的形式不同，咱们应用 SPDK blobstore 实现 Chunkserver 的底层存储逻辑。

这种计划须要留神的点是：SPDK blobstore 不存在目录的概念，只反对 blob 读写，不反对目录操作及文件命名等性能。为了尽量减少对于 Chunkserver 下层逻辑的批改，咱们依然应用 Chunkserver 既有的目录构造，但 filepool 中的文件不再用于存储实在用户数据，而是记录 blob id，用于将 Ext4 文件系统中的文件关联到对应的 SPDK blob，目录操作、文件命名等性能依然沿用 Ext4 文件系统的相干操作接口，从而实现基于 SPDK blobstore 的数据存储。

通过相干革新，在 3 节点 * 3 块 NVMe 闪存盘、万兆网络互联的申威 3231 存储服务器集群上，单个 NBD 盘 IOPS 达到 32K。

超交融场景实际，万方科技的超交融产品采纳混闪的硬件存储架构，并基于 Kubernetes 对立治理容器及 KVM 虚拟机。

因为超交融产品须要适应大容量、高性能等不同的存储场景，因而须要 Curve 满足同一物理池中反对不同类型存储介质的需要，为实现这一需要，咱们为 chunkserver 减少了存储介质类型的属性，并在逻辑池创立时通过配置存储介质类型匹配 chunkserver 并创立 copyset，从而使得逻辑池的物理存储空间在指定类型存储介质上进行调配。

另一方面，为了实现 Kubernetes 对于传统 KVM 虚拟机的对立治理，以容器形式运行 KVM 虚拟机，并应用 Curve 的 CSI 接口为 KVM 虚拟机提供虚构磁盘，Curve 为虚拟机的容器化运行提供了稳固、高性能的存储服务。

联合 Curve 及万方科技相干产品的倒退布局，后续工作将会集中在两个方面：