关于java:Ceph分布式存储实践应用之整体设计

1. Ceph整体设计

• 根底存储系统RADOS（Reliable, Autonomic,Distributed Object Store，即牢靠的、自动化的、分布式的对象存储）

  这就是一个残缺的对象存储系统，所有存储在Ceph零碎中的用户数据事实上最终都是由这一层来存储的。而Ceph的高牢靠、高可扩大、高性能、高自动化等等个性实质上也是由这一层所提供的。因而，了解RADOS是了解Ceph的根底与要害。物理上，RADOS由大量的存储设备节点组层，每个节点领有本人的硬件资源（CPU、内存、硬盘、网络），并运行着操作系统和文件系统。

• 根底库librados

  这层的性能是对RADOS进行形象和封装，并向下层提供API，以便间接基于RADOS（而不是整个Ceph）进行利用开发。特地要留神的是，RADOS是一个对象存储系统，因而，librados实现的API也只是针对对象存储性能的。RADOS采纳C++开发，所提供的原生librados API包含C和C++两种。物理上，librados和基于其上开发的利用位于同一台机器，因此也被称为本地API。利用调用本机上的librados API，再由后者通过socket与RADOS集群中的节点通信并实现各种操作。

• 高层利用接口

  这层包含了三个局部：RADOS GW（RADOS Gateway）、 RBD（Reliable Block Device）和Ceph FS（Ceph File System），其作用是在librados库的根底上提供抽象层次更高、更便于利用或客户端应用的下层接口。其中，RADOS GW是一个提供与Amazon S3和Swift兼容的RESTful API的gateway，以供相应的对象存储利用开发应用。RADOS GW提供的API抽象层次更高，但性能则不如librados弱小。因而，开发者应针对本人的需要抉择应用。RBD则提供了一个规范的块设施接口，罕用于在虚拟化的场景下为虚拟机创立volume。目前，Red Hat曾经将RBD驱动集成在KVM/QEMU中，以进步虚拟机拜访性能。Ceph FS是一个POSIX兼容的分布式文件系统( POSIX示意可移植操作系统接口, 定义了操作系统与应用程序交互的接口标准, linux和windows都要实现根本的posix规范, 程序在源代码级别就能实现可移植性)。因为还处在开发状态，因此Ceph官网并不举荐将其用于生产环境中。

• 应用层

  这层是不同场景下对于Ceph各个利用接口的各种利用形式，例如基于librados间接开发的对象存储利用，基于RADOS GW开发的对象存储利用，基于RBD实现的云硬盘等等。在上文的介绍中，有一个中央可能容易引起困惑：RADOS本身既然曾经是一个对象存储系统，并且也能够提供librados API，为何还要再独自开发一个RADOS GW？

  了解这个问题，事实上有助于了解RADOS的实质，因而有必要在此加以分析。粗看起来，librados和RADOS GW的区别在于，librados提供的是本地API，而RADOS GW提供的则是RESTfulAPI，二者的编程模型和理论性能不同。而更进一步说，则和这两个不同抽象层次的指标利用场景差别无关。换言之，尽管RADOS和S3、Swift同属分布式对象存储系统，但RADOS提供的性能更为根底和底层、操作接口也更为丰盛。这一点能够通过比照看出。

  因为Swift和S3反对的API性能近似，这里以Swift举例说明。Swift提供的API性能次要包含：

  • 用户治理操作：用户认证、获取账户信息、列出容器列表等；
  • 容器治理操作：创立/删除容器、读取容器信息、列出容器内对象列表等；
  • 对象治理操作：对象的写入、读取、复制、更新、删除、拜访许可设置、元数据读取或更新等。

2. 逻辑架构

Ceph Client 是 Ceph 文件系统的用户。
Ceph Metadata Daemon 提供了元数据服务器。
Ceph Object Storage Daemon 提供了理论存储（对数据和元数据两者）。
Ceph Monitor 提供了集群治理。

3. Ceph 专业术语

• OSD: Ceph的对象存储设备，OSD守护过程的性能是存储数据，解决数据的复制、复原、回填、再平衡，并通过查看其余OSD守护过程的心跳来向Ceph Monitors 提供一些监控信息。个别状况下一块硬盘对应一个OSD，由OSD来对硬盘存储进行治理，一个磁盘分区也能够成为一个OSD。
• Monitors: Ceph监视器，Monitor保护着展现集群状态的各种图表，包含监视器图、OSD图、归置组（PG）图、和CRUSH图。Ceph保留着产生在Monitors、OSD和PG上的每一次状态变更的历史信息（称为epoch）。
• PG：Ceph归置组，因为Object的数量很多，所以Ceph引入了PG的概念用于治理Object，每个Object最初都会通过CRUSH计算映射到某个PG中，一个PG能够蕴含多个Object。
• MDSs: Ceph元数据服务器（MDS），为Ceph文件系统存储元数据。元数据服务器使得POSIX文件系统的用户们，能够在不对 Ceph 存储集群造成累赘的前提下，执行诸如 ls、find 等根本命令。
• CephFS: Ceph文件系统，CephFS提供了一个任意大小且兼容POSIX的分布式文件系统。CephFS依赖MDS来跟踪文件层次结构，即元数据。
• RADOS: Reliable Autonomic Distributed Object Store，示意牢靠、主动、分布式的对象存储。Ceph中的一切都是以对象模式存储，RADOS就负责存储这些对象，RADOS层确保数据一致性和可靠性。对于数据一致性，它执行数据复制、故障检测和复原，还包含数据在集群节点间的迁徙和再均衡。
• Librados：librados库是一种用来简化拜访RADOS的办法，目前反对PHP、Python、Ruby、Java、Python、C和C++语言。librados是RBD和RGW的根底，并为CephFS提供POSIX接口。
• RBD：Ceph 的块设施，它对外提供块存储，能够被映射、格式化进而像其余磁盘一样挂载到服务器。
• RGW/RADOSGW：Ceph 对象网关，它提供了一个兼容S3和Swift的restful API接口。
• • *
    本文由mirson创作分享，如需进一步交换，请加QQ群：19310171或拜访www.softart.cn