关于java:Ceph分布式存储实践应用之整体设计

41次阅读

共计 2617 个字符,预计需要花费 7 分钟才能阅读完成。

1. Ceph 整体设计

  • 根底存储系统 RADOS(Reliable, Autonomic,Distributed Object Store,即牢靠的、自动化的、分布式的对象存储)

    这就是一个残缺的对象存储系统,所有存储在 Ceph 零碎中的用户数据事实上最终都是由这一层来存储的。而 Ceph 的高牢靠、高可扩大、高性能、高自动化等等个性实质上也是由这一层所提供的。因而,了解 RADOS 是了解 Ceph 的根底与要害。物理上,RADOS 由大量的存储设备节点组层,每个节点领有本人的硬件资源(CPU、内存、硬盘、网络),并运行着操作系统和文件系统。

  • 根底库 librados

    这层的性能是对 RADOS 进行形象和封装,并向下层提供 API,以便间接基于 RADOS(而不是整个 Ceph)进行利用开发。特地要留神的是,RADOS 是一个对象存储系统,因而,librados 实现的 API 也只是针对对象存储性能的。RADOS 采纳 C ++ 开发,所提供的原生 librados API 包含 C 和 C ++ 两种。物理上,librados 和基于其上开发的利用位于同一台机器,因此也被称为本地 API。利用调用本机上的 librados API,再由后者通过 socket 与 RADOS 集群中的节点通信并实现各种操作。

  • 高层利用接口

    这层包含了三个局部:RADOS GW(RADOS Gateway)、RBD(Reliable Block Device)和 Ceph FS(Ceph File System),其作用是在 librados 库的根底上提供抽象层次更高、更便于利用或客户端应用的下层接口。其中,RADOS GW 是一个提供与 Amazon S3 和 Swift 兼容的 RESTful API 的 gateway,以供相应的对象存储利用开发应用。RADOS GW 提供的 API 抽象层次更高,但性能则不如 librados 弱小。因而,开发者应针对本人的需要抉择应用。RBD 则提供了一个规范的块设施接口,罕用于在虚拟化的场景下为虚拟机创立 volume。目前,Red Hat 曾经将 RBD 驱动集成在 KVM/QEMU 中,以进步虚拟机拜访性能。Ceph FS 是一个 POSIX 兼容的分布式文件系统 (POSIX 示意可移植操作系统接口, 定义了操作系统与应用程序交互的接口标准, linux 和 windows 都要实现根本的 posix 规范, 程序在源代码级别就能实现可移植性)。因为还处在开发状态,因此 Ceph 官网并不举荐将其用于生产环境中。

  • 应用层

    这层是不同场景下对于 Ceph 各个利用接口的各种利用形式,例如基于 librados 间接开发的对象存储利用,基于 RADOS GW 开发的对象存储利用,基于 RBD 实现的云硬盘等等。在上文的介绍中,有一个中央可能容易引起困惑:RADOS 本身既然曾经是一个对象存储系统,并且也能够提供 librados API,为何还要再独自开发一个 RADOS GW?

    了解这个问题,事实上有助于了解 RADOS 的实质,因而有必要在此加以分析。粗看起来,librados 和 RADOS GW 的区别在于,librados 提供的是本地 API,而 RADOS GW 提供的则是 RESTfulAPI,二者的编程模型和理论性能不同。而更进一步说,则和这两个不同抽象层次的指标利用场景差别无关。换言之,尽管 RADOS 和 S3、Swift 同属分布式对象存储系统,但 RADOS 提供的性能更为根底和底层、操作接口也更为丰盛。这一点能够通过比照看出。

    因为 Swift 和 S3 反对的 API 性能近似,这里以 Swift 举例说明。Swift 提供的 API 性能次要包含:

    • 用户治理操作:用户认证、获取账户信息、列出容器列表等;
    • 容器治理操作:创立 / 删除容器、读取容器信息、列出容器内对象列表等;
    • 对象治理操作:对象的写入、读取、复制、更新、删除、拜访许可设置、元数据读取或更新等。

2. 逻辑架构


Ceph Client 是 Ceph 文件系统的用户。
Ceph Metadata Daemon 提供了元数据服务器。
Ceph Object Storage Daemon 提供了理论存储(对数据和元数据两者)。
Ceph Monitor 提供了集群治理。

3. Ceph 专业术语

  • OSD: Ceph 的对象存储设备,OSD 守护过程的性能是存储数据,解决数据的复制、复原、回填、再平衡,并通过查看其余 OSD 守护过程的心跳来向 Ceph Monitors 提供一些监控信息。个别状况下一块硬盘对应一个 OSD,由 OSD 来对硬盘存储进行治理,一个磁盘分区也能够成为一个 OSD。
  • Monitors: Ceph 监视器,Monitor 保护着展现集群状态的各种图表,包含监视器图、OSD 图、归置组(PG)图、和 CRUSH 图。Ceph 保留着产生在 Monitors、OSD 和 PG 上的每一次状态变更的历史信息(称为 epoch)。
  • PG:Ceph 归置组,因为 Object 的数量很多,所以 Ceph 引入了 PG 的概念用于治理 Object,每个 Object 最初都会通过 CRUSH 计算映射到某个 PG 中,一个 PG 能够蕴含多个 Object。
  • MDSs: Ceph 元数据服务器(MDS),为 Ceph 文件系统存储元数据。元数据服务器使得 POSIX 文件系统的用户们,能够在不对 Ceph 存储集群造成累赘的前提下,执行诸如 ls、find 等根本命令。
  • CephFS: Ceph 文件系统,CephFS 提供了一个任意大小且兼容 POSIX 的分布式文件系统。CephFS 依赖 MDS 来跟踪文件层次结构,即元数据。
  • RADOS: Reliable Autonomic Distributed Object Store,示意牢靠、主动、分布式的对象存储。Ceph 中的一切都是以对象模式存储,RADOS 就负责存储这些对象,RADOS 层确保数据一致性和可靠性。对于数据一致性,它执行数据复制、故障检测和复原,还包含数据在集群节点间的迁徙和再均衡。
  • Librados:librados 库是一种用来简化拜访 RADOS 的办法,目前反对 PHP、Python、Ruby、Java、Python、C 和 C ++ 语言。librados 是 RBD 和 RGW 的根底,并为 CephFS 提供 POSIX 接口。
  • RBD:Ceph 的块设施,它对外提供块存储,能够被映射、格式化进而像其余磁盘一样挂载到服务器。
  • RGW/RADOSGW:Ceph 对象网关,它提供了一个兼容 S3 和 Swift 的 restful API 接口。
    • *
      本文由 mirson 创作分享,如需进一步交换,请加 QQ 群:19310171 或拜访 www.softart.cn
正文完
 0