关于程序员:分布式存储-GlusterFS-介绍与部署

1.glusterfs概述

GlusterFS零碎是一个可扩大的网络文件系统，相比其余分布式文件系统，GlusterFS具备高扩展性、高可用性、高性能、可横向扩大等特点，并且其没有元数据服务器的设计，让整个服务没有单点故障的隐患。当客户端拜访GlusterFS存储时，首先程序通过拜访挂载点的模式读写数据，对于用户和程序而言，集群文件系统是通明的，用户和程序基本感觉不到文件系统是本地还是在近程服务器上。读写操作将会被交给VFS(Virtual File System)来解决，VFS会将申请交给FUSE内核模块，而FUSE又会通过设施/dev/fuse将数据交给GlusterFS Client。最初通过GlusterFS Client的计算，并最终通过网络将申请或数据发送到GlusterFS Server上。

2.glusterfs罕用分布式简介

分布式卷也看成为哈希卷，多个文件以文件为单位在多个brick上，应用哈希算法随机存储。

利用场景：大量小文件
长处：读/写性能好
毛病：如果存储或服务器故障，该brick上的数据将失落
不指定卷类型，默认是分布式卷
brick数量没有限度

创立分布式卷命令：

gluster volume create volume_name node1:/data/br1 node2:/data/br1

复制卷是将多个文件在多个brick上复制多份，brick的数目要与须要复制的份数相等，倡议brick散布在不同的服务器上。

利用场景：对可靠性高和读写性能要求高的场景
长处：读写性能好
毛病：写性能差
replica = brick

创立复制卷：

gluster volume create volume_name replica 2 node1:/data/br1 node2:/data/br1

replica：文件保留的份数

条带卷是将文件分成条带，寄存在多个brick上，默认条带大小128k

利用场景：大文件
长处：实用于大文件存储
毛病：可靠性低，brick故障会导致数据全副失落
stripe = birck
stripe：条带个数创立条带卷：

gluster volume create volume_name stripe 2 node1:/data/br1 node2:/data/br1

分布式条带卷是将多个文件在多个节点哈希存储，每个文件再多分条带在多个brick上存储

利用场景：读/写性能高的大量大文件场景
长处：高并发反对
毛病：没有冗余，可靠性差
brick数是stripe的倍数

创立分布式条带卷：

gluster volume create volume_name stripe 2 node1:/data/br1 node2:/data/br1 node3:/data/br1 node4:/data/br1

分布式复制卷是将多个文件在多个节点上哈希存储，在多个brick复制多份存储。

利用场景：大量文件读和可靠性要求高的场景
长处：高牢靠，读性能高
毛病：就义存储空间，写性能差
brick数量是replica的倍数

gluster volume create volume_name replica 2 node1:/data/br1 node2:/data/br1 node3:/data/br1 node4:/data/br1

条带式复制卷是将一个大文件存储的时候划分条带，并且保留多份

利用场景：超大文件，并且对可靠性要求高
长处：大文件存储，可靠性高
毛病：就义空间写性能差
brick数量是stripe、replica的乘积

gluster volume create volume_name stripe 2 replica 2 node1:/data/br1 node2:/data/br1 node3:/data/br1 node4:/data/br1

3.glusterfs环境

日志存储集群采纳的是分布式复制卷，将多个文件在多个节点上哈希存储，在多个brick复制多份存储。共有五台服务器，磁盘空间共有90T，那么采纳这种分布式复制卷的形式，只有45T磁盘空间可用。并且须要采纳分布式复制卷形式须要要有单数的brick，所以现采纳一台服务器上创立两个brick，如上图所示，10.102.23.4:/data_01/node和10.102.23.44:/data_01/node是备份关系，其余节点均是如此，10.102.23.44作为日志存储集群的治理节点，nfs-ganesha服务只须要装置在管制节点，客户端则能够通过nfs形式挂载。

# sed -i 's#SELINUX=enforcing#SELINUX=disabled#' /etc/sysconfig/selinux #敞开selinux# iptables -F #革除防火墙规定

装置glusterfs(01-05)

# yum install userspace-rcu-*# yum install python2-gluster-3.13.2-2.el7.x86_64.rpm# yum install tcmu-runner-* libtcmu-*# yum install gluster*# yum install nfs-ganesha-*#这个nfs只有须要对外挂载的哪台服务器须要装置（10.102.23.44）# systemctl start glusterd.service #所有服务器启动glusterd# systemctl start rpcbind# systemctl enable glusterd.service# systemctl enable rpcbind# ss -lnt #查问端口是否有为24007，如果有则服务失常运行

创立集群(在10.102.23.44节点上执行一下操作，向集群中增加节点):

[root@admin-node ~]# gluster peer probe 10.102.23.44peer probe: success. [root@admin-node ~]# gluster peer probe 10.102.23.45peer probe: success.[root@admin-node ~]# gluster peer probe 10.102.23.46peer probe: success.[root@admin-node ~]# gluster peer probe 10.102.23.47peer probe: success.[root@admin-node ~]# gluster peer probe 10.102.23.4peer probe: success.

查看虚拟机信赖状态增加后果

[root@admin-node ~]# gluster peer statusNumber of Peers: 4Hostname: 10.102.23.46Uuid: 31b5ecd4-c49c-4fa7-8757-c01604ffcc7eState: Peer in Cluster (Connected)Hostname: 10.102.23.47Uuid: 38a7fda9-ad4a-441a-b28f-a396b09606afState: Peer in Cluster (Connected)Hostname: 10.102.23.45Uuid: 9e3cfb56-1ed4-4daf-9d20-ad4bf2cefb37State: Peer in Cluster (Connected)Hostname: 10.102.23.4Uuid: 1836ae9a-eca5-444f-bb9c-20f032247bcbState: Peer in Cluster (Connected)

在所有节点进行以下磁盘操作：

[root@admin-node ~]# fdisk /dev/sdb

创立卷组:

[root@admin-node ~]# vgcreate vg_data01 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1[root@admin-node ~]# vgcreate vg_data02 /dev/sdg1 /dev/sdh1 /dev/sdi1 /dev/sdj1 /dev/sdk1

查看卷组:

[root@admin-node ~]# vgdisplay

创立逻辑卷:

[root@admin-node ~]# lvcreate -n lv_data01 -L 9TB vg_data01[root@admin-node ~]# lvcreate -n lv_data02 -L 9TB vg_data02

查看逻辑卷:

[root@admin-node ~]# lvdisplay

格式化逻辑卷:

[root@admin-node ~]# mkfs.xfs /dev/vg_data01/lv_data01[root@admin-node ~]# mkfs.xfs /dev/vg_data02/lv_data02

挂载逻辑卷:

[root@admin-node ~]# mkdir -p /data_01/node /data_02/node[root@admin-node ~]# vim /etc/fstab/dev/vg_data01/lv_data01 /data_01 xfs defaults 0 0/dev/vg_data02/lv_data02 /data_02 xfs defaults 0 0[root@admin-node ~]# mount /data_01[root@admin-node ~]# mount /data_02

分布式复制模式（组合型）, 起码须要4台服务器能力创立。

创立卷:

[root@admin-node ~]# gluster volume create data-volume replica 2   10.102.23.4:/data_01/node  10.102.23.44:/data_01/node  10.102.23.44:/data_02/node 10.102.23.45:/data_02/node  10.102.23.45:/data_01/node  10.102.23.4:/data_02/node 10.102.23.46:/data_01/node  10.102.23.47:/data_01/node  10.102.23.46:/data_02/node  10.102.23.47:/data_02/node force

启动创立的卷:

[root@admin-node ~]# gluster volume start data-volumevolume start: data-volume: success所有机器都能够查看:[root@admin-node ~]# gluster volume info

查看分布式卷的状态：

[root@admin-node ~]# gluster volume status

基于以上glusterfs部署，glusterfs分布式复制卷曾经实现

4.nfs-ganesha环境搭建

glusterfs服务自身也是反对nfs挂载，因为现有生产环境存在多个网段，并且有些网段与glusterfs存储服务器网段是不通，所以须要通过nginx代理nfs来实现nfs挂载。Glusterfs服务只是反对nfs3版本的挂载，在通过nginx代理方面也不是那么不便，端口繁多，所以glusterfs与NFSs-Ganesha是完满组合。NFSs-Ganesha 通过FSAL(文件系统形象层)将一个后端存储形象成一个对立的API，提供给Ganesha服务端，而后通过NFS协定将其挂载到客户端。在客户端上对挂进去的空间进行操作。并且NFSs-Ganesha 能够指定nfs的版本。

在治理节点10.102.23.44上装置nfs-ganesha，在一开始部署glusterfs已在治理节点上装置，这里就不反复阐明了，间接简要阐明配置文件

[root@admin-node ~]# vim /etc/ganesha/ganesha.conf.....................................EXPORT{## Export Id (mandatory, each EXPORT must have a unique Export_Id)#Export_Id = 12345;Export_Id = 10;## Exported path (mandatory)#Path = /nonexistant;Path = /data01;## Pseudo Path (required for NFSv4 or if mount_path_pseudo = true)#Pseudo = /nonexistant;Pseudo = /data01; #客户端通过nfs挂载的根目录## Restrict the protocols that may use this export. This cannot allow## access that is denied in NFS_CORE_PARAM.#Protocols = 3,4;Protocols = 4; #客户端nfs挂载的版本## Access type for clients. Default is None, so some access must be## given. It can be here, in the EXPORT_DEFAULTS, or in a CLIENT block#Access_Type = RW;Access_Type = RW; #权限问题## Whether to squash various users.#Squash = root_squash;Squash = No_root_squash; #root降级## Allowed security types for this export#Sectype = sys,krb5,krb5i,krb5p;Sectype = sys; #类型## Exporting FSAL#FSAL {#Name = VFS;#}FSAL {Name = GLUSTER;hostname = "10.102.23.44"; #glusterfs治理节点IPvolume = "data-volume"; #glusterfs卷名}}...................

[root@admin-node ~]# systemctl restart nfs-ganesha[root@admin-node ~]# systemctl enable nfs-ganesha[root@admin-node ~]# showmount -e 10.102.23.44Export list for 10.102.23.44: #nfs-ganesha搭建胜利

5.客户端挂载

以glusterfs形式挂载:

[root@admin-node ~]# mkdir /logs[root@admin-node ~]# mount -t glusterfs 10.102.23.44:data-volume /logs/

以NFS形式进行挂载：

在客户端(10.1.99段):

[root@moban-00 ~]#yum -y install nfs-utils rpcbind[root@moban-00 ~]# systemctl start rpcbind[root@moban-00 ~]# systemctl enable rpcbind[root@moban-00 ~]# mkdir /home/dwweiyinwen/logs/[root@moban-00 ~]# mount -t nfs -o vers=4,proto=tcp,port=2049 10.102.23.44:/data01 /home/dwweiyinwen/logs/

原文：https://www.jianshu.com/p/4b7...