乐趣区

关于java:Ceph分布式存储实践应用之Ceph性能调优

1. 系统配置调优

  1. 设置磁盘的预读缓存

    echo "8192" > /sys/block/sda/queue/read_ahead_kb 
  2. 设置零碎的过程数量

    echo 4194303 > /proc/sys/kernel/pid_max
  3. 调整 CPU 性能

    留神:虚拟机和局部硬件 CPU 可能不反对调整。

    1)确保装置了内核调整工具:

    yum -y install kernel-tools

    2)调整为性能模式

    能够针对每个外围做调整:

    echo performance > /sys/devices/system/cpu/cpu${i}/cpufreq/scaling_governor

    或者通过 CPU 工具进行调整:

    cpupower frequency-set -g performance

    反对五种运行模式调整:

    performance:只重视效率,将 CPU 频率固定工作在其反对的最高运行频率上,该模式是对系统高性能的最大谋求。

    powersave:将 CPU 频率设置为最低的所谓“省电”模式,CPU 会固定工作在其反对的最低运行频率上,该模式是对系统低功耗的最大谋求。

    userspace:零碎将变频策略的决策权交给了用户态应用程序,并提供相应接口供用户态应用程序调节 CPU 运行频率应用。

    ondemand: 按需疾速动静调整 CPU 频率,一有 cpu 计算量的工作,就会立刻达到最大频率运行,等执行结束就立刻回到最低频率。

    conservative:它是平滑地调整 CPU 频率,频率的升降是突变式的, 会主动在频率上上限调整,和 ondemand 模式的次要区别在于它会按需渐进式调配频率,而不是一味谋求最高频率.。

    3) 局部硬件可能不反对,调整会呈现如下谬误:

    [root@CENTOS7-1 ~]# cpupower frequency-set -g performance
    Setting cpu: 0
    Error setting new values. Common errors:
    - Do you have proper administration rights? (super-user?)
    - Is the governor you requested available and modprobed?
    - Trying to set an invalid policy?
    - Trying to set a specific frequency, but userspace governor is not available,
       for example because of hardware which cannot be set to a specific frequency
       or because the userspace governor isn't loaded?
  4. 优化网络参数

    批改配置文件:

    vi  /etc/sysctl.d/ceph.conf 

    配置内容:

    net.ipv4.tcp_rmem = 4096 87380 16777216
    net.ipv4.tcp_wmem = 4096 16384 16777216
    net.core.rmem_max = 16777216
    net.core.wmem_max = 16777216

    执行失效:

    sysctl -p /etc/sysctl.d/ceph.conf

2. Ceph 集群优化配置

  1. Ceph 的次要配置参数

    FILESTORE 配置参数:

| 参数名 | 形容 | 默认值 | 倡议值 |
| ———————————— | ———————————————————— | ——— | ———– |
| filestore xattr use omap | 为 XATTRS 应用 object map,EXT4 文件系统时应用,XFS 或者 btrfs 也能够应用 | false | true |
| filestore max sync interval | 从日志到数据盘最大同步距离 (seconds) | 5 | 15 |
| filestore min sync interval | 从日志到数据盘最小同步距离 (seconds) | 0.1 | 10 |
| filestore queue max ops | 数据盘最大承受的操作数 | 500 | 25000 |
| filestore queue max bytes | 数据盘一次操作最大字节数 (bytes) | 100 << 20 | 10485760 |
| filestore queue committing max ops | 数据盘可能 commit 的操作数 | 500 | 5000 |
| filestore queue committing max bytes | 数据盘可能 commit 的最大字节数 (bytes) | 100 << 20 | 10485760000 |
| ilestore op threads | 并发文件系统操作数 | 2 | 32 |

journal 配置参数:

| 参数名 | 形容 | 默认值 | 倡议值 |
| ————————- | —————————————- | ——– | ———– |
| osd journal size | OSD 日志大小 (MB) | 5120 | 20000 |
| journal max write bytes | journal 一次性写入的最大字节数 (bytes) | 10 << 20 | 1073714824 |
| journal max write entries | journal 一次性写入的最大记录数 | 100 | 10000 |
| journal queue max ops | journal 一次性最大在队列中的操作数 | 500 | 50000 |
| journal queue max bytes | journal 一次性最大在队列中的字节数 (bytes) | 10 << 20 | 10485760000 |

osd config tuning 配置参数:

| 参数名 | 形容 | 默认值 | 倡议值 |
| ————————— | —————————————- | ——— | ———- |
| osd max write size | OSD 一次可写入的最大值 (MB) | 90 | 512 |
| osd client message size cap | 客户端容许在内存中的最大数据 (bytes) | 524288000 | 2147483648 |
| osd deep scrub stride | 在 Deep Scrub 时候容许读取的字节数 (bytes) | 524288 | 131072 |
| osd op threads | OSD 过程操作的线程数 | 2 | 8 |
| osd disk threads | OSD 密集型操作例如复原和 Scrubbing 时的线程 | 1 | 4 |
| osd map cache size | 保留 OSD Map 的缓存 (MB) | 500 | 1024 |
| osd map cache bl size | OSD 过程在内存中的 OSD Map 缓存 (MB) | 50 | 128 |

osd – recovery tuning 配置参数:

| 参数名 | 形容 | 默认值 | 倡议值 |
| ———————— | ——————————————– | —— | —— |
| osd recovery op priority | 复原操作优先级,取值 1 -63,值越高占用资源越高 | 10 | 4 |
| osd recovery max active | 同一时间内沉闷的复原申请数 | 15 | 10 |
| osd max backfills | 一个 OSD 容许的最大 backfills 数 | 10 | 4 |

osd – client tuning 配置参数:

| 参数名 | 形容 | 默认值 | 倡议值 |
| ———————– | ———————————————————— | ——– | ——— |
| rbd cache | RBD 缓存 | true | true |
| rbd cache size | RBD 缓存大小 (bytes) | 33554432 | 268435456 |
| rbd cache max dirty | 缓存为 write-back 时容许的最大 dirty 字节数 (bytes),如果为 0,应用 write-through | 25165824 | 134217728 |
| rbd cache max dirty age | 在被刷新到存储盘前 dirty 数据存在缓存的工夫 (seconds) | 1 | 5 |

  1. 优化配置示例

    [global]# 全局设置
    fsid = xxxxxxxxxxxxxxx                           #集群标识 ID 
    mon initial members = CENTOS7-1, CENTOS7-2, CENTOS7-3  #初始 monitor (由创立 monitor 命令而定)
    mon host = 10.10.20.11,10.10.20.12,10.10.20.13         #monitor IP 地址
    auth cluster required = cephx                    #集群认证
    auth service required = cephx                           #服务认证
    auth client required = cephx                            #客户端认证
    osd pool default size = 2                             #默认正本数设置 默认是 3
    osd pool default min size = 1                           #PG 处于 degraded 状态不影响其 IO 能力,min_size 是一个 PG 能承受 IO 的最小正本数
    public network = 10.10.20.0/24                            #公共网络 (monitorIP 段) 
    cluster network = 10.10.20.0/24                           #集群网络
    max open files = 131072                                 #默认 0# 如果设置了该选项,Ceph 会设置零碎的 max open fds
    
    ##############################################################
    [mon]
    mon data = /var/lib/ceph/mon/ceph-$id
    mon clock drift allowed = 1                             #默认值 0.05 #monitor 间的 clock drift
    mon osd min down reporters = 13                         #默认值 1 #向 monitor 报告 down 的最小 OSD 数
    mon osd down out interval = 600      #默认值 300 #标记一个 OSD 状态为 down 和 out 之前 ceph 期待的秒数
    ##############################################################
    [osd]
    osd data = /var/lib/ceph/osd/ceph-$id
    osd journal size = 20000                                #默认 5120  #osd journal 大小
    osd journal = /var/lib/ceph/osd/$cluster-$id/journal    #osd journal 地位
    osd mkfs type = xfs                                     #格式化零碎类型
    osd max write size = 512                   #默认值 90 #OSD 一次可写入的最大值 (MB)
    osd client message size cap = 2147483648   #默认值 100    #客户端容许在内存中的最大数据 (bytes)
    osd deep scrub stride = 131072                      #默认值 524288  #在 Deep Scrub 时候容许读取的字节数 (bytes)
    osd op threads = 16                                         #默认值 2 #并发文件系统操作数
    osd disk threads = 4                                         #默认值 1 #OSD 密集型操作例如复原和 Scrubbing 时的线程
    osd map cache size = 1024                              #默认值 500                 #保留 OSD Map 的缓存 (MB)
    osd map cache bl size = 128                            #默认值 50                #OSD 过程在内存中的 OSD Map 缓存 (MB)
    osd mount options xfs = "rw,noexec,nodev,noatime,nodiratime,nobarrier"   #默认值 rw,noatime,inode64  #Ceph OSD xfs Mount 选项
    osd recovery op priority = 2                 #默认值 10              #复原操作优先级,取值 1 -63,值越高占用资源越高
    osd recovery max active = 10              #默认值 15              #同一时间内沉闷的复原申请数 
    osd max backfills = 4                           #默认值 10                  #一个 OSD 容许的最大 backfills 数
    osd min pg log entries = 30000           #默认值 3000           #建筑 PGLog 是保留的最大 PGLog 数
    osd max pg log entries = 100000         #默认值 10000         #建筑 PGLog 是保留的最大 PGLog 数
    osd mon heartbeat interval = 40           #默认值 30            #OSD ping 一个 monitor 的工夫距离(默认 30s)ms dispatch throttle bytes = 1048576000 #默认值 104857600 #期待差遣的最大音讯数
    objecter inflight ops = 819200                   #默认值 1024           #客户端流控,容许的最大未发送 io 申请数,超过阀值会梗塞利用 io,为 0 示意不受限
    osd op log threshold = 50                            #默认值 5                  #一次显示多少操作的 log
    osd crush chooseleaf type = 0                       #默认值为 1              #CRUSH 规定用到 chooseleaf 时的 bucket 的类型
    filestore xattr use omap = true                         #默认 false# 为 XATTRS 应用 object map,EXT4 文件系统时应用,XFS 或者 btrfs 也能够应用
    filestore min sync interval = 10                          #默认 0.1# 从日志到数据盘最小同步距离 (seconds)
    filestore max sync interval = 15                          #默认 5# 从日志到数据盘最大同步距离 (seconds)
    filestore queue max ops = 25000                        #默认 500# 数据盘最大承受的操作数
    filestore queue max bytes = 1048576000            #默认 100   #数据盘一次操作最大字节数 (bytes
    filestore queue committing max ops = 50000       #默认 500     #数据盘可能 commit 的操作数
    filestore queue committing max bytes = 10485760000 #默认 100 #数据盘可能 commit 的最大字节数 (bytes)
    filestore split multiple = 8                                               #默认值 2         #前一个子目录决裂成子目录中的文件的最大数量
    filestore merge threshold = 40                                        #默认值 10       #前一个子类目录中的文件合并到父类的最小数量
    filestore fd cache size = 1024                                         #默认值 128              #对象文件句柄缓存大小
    filestore op threads = 32                                                  #默认值 2                    #并发文件系统操作数
    journal max write bytes = 1073714824                           #默认值 1048560    #journal 一次性写入的最大字节数 (bytes)
    journal max write entries = 10000                                   #默认值 100         #journal 一次性写入的最大记录数
    journal queue max ops = 50000                                      #默认值 50            #journal 一次性最大在队列中的操作数
    journal queue max bytes = 10485760000                       #默认值 33554432   #journal 一次性最大在队列中的字节数 (bytes)
    ##############################################################
    [client]
    rbd cache = true       #默认值 true      #RBD 缓存
    rbd cache size = 335544320       #默认值 33554432           #RBD 缓存大小 (bytes)
    rbd cache max dirty = 134217728     #默认值 25165824      #缓存为 write-back 时容许的最大 dirty 字节数 (bytes),如果为 0,应用 write-through
    rbd cache max dirty age = 30     #默认值 1                #在被刷新到存储盘前 dirty 数据存在缓存的工夫 (seconds)
    rbd cache writethrough until flush = false     #默认值 true  #该选项是为了兼容 linux-2.6.32 之前的 virtio 驱动,防止因为不发送 flush 申请,数据不回写
    #设置该参数后,librbd 会以 writethrough 的形式执行 io,直到收到第一个 flush 申请,才切换为 writeback 形式。rbd cache max dirty object = 2     #默认值 0              #最大的 Object 对象数,默认为 0,示意通过 rbd cache size 计算失去,librbd 默认以 4MB 为单位对磁盘 Image 进行逻辑切分
    #每个 chunk 对象形象为一个 Object;librbd 中以 Object 为单位来治理缓存,增大该值能够晋升性能
    rbd cache target dirty = 235544320   #默认值 16777216    #开始执行回写过程的脏数据大小,不能超过 rbd_cache_max_dirty

3. 调优最佳实际

  1. MON 倡议

    Ceph 集群的部署必须要正确布局,MON 性能对集群总体性能至关重要。MON 通常应位于专用节点上。为确保正确仲裁,MON 的数量该当为奇数。

  2. OSD 倡议

    每一 个 Ceph OSD 都具备日志。OSD 的日志和数据可能会搁置于同一存储设备上。当写操作提交至 PG 中所有 OSD 的日志后,标记写操作曾经实现。因而,更快的日志性能能够改良响应工夫。

    在典型的部署中,OSD 应用提早较高的传统机械硬盘。为最大化效率,Ceph 倡议将独自的低提早 SSD 或 NVMe 设施用于 OSD 日志。管理员必须审慎,不可将过多 OSD 日志放在同一设施上,因为这可能会成为性能瓶颈。应思考以下 SSD 规格的影响:

    • 受反对写入次数的均匀故障间隔时间 (MTBF)
    • IOPS 能力
    • 数据传输速率
    • 总线 /SSD 耦合能力

    Red Hat 倡议每个 SATA SSD 设施不超过 6 个 OSD 日志,或者每个 NVMe 设施不超过 12 个 OSD 日志。

  3. RBD 倡议

    RBD 块设施上的工作负载通常是 I/O 密集型负载,例如在 OpenStack 中虚拟机上运行的数据库。对于 RBD,OSD 日志该当位于 SSD 或 NVMe 设施上。对于后端存储,能够依据用于反对 OSD 的存储技术(即 NVMe SSD、SATA SSD 或 HDD),提供不同的服务级别。

  4. 对象网关倡议

    Ceph 对象网关上的工作负载通常是吞吐密集型负载。如果是音频和视频材料,可能会十分大。不过,bucket 索引池可能会显示更多的 I/O 密集型工作负载模式。管理员该当将这个池存储在 SSD 设施上。

    Ceph 对象网关为每个 bucket 保护一个索引,Ceph 将这一索引存储在一个 RADOS 对象中。当 bucket 一直增长,数量微小时(超过 100,000 个),索引性能会升高(因为只有一个 RADOS 对象参加所有索引操作)。

    为此,Ceph 能够在多个 RADOS 对象或者是分片 中保留大型索引。管理员能够通过在 ceph.conf 配置文件中设置 rgw_override_bucket_index_max_shards 配置参数来启用这项性能。此参数的倡议值是 bucket 中预计对象数量除以 100,000。

  5. CephFs 倡议

    寄存目录构造和其余索引的元数据池可能会成为 CephFS 的瓶颈。能够将 SSD 设施用于这个池。

    每一个 CephFS 元数据服务器 (MDS) 会保护一个内存中缓存,用于索引节点等不同品种的我的项目。Ceph 应用 mds_cache_memory_limit 配置参数限度这一缓存的大小。其默认值以相对字节数示意,等于 1 GB,能够在须要时调优。


本文由 mirson 创作分享,如需进一步交换,请加 QQ 群:19310171 或拜访 www.softart.cn

退出移动版