Curve 是网易主导自研的现代化存储系统, 目前反对文件存储 (CurveFS) 和块存储(CurveBS)。
CurveBS 的外围利用场景次要包含：
- 虚拟机 / 容器的性能型、混合型、容量型云盘或长久化卷，以及物理机的近程存储盘
- 高性能存算拆散架构：基于 RDMA+SPDK 的高性能低时延架构，撑持 MySQL、kafka 等各类数据库、中间件的存算拆散部署架构，晋升实例交付效率和资源利用率
CurveFS 的外围利用场景次要包含：
- AI 训练（含机器学习等）场景下的高性价比存储
- 大数据场景下的冷热数据自动化分层存储
- 私有云上高性价比的共享文件存储：可用于 AI、大数据、文件共享等业务场景
- 混合云存储：热数据存储在本地 IDC，冷数据存储在私有云
应用 CurveAdm 部署 CurveFS
CurveAdm 是 Curve 团队为进步零碎易用性而设计的工具，其次要用于疾速部署和运维 CurveBS/CurveFS 集群。次要个性：
- 疾速部署 CurveBS/CurveFS 集群
- 容器化服务
- 运维 CurveBS/CurveFS 集群
- 同时治理多个集群
- 一键降级
- 谬误精确定位
装置 CurveAdm
bash -c "$(curl -fsSL https://curveadm.nos-eastchina1.126.net/script/install.sh)"主机列表
主机模块用来对立治理用户主机，以缩小用户在各配置文件中反复填写主机 SSH 连贯相干配置。咱们需导入部署集群和客户端所需的机器列表，以便在之后的各类配置文件中填写部署服务的主机名。
这里采纳一台服务器，做单节点集群。
配置免密登陆
生成密钥并配置服务器免密登陆
# 始终回车即可
ssh-keygen
# 应用 ssh-copy-id 配置
ssh-copy-id root@172.31.98.243
# 验证免密
ssh root@172.31.98.243
# 无需输出明码登陆胜利即可导入主机列表
筹备主机列表文件 hosts.yaml
$ vim hosts.yaml
global:
user: root # ssh 免密登陆用户名
ssh_port: 22 # ssh 端口
private_key_file: /root/.ssh/id_rsa # 密钥门路
hosts:
- host: curve
hostname: 172.31.98.243导入主机列表
$ curveadm hosts commit hosts.yaml查看主机列表
$ curveadm hosts ls筹备集群拓扑文件
CurveFS 反对单机部署和高可用部署，这里咱们采纳单机部署验证。
创立 topology.yaml 文件，只需批改 target: curve，其余都默认即可。
$ vim topology.yaml
kind: curvefs
global:
report_usage: true
data_dir: ${home}/curvefs/data/${service_role}${service_host_sequence}
log_dir: ${home}/curvefs/logs/${service_role}${service_host_sequence}
container_image: opencurvedocker/curvefs:v2.4
variable:
home: /tmp
target: curve
etcd_services:
config:
listen.ip: ${service_host}
listen.port: 2380${service_host_sequence} # 23800,23801,23802
listen.client_port: 2379${service_host_sequence} # 23790,23791,23792
deploy:
- host: ${target}
- host: ${target}
- host: ${target}
mds_services:
config:
listen.ip: ${service_host}
listen.port: 670${service_host_sequence} # 6700,6701,6702
listen.dummy_port: 770${service_host_sequence} # 7700,7701,7702
deploy:
- host: ${target}
- host: ${target}
- host: ${target}
metaserver_services:
config:
listen.ip: ${service_host}
listen.port: 680${service_host_sequence} # 6800,6801,6802
listen.external_port: 780${service_host_sequence} # 7800,7801,7802
global.enable_external_server: true
metaserver.loglevel: 0
braft.raft_sync: false
deploy:
- host: ${target}
- host: ${target}
- host: ${target}
config:
metaserver.loglevel: 0部署集群
增加 my-cluster 集群，并指定集群拓扑文件
curveadm cluster add my-cluster -f topology.yaml切换 my-cluster 集群为以后治理集群
curveadm cluster checkout my-cluster开始部署集群
$ curveadm deploy
......
Cluster 'my-cluster' successfully deployed ^_^.终端呈现 Cluster 'my-cluster' successfully deployed ^_^. 即部署胜利。
查看集群运行状况
$ curveadm status
Get Service Status: [OK]
cluster name : my-cluster
cluster kind : curvefs
cluster mds addr : 192.168.3.81:6700,192.168.3.81:6701,192.168.3.81:6702
cluster mds leader: 192.168.3.81:6702 / 7f5b7443c563
Id Role Host Replicas Container Id Status
-- ---- ---- -------- ------------ ------
6ae9ac1ae448 etcd curve 1/1 d3ecb4e81318 Up 17 minutes
c45e2f0b9266 etcd curve 1/1 8ce9befa54b8 Up 17 minutes
6c6bde442a04 etcd curve 1/1 cbf093c6605f Up 17 minutes
9516d8f5d9ae mds curve 1/1 f338ec63c493 Up 17 minutes
fe2bf5d8a072 mds curve 1/1 b423c3351256 Up 17 minutes
7f5b7443c563 mds curve 1/1 7ad99cee6b61 Up 17 minutes
e6fe68d23220 metaserver curve 1/1 d4a8662d4ed2 Up 17 minutes
b2b4dbabd7bf metaserver curve 1/1 65d7475e0bc4 Up 17 minutes
426ac76e28f9 metaserver curve 1/1 f413efeeb5c9 Up 17 minutes部署 Rainbond
Rainbond 是一个云原生利用治理平台，应用简略，不须要懂容器、Kubernetes 和底层简单技术，反对治理多个 Kubernetes 集群，和治理企业应用全生命周期。
能够通过一条命令疾速装置 Rainbond 单机版。
curl -o install.sh https://get.rainbond.com && bash ./install.sh执行完上述脚本后，急躁期待 3-5 分钟，能够看到如下日志输入，示意 Rainbond 已启动实现。
INFO: Rainbond started successfully, Please pass http://$EIP:7070 Access Rainbond部署 MinIO
因为目前 CurveFS 只反对 S3 作为后端存储，CurveBS 后端行将反对。所以咱们须要部署一个 MinIO 对象存储。
通过 Rainbond 开源利用商店一键部署单机版 MinIO 或者集群版 MinIO。进入到 Rainbond 的 平台治理 -> 利用市场，在开源利用商店中搜寻 minio 进行一键装置。
部署实现后，通过 Rainbond 提供的域名拜访 MinIO 控制台，默认用户明码 minio/minio123456。而后须要创立一个 Bucket 供 CurveFS 应用。
部署 CurveFS-CSI
- 前提：Rainbond 版本要在 v5.13+
通过 Rainbond 开源利用商店一键部署，进入到 Rainbond 的 平台治理 -> 利用市场，在开源利用商店中搜寻 curve-csi 进行一键装置。
因为 CurveFS-CSI 没有 Rainbond 利用模型类的组件，都属于 k8s 资源类型，可在 利用视图内 -> k8s 资源 下看到。
装置实现后，须要批改 curvefs-csi-cluster-role-binding 和 curvefs-csi-role-binding 的 namespace 为以后团队的 namespace，如以后团队 namespace 为 dev，如下：
# curvefs-csi-role-binding
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
name: curvefs-csi-role-binding
......
subjects:
- kind: ServiceAccount
name: curvefs-csi-service-account
namespace: dev # changed
# curvefs-csi-cluster-role-binding
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: curvefs-csi-cluster-role-binding
......
subjects:
- kind: ServiceAccount
name: curvefs-csi-service-account
namespace: dev # changed创立 storageclass 资源，同样在 利用视图内 -> k8s 资源 -> 增加：
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: curvefs-sc
provisioner: csi.curvefs.com
allowVolumeExpansion: false
reclaimPolicy: Delete
parameters:
mdsAddr: "172.31.98.243:6700,172.31.98.243:6701,172.31.98.243:6702"
fsType: "s3"
s3Endpoint: "http://9000.grda6567.1frt0lmq.b836cf.grapps.cn"
s3AccessKey: "minio"
s3SecretKey: "minio123456"
s3Bucket: "curve"-
mdsAddr：通过
curveadm status命令获取。$ curveadm status ...... cluster mds addr : 172.31.98.243:6700,172.31.98.243:6701,172.31.98.243:6702 - s3Endpoint：填写 MinIO 组件的 9000 端口对外服务域名。
- s3AccessKey：MinIO 拜访 Key，填 root 用户或生成 AccessKey。
- s3SecretKey：MinIO 密钥 Key，填 root 明码或生成 SecretKey。
- s3Bucket：MinIO 桶名称。
在 Rainbond 上应用 CurveFS
通过镜像创立一个 Nginx 组件，在 组件 -> 其余设置 批改组件部署类型为 有状态服务。在 Rainbond 上只有 有状态服务 能够应用自定义存储，无状态服务应用默认的共享存储。
进入到 组件 -> 存储 增加存储，抉择类型为 curvefs-sc，保留并重启组件。
期待组件启动实现后，进入组件的 Web 终端内，测试写入数据。
而后进入到 MinIO 桶内查看，数据已写入。
将来布局
Rainbond 社区将来会应用 Curve 云原生存储作为 Rainbond 底层的共享存储，为用户提供更好、更简略的云原生利用治理平台和云原生存储，独特推动开源社区生态以及给用户提供一体化的解决方案。