关于k8s:Kubernetes-部署-Nebula-图数据库集群

本文首发于 Nebula Graph 官网：https://nebula-graph.com.cn/posts/how-to-deploy-nebula-graph-in-kubernetes/

Kubernetes 是一个开源的，用于治理云平台中多个主机上的容器化的利用，Kubernetes 的指标是让部署容器化的利用简略并且高效，Kubernetes 提供了利用部署，布局，更新，保护的一种机制。

Kubernetes 在设计构造上定义了一系列的构建模块，其目标是为了提供一个能够 部署、保护和扩大应用程序的机制 ，组成 Kubernetes 的组件设计理念为 松耦合 和可扩大 的，这样能够使之满足多种不同的工作负载。可扩展性在很大水平上由 Kubernetes API 提供，此 API 次要被作为扩大的外部组件以及 Kubernetes 上运行的容器来应用。

Kubernetes 次要由以下几个外围组件组成：

etcd 保留了整个集群的状态
kube-apiserver 提供了资源操作的惟一入口，并提供认证、受权、访问控制、API 注册和发现等机制
kube-controller-manager 负责保护集群的状态，比方故障检测、主动扩大、滚动更新等
kube-scheduler 负责资源的调度，依照预约的调度策略将 Pod 调度到相应的机器上
kubelet 负责保护容器的生命周期，同时也负责 Volume 和网络的治理
kube-proxy 负责为 Service 提供 cluster 外部的服务发现和负载平衡

数据库容器化是最近的一大热点，那么 Kubernetes 能为数据库带来什么益处呢？

故障复原 ：Kubernetes 提供故障复原的性能，数据库利用如果宕掉，Kubernetes 能够将其 主动重启，或者将数据库实例迁徙到集群中其余节点上
存储管理 ：Kubernetes 提供了丰盛的存储接入计划，数据库利用能 通明地应用不同类型的存储系统
负载平衡：Kubernetes Service 提供负载平衡性能，能将内部拜访平衡到不同的数据库实例正本上
程度拓展：Kubernetes 能够依据以后数据库集群的资源利用率状况，缩放正本数目，从而晋升资源的利用率

目前很多数据库，如：MySQL，MongoDB 和 TiDB 在 Kubernetes 集群中都能运行良好。

Nebula Graph 是一个分布式的开源图数据库，次要组件有：Query Engine 的 graphd，数据存储的 storaged，和元数据的 meted。在 Kubernetes 实际过程中，它次要给图数据库 Nebula Graph 带来了以下的益处：

Kubernetes 能平衡 nebula graphd，metad 和 storaged 不同正本之间的负载。graphd，metad 和 storaged 能够通过 Kubernetes 的域名服务主动发现彼此。
通过 StorageClass，PVC 和 PV 能够屏蔽底层存储细节，无论应用本地卷还是云盘，Kubernetes 均能够通明对接。
通过 Kubernetes 能够在数秒内胜利部署一套 Nebula 集群，Kubernetes 也能够无感知地实现 Nebula 集群的降级。
Nebula 集群通过 Kubernetes 能够做到自我复原，单体正本 crash，Kubernetes 能够从新将其拉起，无需运维人员染指。
Kubernetes 能够依据以后 Nebula 集群的资源利用率状况弹性伸缩集群规模，从而晋升集群的性能。

上面来解说下具体的实际内容。

这里次要列举下本文部署波及到的机器、操作系统参数

操作系统应用的 CentOS-7.6.1810 x86_64
虚拟机配置
- 4 CPU
- 8G 内存
- 50G 系统盘
- 50G 数据盘 A
- 50G 数据盘 B
Kubernetes 集群版本 v1.14+
Nebula 版本为 v2.0.0-rc1
应用本地 PV 作为数据存储
CoreDNS 版本 1.6.0+

以下为集群清单

服务器 IP	nebula 实例	role
192.168.0.1		master
192.168.0.2	graphd, metad-0, storaged-0	node
192.168.0.3	graphd, metad-1, storaged-1	node
192.168.0.4	graphd, metad-2, storaged-2	node

装置 Helm3
筹备本地磁盘，并装置本地卷插件
装置 nebula 集群

Helm 是 Kubernetes 集群上的包管理工，应用 Helm 能够极大地升高应用 Kubernetes 部署利用的门槛。本文不做 Helm 具体介绍，有趣味的小伙伴可自行浏览《Helm 入门指南》。

应用上面命令在终端执行即可装置 Helm

$ wget https://get.helm.sh/helm-v3.5.2-linux-amd64.tar.gz
$ tar -zxvf helm/helm-v3.5.2-linux-amd64.tgz
$ mv linux-amd64/helm /usr/bin/helm

执行 helm version 命令即可查看对应的 Helm 版本，以文本为例，以下为输入后果：

version.BuildInfo{Version:"v3.5.2", GitCommit:"167aac70832d3a384f65f9745335e9fb40169dc2", GitTreeState:"dirty", GoVersion:"go1.15.7"}

在每台机器上做如下配置

$ sudo mkdir -p /mnt/disks

$ sudo mkfs.ext4 /dev/diskA 
$ sudo mkfs.ext4 /dev/diskB

$ DISKA_UUID=$(blkid -s UUID -o value /dev/diskA) 
$ DISKB_UUID=$(blkid -s UUID -o value /dev/diskB) 
$ sudo mkdir /mnt/disks/$DISKA_UUID
$ sudo mkdir /mnt/disks/$DISKB_UUID
$ sudo mount -t ext4 /dev/diskA /mnt/disks/$DISKA_UUID
$ sudo mount -t ext4 /dev/diskB /mnt/disks/$DISKB_UUID

$ echo UUID=`sudo blkid -s UUID -o value /dev/diskA` /mnt/disks/$DISKA_UUID ext4 defaults 0 2 | sudo tee -a /etc/fstab
$ echo UUID=`sudo blkid -s UUID -o value /dev/diskB` /mnt/disks/$DISKB_UUID ext4 defaults 0 2 | sudo tee -a /etc/fstab

$ curl https://github.com/kubernetes-sigs/sig-storage-local-static-provisioner/archive/v2.4.0.zip
$ unzip v2.4.0.zip

批改 v2.4.0/helm/provisioner/values.yaml classes 局部：

将 hostDir: /mnt/fast-disks 改成 hostDir: /mnt/disks，# storageClass: true 改成 storageClass: true。而后执行：

$ helm install local-static-provisioner --namespace default sig-storage-local-static-provisioner/helm/provisioner
# 查看 local-static-provisioner 部署状况
$ helm list
NAME                        NAMESPACE    REVISION    UPDATED                                  STATUS      CHART                APP VERSION
local-volume-provisioner    default      1           2021-02-10 11:06:34.3540341 +0800 CST    deployed    provisioner-2.4.0    2.4.0

# 下载 nebula chart
$ helm repo add nebula-charts https://vesoft-inc.github.io/nebula-docker-compose
$ helm pull nebula-charts/nebula
$ tar -zxvf nebula-v2.0.0.tgz

上面是 Kubernetes 节点列表，咱们须要设置 node 节点的调度标签。能够将 _192.168.0.2_，_192.168.0.3_，_192.168.0.4_ 打上 nebula: "cloud" 的标签。

服务器 IP	kubernetes roles	nodeName
192.168.0.1	master	192.168.0.1
192.168.0.2	node	192.168.0.2
192.168.0.3	node	192.168.0.3
192.168.0.4	node	192.168.0.4

具体操作如下：

$ kubectl  label node 192.168.0.2 nebula="cloud" --overwrite 
$ kubectl  label node 192.168.0.3 nebula="cloud" --overwrite
$ kubectl  label node 192.168.0.4 nebula="cloud" --overwrite

nebula helm chart 目录如下:

nebula
├── Chart.yaml
├── README.md
├── templates
│   ├── configmap.yaml
│   ├── deployment.yaml
│   ├── _helpers.tpl
│   ├── NOTES.txt
│   ├── pdb.yaml
│   ├── serviceaccount.yaml
│   ├── service.yaml
│   └── statefulset.yaml
└── values.yaml

1 directory, 11 files

能够依据运行环境需要批改 charts/nebula/values.yaml 外面的默认值

$ helm install nebula charts/nebula 
# 查看部署状态
$ helm status nebula
NAME: nebula
LAST DEPLOYED: Fri Feb 19 12:58:16 2021
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Nebula Graph Cluster installed!

1. Watch all containers come up.
  $ kubectl get pods --namespace=default -l app.kubernetes.io=nebula -w
# 查看 K8s 集群上 nebula 部署状况
$ kubectl get pods --namespace=default -l app.kubernetes.io=nebula
NAME                             READY   STATUS    RESTARTS   AGE
nebula-graphd-676cfcf797-4q7mk   1/1     Running   0          6m
nebula-graphd-676cfcf797-whwqp   1/1     Running   0          6m
nebula-graphd-676cfcf797-zn5l6   1/1     Running   0          6m
nebula-metad-0                   1/1     Running   0          6m
nebula-metad-1                   1/1     Running   0          6m
nebula-metad-2                   1/1     Running   0          6m
nebula-storaged-0                1/1     Running   0          6m
nebula-storaged-1                1/1     Running   0          6m
nebula-storaged-2                1/1     Running   0          6m

$ kubectl get service nebula-graphd
NAME            TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)                                          AGE
nebula-graphd   NodePort   10.105.47.116   <none>        9669:31646/TCP,19669:30554/TCP,19670:32386/TCP   22m

# 应用 nebula-console 测试
$ docker run --rm -ti --entrypoint=/bin/sh vesoft/nebula-console:v2-nightly
# 通过 NodePort 连贯到 graphd 组件
/ $ nebula-console -addr 192.168.0.4 -port 31646 -u root -p vesoft
2021/02/19 05:04:55 [INFO] connection pool is initialized successfully

Welcome to Nebula Graph v2.0.0-rc1!

(root@nebula) [(none)]> show hosts;
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| Host                                                          | Port | Status   | Leader count | Leader distribution  | Partition distribution |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "nebula-storaged-0.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "nebula-storaged-1.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "nebula-storaged-2.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "Total"                                                       |      |          | 0            |                      |                        |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
Got 4 rows (time spent 2608/4258 us)

如何搭建一套 Kubernetes 集群？

搭建高可用的 Kubernetes 能够参考社区文档：https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/high-availability/

如何调整 nebula 集群的部署参数？

在应用 helm install 时，应用 –set 能够设置部署参数，从而笼罩掉 helm chart 中 values.yaml 中的变量。参考文档：https://helm.sh/docs/intro/using_helm/

是否兼容 nebula v1.0.0+ 集群部署？

v1.0.0+ 不反对外部域名解析，须要批改 charts/nebula/values.yaml，配置如下:

hostNetwork: true
metadEndpoints: []
  - 192.168.0.2:9559
  - 192.168.0.3:9559
  - 192.168.0.4:9559

如何在 K8s 集群内部拜访 nebula 外部组件？

本文应用 NodePort 的形式拜访 graphd 组件，其余的拜访形式还有 hostPort、hostNetwork、Ingress、LoadBalancer，须要您依据理论的部署环境来定制。

如何查看 nebula 集群情况？

应用 kubectl get pods --namespace=default -l app.kubernetes.io=nebula 命令，或者间接在 Kubernetes dashboard 上查看 nebula 集群的运行状况。

如何应用其余类型的存储？

参考文档：https://kubernetes.io/zh/docs/concepts/storage/storage-classes/

分布式图数据库 Nebula Graph 的 Index 实际
图数据库 Nebula Graph TTL 个性

关于k8s:Kubernetes-部署-Nebula-图数据库集群

Kubernetes 是什么

Kubernetes 和数据库

Nebula Graph 在 Kubernetes 中的实际

集群部署

硬件和软件要求

K8s 集群布局

K8s 待部署组件

装置 Helm3

下载安装 Helm

查看 Helm 版本

设置本地磁盘

创立 mount 目录

格式化数据盘

挂载数据盘

部署本地卷插件

部署 nebula 集群

下载 nebula helm chart

设置 Kubernetes node 节点

调整 values 默认值

通过 helm 装置 nebula

拜访 nebula 集群:

FAQ

举荐浏览