作者：丁源 RadonDB 测试负责人
负责 RadonDB 云数据库、容器化数据库的品质性能测试，迭代验证。对包含云数据库以及容器化数据库性能和高可用计划有深入研究。
接上期《混沌工程工具 ChaosBlade Opeator 系列的入门篇》，本期将应用 ChaosBlade Opeator 工具，针对 Node 类资源的利用场景进行测试，测试场景包含：
- CPU 负载场景
- 网络提早场景
- 网络丢包场景
- kill 指定过程
- stop 指定过程
| 试验环境
测试对象
基于 KubeSphere 平台的 RadonDB MySQL 容器化数据库进行测试。
RadonDB MySQL 部署阐明请参见 在 KubeSphere 中部署 RadonDB MySQL 集群。
环境参数
| 集群名称 | 主机类型 | CPU | Memory |
|---|---|---|---|
| KubeSphere | 高可用类型 | 8C | 16G |
| RadonDB MySQL | – | 4C | 16G |
测试环境部署实现后，即可从以下五个针对节点的场景做相应验证。
1. CPU 负载场景
1.1 测试指标
指定节点做 CPU 负载 80% 验证。
1.2 开始测试
配置 yaml 测试参数值。
apiVersion: chaosblade.io/v1alpha1
kind: ChaosBlade
metadata:
name: cpu-lode
spec:
experiments:
- scope: node
target: cpu
action: fulllode
desc: "increase node cpu load by names" #试验模型名称
matchers:
- name: names
value:
- "worker-s001" #测试对象 node 名称
- name: cpu-percent
value: "80" #节点负载百分比
- name: ip
value:192.168.0.20 #节点负载百分比 抉择一个节点，批改 node_cpu_load.yaml 中的 names 值。
1.3 测试验证
在 Node 节点，应用 top 命令能够看到节点 CPU 达到负载 80% 预期成果。
2. 网络提早场景
2.1 测试筹备
登录 Node 节点，应用 ifconfig 命令查看网卡信息，将零碎默认的网卡名称指定到 eth0。
2.2 测试指标
指定节点 worker-s001 增加 3000 毫秒拜访提早，延迟时间高低浮动 1000 毫秒。
2.3 开始测试
抉择一个节点，批改 delay_node_network_by_names.yaml 中的 names 值。对 worker-s001 节点拜访丢包率 100%。
开始测试。
kubectl apply -f delay_node_network_by_names.yaml
查看试验状态。
kubectl get blade delay-node-network-by-names -o json
2.4 测试验证
从节点拜访 Guestbook。
$ time echo "" | telnet 192.168.0.18
echo "" 0.00s user 0.00s system 35% cpu 0.003 total
telnet 192.168.1.129 32436 0.01s user 0.00s system 0% cpu 3.248 total
进行测试。能够删除测试过程或者间接删除 blade 资源。
kubectl delete -f delay_node_network_by_names.yaml
kubectl delete blade delay-node-network-by-names
3. 网络丢包场景
3.1 测试指标
指定节点注入丢包率 100% 的故障。
3.2 开始测试
抉择一个节点，批改 loss_node_network_by_names.yaml 中的 names 值。
执行以下命令，开始测试。
$ kubectl apply -f loss_node_network_by_names.yaml
执行以下命令，查看试验状态。
kubectl get blade loss-node-network-by-names -o json3.3 测试验证
端口为 Guestbook nodeport 端口，拜访试验端口无响应，然而拜访未开启试验的端口能够失常应用。
获取节点 IP。
$ kubectl get node -o wide
从试验节点拜访 Guestbook – 无法访问。
$ telnet 192.168.0.20
从非试验节点拜访 Guestbook – 失常拜访。
$ telnet 192.168.0.18此外还可间接从浏览器拜访地址，验证测试后果。
进行测试。能够删除测试过程或者间接删除 blade 资源。
kubectl delete -f delay_node_network_by_names.yaml
kubectl delete blade delay-node-network-by-names
4. kill 指定过程
4.1 测试指标
删除指定节点上的 MySQL 过程。
4.2 开始测试
抉择一个节点，批改 kill_node_process_by_names.yaml 中的 names 值。
执行以下命令，开始测试。
$ kubectl apply -f kill_node_process_by_names.yaml
执行以下命令，查看试验状态。
kubectl get blade kill-node-process-by-names -o json
4.3 测试验证
进入试验 node。
$ ssh 192.168.0.18查看 mysql 过程号。
$ ps -ef | grep mysql
root 10913 10040 0 14:10 pts/0 00:00:00 grep --color=auto mysql能够看到过程号产生了变动。
$ ps -ef | grep mysql
MySQL 的过程号产生扭转，阐明被杀掉后，又被从新拉起。
进行测试。能够删除测试过程或者间接删除 blade 资源。
kubectl delete -f delay_node_network_by_names.yaml
kubectl delete blade delay-node-network-by-names
5. stop 指定过程
5.1 测试指标
挂起指定节点上的 MySQL 过程。
5.2 开始测试
抉择一个节点，批改 stop_node_process_by_names.yaml 中的 names 值。
执行以下命令，开始测试。
$ kubectl apply -f stop_node_process_by_names.yaml
执行以下命令，查看试验状态。
kubectl get blade stop-node-process-by-names -o json
5.3 测试验证
进入试验 node。
$ ssh 192.168.0.18查看 mysql 过程号。
$ ps -ef | grep mysql
root 10913 10040 0 14:10 pts/0 00:00:00 grep --color=auto mysql能够看到过程号产生了变动。
$ ps -ef | grep mysql
MySQL 的过程号产生扭转，阐明被杀掉后，又被从新拉起。
进行测试。能够删除测试过程或者间接删除 blade 资源。
kubectl delete -f delay_node_network_by_names.yaml
kubectl delete blade delay-node-network-by-names
| 结语
通过应用 ChaosBlade Operator 对 KubeSphere Node 资源进行混沌工程试验，可得出如下论断：
对于 Node 节点，ChaosBlade 仍旧有简略的配置及操作来实现简单的试验，能够通过自由组合，实现各种 Node 节点级别的简单故障，验证 Kubernetes 集群的稳定性及可用性。同时当真正的故障来长期，因为早已模仿了各种故障状况，能够疾速定位故障源，做到处变不惊，轻松解决故障。
下期预报
下一期将应用部署的 ChaosBlade Opeator 工具，针对 Pod 类资源各种场景进行测试验证。
对于 RadonDB
RadonDB 开源社区 是一个面向云原生、容器化的数据库开源社区。为数据库技术爱好者提供围绕支流开源数据库（MySQL、PostgreSQL、Redis、MongoDB、ClickHouse 等）的技术分享平台，并提供企业级 RadonDB 开源产品及服务。
目前 RadonDB 开源数据库系列产品已被 光大银行、浦发硅谷银行、哈密银行、泰康保险、太平保险、安盛保险、阳光保险、百年人寿、安吉物流、安畅物流、蓝月亮、天财商龙、罗克佳华、升哲科技、无锡汇跑体育、北京电信、江苏交通控股、四川航空、昆明航空、国控生物 等上千家企业及社区用户采纳。
RadonDB 可基于云平台与 Kubernetes 容器平台交付，不仅提供笼罩多场景的数据库产品解决方案，而且提供业余的集群治理和自动化运维能力，次要性能个性包含： 高可用主从切换、数据强一致性、读写拆散、一键装置部署、多维指标监控 & 告警、弹性扩容 & 缩容、横向自在扩大、主动备份 & 复原、同城多活、异地灾备 等。RadonDB 仅需企业及社区用户专一于业务层逻辑开发，无需关注集群高可用选型、治理和运维等简单问题，帮忙企业及社区用户大幅度晋升业务开发与价值翻新的效率！
GitHub：https://github.com/radondb
微信群：请搜寻增加群助手微信号 radondb