一、PolarDB-X 简介
PolarDB-X 是一款面向超高并发、海量存储、简单查问场景设计的云原生分布式数据库系统。其采纳 Shared-nothing 与存储计算拆散架构,反对程度扩大、分布式事务、混合负载等能力,具备企业级、云原生、高可用、高度兼容 MySQL 零碎及生态等特点。
PolarDB-X 最后为解决阿里巴巴天猫“双十一”外围交易系统数据库扩展性瓶颈而生,之后随同阿里云一路成长,是一款通过多种外围业务场景验证的、成熟稳固的数据库系统。
二、PolarDB-X 的外围个性
- 程度扩大
PolarDB-X 采纳 Shared-nothing 架构进行设计,反对多种 Hash 和 Range 数据拆分算法,通过隐式主键拆分和数据分片动静调度,实现零碎的通明程度扩大。
- 分布式事务
PolarDB-X 采纳 MVCC + TSO 计划及 2PC 协定实现分布式事务。事务满足 ACID 个性,反对 RC/RR 隔离级别,并通过一阶段提交、只读事务、异步提交等优化实现事务的高性能。
- 混合负载
PolarDB-X 通过原生 MPP 能力实现对剖析型查问的反对,通过 CPU quota 束缚、内存池化、存储资源拆散等实现了 OLTP 与 OLAP 流量的强隔离。
- 企业级
PolarDB-X 为企业场景设计了诸多内核能力,例如 SQL 限流、SQL Advisor、TDE、三权分立、Flashback Query 等。
- 云原生
PolarDB-X 在阿里云上有多年的云原生实际,反对通过 K8S Operator 治理集群资源,反对私有云、混合云、专有云等多种状态进行部署,并反对国产化操作系统和芯片。
- 高可用
通过多数派 Paxos 协定实现数据强统一,反对两地三核心、三地五正本等多种容灾形式,同时通过 Table Group、Geo-locality 等进步零碎可用性。
- 兼容 MySQL 零碎及生态
PolarDB-X 的指标是齐全兼容 MySQL,目前兼容的内容包含 MySQL 协定、MySQL 大部分语法、Collation、事务隔离级别、Binlog 等。
三、如何搭建的高可用零碎
1. 创立试验资源及装置环境
开始试验之前,须要先创立 ECS 实例资源,并装置 Docker、kubectl、minikube 和 Helm3,最初装置 MySQL。
2. 应用 PolarDB-X Operator 装置 PolarDB-X
- 应用 minikube 创立 Kubernetes 集群。
minikube 是由社区保护的用于疾速创立 Kubernetes 测试集群的工具,适宜测试和学习 Kubernetes。应用 minikube 创立的 Kubernetes 集群能够运行在容器或是虚拟机中,该试验场景以 CentOS 8.5 上创立 Kubernetes 为例。
a. 新建账号 galaxykube,并将 galaxykube 退出 docker 组中。【minikube 要求应用非 root 账号进行部署】,切换到账号 galaxykube,进入到 home/galaxykube 目录。执行如下命令,启动一个 minikube。
minikube start --cpus 4 --memory 12288 --image-mirror-country cn --registry-mirror=https://docker.mirrors.sjtug.sjtu.edu.cn --kubernetes-version 1.23.3
b. 执行如下命令,应用 kubectl 查看集群信息。
kubectl cluster-info
- 部署 PolarDB-X Operator。
a. 执行如下命令,创立一个名为 polardbx-operator-system 的命名空间。
kubectl create namespace polardbx-operator-system
b. 执行如下命令,装置 PolarDB-X Operator。
helm repo add polardbx https://polardbx-charts.oss-cn-beijing.aliyuncs.com
helm install --namespace polardbx-operator-system polardbx-operator polardbx/polardbx-operator
c. 执行如下命令,查看 PolarDB-X Operator 组件的运行状况。期待所有组件都进入 Running 状态,示意 PolarDB-X Operator 曾经装置实现。
kubectl get pods --namespace polardbx-operator-system
- 部署 PolarDB-X 集群。
a. 创立 polardb-x.yaml,按 i 键进入编辑模式,将如下代码复制到文件中,而后按 ECS 退出编辑模式,输出:wq 后按下 Enter 键保留并退出。
apiVersion: polardbx.aliyun.com/v1
kind: PolarDBXCluster
metadata:
name: polardb-x
spec:
config:
dn:
mycnfOverwrite: |-
print_gtid_info_during_recovery=1
gtid_mode = ON
enforce-gtid-consistency = 1
recovery_apply_binlog=on
slave_exec_mode=SMART
topology:
nodes:
cdc:
replicas: 1
template:
resources:
limits:
cpu: "1"
memory: 1Gi
requests:
cpu: 100m
memory: 500Mi
cn:
replicas: 2
template:
resources:
limits:
cpu: "2"
memory: 4Gi
requests:
cpu: 100m
memory: 1Gi
dn:
replicas: 1
template:
engine: galaxy
hostNetwork: true
resources:
limits:
cpu: "2"
memory: 4Gi
requests:
cpu: 100m
memory: 500Mi
gms:
template:
engine: galaxy
hostNetwork: true
resources:
limits:
cpu: "1"
memory: 1Gi
requests:
cpu: 100m
memory: 500Mi
serviceType: ClusterIP
upgradeStrategy: RollingUpgrade
b. 创立 PolarDB- X 集群,查看 PolarDB- X 集群创立状态。
3. 连贯 PolarDB- X 集群
1. 执行如下命令,查看 PolarDB- X 集群登录明码。
kubectl get secret polardb-x -o jsonpath="{.data['polardbx_root']}" | base64 -d - | xargs echo "Password:"
2. 执行如下命令,将 PolarDB- X 集群端口转发到 3306 端口。
kubectl port-forward svc/polardb-x 3306
3. 执行如下命令,连贯 PolarDB- X 集群。
mysql -h127.0.0.1 -P3306 -upolardbx_root -p<PolarDB- X 集群登录明码 >
4. 启动业务
·筹备压测数据
- 创立压测数据库 sysbench_test,输出 exit 退出数据库,切换到账号 galaxykube。
- 进入到 /home/galaxykube 目录,创立筹备压测数据的 sysbench-prepare.yaml 文件。
- 按 i 键进入编辑模式,将如下代码复制到文件中,而后按 ECS 退出编辑模式,输出:wq 后按下 Enter 键保留并退出。
apiVersion: batch/v1
kind: Job
metadata:
name: sysbench-prepare-data-test
namespace: default
spec:
backoffLimit: 0
template:
spec:
restartPolicy: Never
containers:
- name: sysbench-prepare
image: severalnines/sysbench
env:
- name: POLARDB_X_USER
value: polardbx_root
- name: POLARDB_X_PASSWD
valueFrom:
secretKeyRef:
name: polardb-x
key: polardbx_root
command: ['sysbench']
args:
- --db-driver=mysql
- --mysql-host=$(POLARDB_X_SERVICE_HOST)
- --mysql-port=$(POLARDB_X_SERVICE_PORT)
- --mysql-user=$(POLARDB_X_USER)
- --mysql_password=$(POLARDB_X_PASSWD)
- --mysql-db=sysbench_test
- --mysql-table-engine=innodb
- --rand-init=on
- --max-requests=1
- --oltp-tables-count=1
- --report-interval=5
- --oltp-table-size=160000
- --oltp_skip_trx=on
- --oltp_auto_inc=off
- --oltp_secondary
- --oltp_range_size=5
- --mysql_table_options=dbpartition by hash(`id`)
- --num-threads=1
- --time=3600
- /usr/share/sysbench/tests/include/oltp_legacy/parallel_prepare.lua
- run
4. 执行如下命令,运行筹备压测数据的 sysbench-prepare.yaml 文件,初始化测试数据。
kubectl apply -f sysbench-prepare.yaml
5. 执行如下命令,获取工作进行状态。
kubectl get jobs
·启动压测流量。
- 创立启动压测的 sysbench-oltp.yaml 文件。
- 按 i 键进入编辑模式,将如下代码复制到文件中,而后按 ECS 退出编辑模式,输出:wq 后按下 Enter 键保留并退出。
apiVersion: batch/v1
kind: Job
metadata:
name: sysbench-oltp-test
namespace: default
spec:
backoffLimit: 0
template:
spec:
restartPolicy: Never
containers:
- name: sysbench-oltp
image: severalnines/sysbench
env:
- name: POLARDB_X_USER
value: polardbx_root
- name: POLARDB_X_PASSWD
valueFrom:
secretKeyRef:
name: polardb-x
key: polardbx_root
command: ['sysbench']
args:
- --db-driver=mysql
- --mysql-host=$(POLARDB_X_SERVICE_HOST)
- --mysql-port=$(POLARDB_X_SERVICE_PORT)
- --mysql-user=$(POLARDB_X_USER)
- --mysql_password=$(POLARDB_X_PASSWD)
- --mysql-db=sysbench_test
- --mysql-table-engine=innodb
- --rand-init=on
- --max-requests=0
- --oltp-tables-count=1
- --report-interval=5
- --oltp-table-size=160000
- --oltp_skip_trx=on
- --oltp_auto_inc=off
- --oltp_secondary
- --oltp_range_size=5
- --mysql-ignore-errors=all
- --num-threads=8
- --time=3600
- /usr/share/sysbench/tests/include/oltp_legacy/oltp.lua
- run
- 执行如下命令,运行启动压测的 sysbench-oltp.yaml 文件,开始压测。
kubectl apply -f sysbench-oltp.yaml
- 执行如下命令,查找压测脚本运行的 POD。
kubectl get pods
- 执行如下命令,查看 QPS 等流量数据。
kubectl logs -f 指标 POD
5. 体验 PolarDB- X 高可用能力
通过后面的筹备工作,咱们曾经用 PolarDB-X+Sysbench OLTP 搭建了一个正在运行的业务零碎。本步骤将通过应用 kill POD 的形式,模仿物理机宕机、断网等导致的节点不可用场景,并察看业务 QPS 的变动状况。
- 切换到账号 galaxykube,获取 CN POD 的名字。返回后果如下,以‘polardb-x-xxxx-cn-default’结尾的是 CN POD 的名字。
2. 删除任意一个 CN POD,查看 CN POD 主动创立状况。返回后果如下,可查看到 CN POD 曾经处于主动创立中。通过几十秒后,被 kill 的 CN POD 主动恢复正常。切换至终端二,可查看 kill CN 之后业务 QPS 的状况。
3. 切换至终端三,获取 DN POD 的名字。返回后果如下,以‘polardb-x-xxxx-dn’结尾的是 DN POD 的名字。
4. 执行如下命令,删除任意一个 DN POD,查看 DN POD 主动创立状况。返回后果如下,您可查看到 DN POD 曾经处于主动创立中。通过几十秒后,被 kill 的 DN POD 主动恢复正常。切换至终端二,可查看 kill DN 之后业务 QPS 的状况。
5. 切换至终端三,获取 CDC POD 的名字。返回后果如下,以‘polardb-x-xxxx-cdc-defaul’结尾的是 CDC POD 的名字。
6. 删除任意一个 CDC POD, 查看 CDC POD 主动创立状况。返回后果如下,您可查看到 CDC POD 曾经处于主动创立中。通过几十秒后,被 kill 的 CDC POD 主动恢复正常。切换至终端二,您可查看 kill CDC 之后业务 QPS 的状况。
四、如何联动的数据大屏
1. 创立试验资源 / 装置 PolarDB-X
开始试验之前,须要先创立 ECS 实例资源, 之后装置并启动 Docker,最初装置 PolarDB-X
2. 在 PolarDB- X 中筹备订单表
PolarDB- X 反对通过 MySQL Client 命令行、第三方客户端以及合乎 MySQL 交互协定的第三方程序代码进行连贯。本试验应用 MySQL Client 命令行连贯到 PolarDB- X 数据库。
- 装置 MySQL,查看 MySQL 版本号。执行如下命令,登录 PolarDB- X 数据库。
mysql -h127.0.0.1 -P8527 -upolardbx_root -p123456
2. 执行 SQL 语句,创立并应用测试库 mydb。
3. 执行如下 SQL 语句,创立订单表 orders。
CREATE TABLE `orders` (`order_id` int(11) NOT NULL AUTO_INCREMENT,
`order_date` datetime NOT NULL,
`customer_name` varchar(255) NOT NULL,
`price` decimal(10, 5) NOT NULL,
`product_id` int(11) NOT NULL,
`order_status` tinyint(1) NOT NULL,
PRIMARY KEY (`order_id`)
)AUTO_INCREMENT = 10001;
4. 执行如下 SQL 语句,给订单表 orders 中插入数据。
INSERT INTO orders
VALUES (default, '2020-07-30 10:08:22', 'Jark', 50.50, 102, false),
(default, '2020-07-30 10:11:09', 'Sally', 15.00, 105, false),
(default, '2020-07-30 12:00:30', 'Edward', 25.25, 106, false);
3. 运行 Flink
- 装置 JDK。
应用 yum 装置 JDK 1.8,查看是否装置胜利。返回后果如下,示意您已胜利装置 JDK 1.8。
- 下载 Flink 和 Flink CDC MySQL Connector。
下载并解压 Flink,进入 lib 目录。执行如下命令,下载 flink-sql-connector-mysql-cdc。
wget https://labfileapp.oss-cn-hangzhou.aliyuncs.com/PolarDB-X/flink-sql-connector-mysql-cdc-2.2.1.jar
- 启动 Flink。
a. 执行如下命令,启动 Flink。
./bin/start-cluster.sh
b. 执行如下命令,连贯 Flink。
./bin/sql-client.sh
- 在 Flink 中创立与 PolarDB- X 关联的订单表 orders。
a. 执行如下 SQL 语句,创立订单表 orders。
CREATE TABLE orders (
order_id INT,
order_date TIMESTAMP(0),
customer_name STRING,
price DECIMAL(10, 5),
product_id INT,
order_status BOOLEAN,
PRIMARY KEY (order_id) NOT ENFORCED
) WITH (
'connector' = 'mysql-cdc',
'hostname' = 'localhost',
'port' = '8527',
'username' = 'polardbx_root',
'password' = '123456',
'database-name' = 'mydb',
'table-name' = 'orders'
);
b. 执行如下 SQL 语句,查看订单表 orders。能够查看到 PolarDB- X 的订单表 orders 的数据曾经同步到 Flink 的订单表 orders 中。
select * from orders;
4. 启动压测脚本并实时获取 GMV
通过后面几步操作后,咱们在 PolarDB- X 中筹备好了原始订单表,在 Flink 中筹备好了对应的订单表,并通过 PolarDB-X Global Binlog 与 Flink CDC MySQL Connector 买通了两者之间的实时同步链路。本步骤将领导您如何创立压测脚本,模仿双十一零点大量订单涌入的场景。
- 筹备压测脚本。
a. 创立新的终端二,配置文件 mysql-config.cnf。将如下代码增加到配置文件 mysql-config.cnf 中。
[client]
user = "polardbx_root"
password = "123456"
host = 127.0.0.1
port = 8527
b. 增加实现后,按下 Esc 键后,输出:wq 后按下 Enter 键保留并退出。创立脚本 buy.sh,将如下代码增加到脚本 buy.sh 中。增加实现后,按下 Esc 键后,输出:wq 后按下 Enter 键保留并退出。
#!/bin/bash
echo "start buying..."
count=0
while :
do
mysql --defaults-extra-file=./mysql-config.cnf -Dmydb -e "insert into orders values(default, now(),'free6om', 1024, 102, 0)"
let count++
if ! ((count % 10)); then
let "batch = count/10"
echo $batch": got 10 products, gave 1024¥"
fi
sleep 0.05
done
c. 执行如下命令,为脚本 buy.sh 减少执行权限。
chmod +x buy.sh
- 启动 Flink 实时计算。
切换至终端一,在 Flink 中执行如下 SQL 语句,查问 GMV(gmv 列)和订单数(orders 列)。
select 1, sum(price) as gmv, count(order_id) as orders from orders;
- 启动压测脚本。
a. 切换至终端二,执行如下命令,启动压测脚本,开始创立订单。
b. 切换至终端一,在 Flink 的实时计算结果中,可查看到实时的 GMV(gmv 列)和订单数(orders 列)。