gpexpand分析

74次阅读

共计 7295 个字符,预计需要花费 19 分钟才能阅读完成。

欢迎大家前往腾讯云 + 社区,获取更多腾讯海量技术实践干货哦~
本文由 maxluo 发表于云 + 社区专栏

一、gp 扩容步骤
1.1 初始化机器
目标:新增加的机器需要初始化和已有机器环境一样。
具体包括不限于以下内容:创建用户名,设置环境变量,创建数据目录,安装 greenplum 软件包,解压目录路径。
1.2 修改 host
集群所有机器(包括已有机器和新扩容机器)的 /etc/hosts 文件中,增加新扩容机器的 host 配置。
1.3 修改 GP 配置文件
具体修改三个文件。
其中 allhostlist,seghostlist 文件中添加新增机器的 host。
新增文件 host_expand,并把新增机器的 host 写入该文件中。
1.4 打通 ssh 互信登录
执行命令:
/home/gpadmincloud/install/bin/gpssh-exkeys -f /home/gpadmincloud/deploy/host_expand
备注:host_expand 只需是新增加机器的 host,而非全部机器 HOST。这样也可以实现已有其他机器到新增机器的无密登录。
1.5 生成扩容配置
a) 创建数据库 myexpand:执行命令 create database myexpand;
作用:用于存储扩容进度等信息。
b) 执行命令,生成配置。gpexpand -f host_expand -D myexpand。
在命令执行过程中,会交互式的让用户确认相关信息。其中一步是确定扩容节点的分布方式。
提示如下:
What type of mirroring strategy would you like?

spread|grouped (default=grouped):
需要注意的是,这里的分布方式和集群初始化时选择的方式不一定要求一致。也就是说以前机器如果是 spread 分布,新增加节点既可以是 grouped,也可以是 spread 分布。
对于不同模式,新增机器数量限制如下:
Grouped Mirror:则新增机器数量必须大于等于 2,确保新增加的 primary segment 节点和 mirror segment 节点不在同一台机器上。
Spread Mirror: 新增的主机数至少要比每台主机上 primary Segment 的数量大于 1,这样才能确保 Mirror 可以平均分配在其他的 Segment 节点上。例如:如果现在单机 primary segment 数量为 3,则新增机器必须大于等于 4。
c) 配置文件内容如下:
sdw4-xx-41ma83j3:sdw4-xx-41ma83j3:40000:/data/greenplum/primary/gpseg12:27:12:p:41000

sdw5-xx-41ma83j3:sdw5-xx-41ma83j3:50000:/data/greenplum/mirror/gpseg12:51:12:m:51000

sdw4-xx-41ma83j3:sdw4-xx-41ma83j3:40001:/data/greenplum/primary/gpseg13:28:13:p:41001

sdw6-xx-41ma83j3:sdw6-xx-41ma83j3:50000:/data/greenplum/mirror/gpseg13:55:13:m:51000

sdw4-xx-41ma83j3:sdw4-xx-41ma83j3:40002:/data/greenplum/primary/gpseg14:29:14:p:41002

sdw7-xx-41ma83j3:sdw7-xx-41ma83j3:50000:/data/greenplum/mirror/gpseg14:59:14:m:51000

sdw4-xx-41ma83j3:sdw4-xx-41ma83j3:40003:/data/greenplum/primary/gpseg15:30:15:p:41003

sdw8-xx-41ma83j3:sdw8-xx-41ma83j3:50000:/data/greenplum/mirror/gpseg15:63:15:m:51000

sdw5-xx-41ma83j3:sdw5-xx-41ma83j3:40000:/data/greenplum/primary/gpseg16:31:16:p:41000

sdw6-xx-41ma83j3:sdw6-xx-41ma83j3:50001:/data/greenplum/mirror/gpseg16:56:16:m:51001

sdw5-xx-41ma83j3:sdw5-xx-41ma83j3:40001:/data/greenplum/primary/gpseg17:32:17:p:41001

sdw7-xx-41ma83j3:sdw7-xx-41ma83j3:50001:/data/greenplum/mirror/gpseg17:60:17:m:51001

sdw5-xx-41ma83j3:sdw5-xx-41ma83j3:40002:/data/greenplum/primary/gpseg18:33:18:p:41002

sdw8-xx-41ma83j3:sdw8-xx-41ma83j3:50001:/data/greenplum/mirror/gpseg18:64:18:m:51001

sdw5-xx-41ma83j3:sdw5-xx-41ma83j3:40003:/data/greenplum/primary/gpseg19:34:19:p:41003

sdw4-xx-41ma83j3:sdw4-xx-41ma83j3:50000:/data/greenplum/mirror/gpseg19:47:19:m:51000

sdw6-xx-41ma83j3:sdw6-xx-41ma83j3:40000:/data/greenplum/primary/gpseg20:35:20:p:41000

sdw7-xx-41ma83j3:sdw7-xx-41ma83j3:50002:/data/greenplum/mirror/gpseg20:61:20:m:51002

sdw6-xx-41ma83j3:sdw6-xx-41ma83j3:40001:/data/greenplum/primary/gpseg21:36:21:p:41001

sdw8-xx-41ma83j3:sdw8-xx-41ma83j3:50002:/data/greenplum/mirror/gpseg21:65:21:m:51002

sdw6-xx-41ma83j3:sdw6-xx-41ma83j3:40002:/data/greenplum/primary/gpseg22:37:22:p:41002

sdw4-xx-41ma83j3:sdw4-xx-41ma83j3:50001:/data/greenplum/mirror/gpseg22:48:22:m:51001

sdw6-xx-41ma83j3:sdw6-xx-41ma83j3:40003:/data/greenplum/primary/gpseg23:38:23:p:41003

sdw5-xx-41ma83j3:sdw5-xx-41ma83j3:50001:/data/greenplum/mirror/gpseg23:52:23:m:51001

sdw7-xx-41ma83j3:sdw7-xx-41ma83j3:40000:/data/greenplum/primary/gpseg24:39:24:p:41000

sdw8-xx-41ma83j3:sdw8-xx-41ma83j3:50003:/data/greenplum/mirror/gpseg24:66:24:m:51003

sdw7-xx-41ma83j3:sdw7-xx-41ma83j3:40001:/data/greenplum/primary/gpseg25:40:25:p:41001

sdw4-xx-41ma83j3:sdw4-xx-41ma83j3:50002:/data/greenplum/mirror/gpseg25:49:25:m:51002

sdw7-xx-41ma83j3:sdw7-xx-41ma83j3:40002:/data/greenplum/primary/gpseg26:41:26:p:41002

sdw5-xx-41ma83j3:sdw5-xx-41ma83j3:50002:/data/greenplum/mirror/gpseg26:53:26:m:51002

sdw7-xx-41ma83j3:sdw7-xx-41ma83j3:40003:/data/greenplum/primary/gpseg27:42:27:p:41003

sdw6-xx-41ma83j3:sdw6-xx-41ma83j3:50002:/data/greenplum/mirror/gpseg27:57:27:m:51002

sdw8-xx-41ma83j3:sdw8-xx-41ma83j3:40000:/data/greenplum/primary/gpseg28:43:28:p:41000

sdw4-xx-41ma83j3:sdw4-xx-41ma83j3:50003:/data/greenplum/mirror/gpseg28:50:28:m:51003

sdw8-xx-41ma83j3:sdw8-xx-41ma83j3:40001:/data/greenplum/primary/gpseg29:44:29:p:41001

sdw5-xx-41ma83j3:sdw5-xx-41ma83j3:50003:/data/greenplum/mirror/gpseg29:54:29:m:51003

sdw8-xx-41ma83j3:sdw8-xx-41ma83j3:40002:/data/greenplum/primary/gpseg30:45:30:p:41002

sdw6-xx-41ma83j3:sdw6-xx-41ma83j3:50003:/data/greenplum/mirror/gpseg30:58:30:m:51003

sdw8-xx-41ma83j3:sdw8-xx-41ma83j3:40003:/data/greenplum/primary/gpseg31:46:31:p:41003

sdw7-xx-41ma83j3:sdw7-xx-41ma83j3:50003:/data/greenplum/mirror/gpseg31:62:31:m:51003
1.6 初始化 sgment 并加入集群
1.6.1 执行命令
gpexpand -i gpexpand_inputfile_20180815_210146 -D myexpand

gpexpand_inputfile_20180815_210146 文件为在步骤 1.5 中生成的扩容配置文件。
1.6.2 异常处理
这里经常会出现问题,需要输入 gpexpand -r -D gpexpand 让你回滚扩容操作,但是此时数据库关闭了,并且不能直接用 gpstart 启动。
因此先执行 gpstart –R 启动数据库。再执行 gpexpand -r -D myexpand 命令进行回滚操作。
回滚成功后,再按照 1.6.1 步骤,进行 segment 初始化。
1.7 重分布表
执行命令
gpexpand -D myexpand
该命令会对所有的数据库和表进行重分布。按照对应表的分布键,把数据打散到各个节点,包括新增加的机器。从而实现了扩容操作。
1.8 临时数据清理
执行命令:
gpexpand -c -D myexpand
该命令会对步骤 1.6 中在 myexpand 数据库中生成的 schema 进行清理。
二、扩容原理分析
gpexpand 命令对集群扩容的原理:首先把新增 HOST 节点添加到 master 元表。并按照步骤 1.5 生成的配置对各机器 segment 初始化和启动操作。
最后执行 alter table 操作。
ALTER TABLE ONLY xx SET WITH(REORGANIZE=TRUE) DISTRIBUTED by(xx)。
该操作会导致 greenplum 对表数据进行重分布。从而实现把原集群数据打散分布到新集群中。
2.1 初始化过程分析
在步骤 1.6 中,执行 gpexpand -i gpexpand_inputfile_20180815_210146 -D myexpand 对扩容节点初始化。
完成事情有如下三步:
1,把新增加的节点加入到 master 元素表中。可以通过 select * from gp_segment_configuration order by dbid asc; 查询到新节点已经被加入到集群中,但新增加节点暂时没有数据。
2,在 myexpand 数据库中,创建名为 gpexpand 的 schema,这个 schema 用于保存扩展的所有信息,例如每个表重分布的进度等详细信息。
Status 表用于记录扩容进度信息。
myexpand=# select * from gpexpand.status;

​ status | updated

——————-+—————————-

SETUP | 2018-09-18 11:17:29.807489

SETUP DONE | 2018-09-18 11:17:35.294699

EXPANSION STARTED | 2018-09-18 11:18:02.816792
expansion_progress 记录数据库表重分布速度等信息。
myexpand=# select * from gpexpand.expansion_progress;

name | value

——————————+———————–

Bytes Done | 53412116448

Estimated Time to Completion | 00:16:55.504644

Tables In Progress | 1

Bytes Left | 59420929408

Bytes In Progress | 142668912

Tables Left | 229

Tables Expanded | 498

Estimated Expansion Rate | 55.9369898011315 MB/s
status_detail 表记录各个表的重分布过程以及进度。
myexpand=# select distinct(status) from gpexpand.status_detail where dbname=’gpadmincloud’;

status

\————-

COMPLETED

NOT STARTED

IN PROGRESS
3,将数据库中的所有表全部修改为随机分布(DISTRIBUTED RANDOMLY),这个状态会在步骤 1.7 中采用 alter 方式修改回来。同时会把以前的分布键保存在 gpexpand.status_detail 中,供后面数据重分布恢复分布键。
修改 SQL 为:UPDATE gp_distribution_policy SET attrnums = NULL,通过对数据字典表 gp_distribution_policy 修改分布键。这种方式避免了数据的重分布。
2.2 数据重分布
在步骤 1.7 中,命令后 gpexpand -D myexpand。会对每一张表执行命令。
ALTER TABLE ONLY t1 SET WITH(REORGANIZE=TRUE) DISTRIBUTED byxxx)。把初始化过程中修改为随机分布的表进行还原。Alter 命令会对所有数据重分布。从而实现历史数据分散到所有节点(包括新扩容节点)。
三、扩容性能分析
3.1 原始数据
3.1.1 100G 数据
机器配置:
Segment 配置:4 核 16 GB 160GB SSD 云盘。

Master 规格
扩容目标
耗时(分钟)

2 核 8GB
3->6
19

3.1.2 300GB 数据
机器配置:
Segment 配置:4 核 16 GB 160G SSD 云盘。

Master 规格
扩容目标
耗时(分钟)

4 核 8 GB
5->8
30

4 核 16 GB
8->12
23

4 核 16 GB
12->16
18.5

3.1.3 600GB 数据
机器配置:
Segment 配置:8 核 32 GB 320G SSD 云盘。

Master 规格
扩容目标
耗时(分钟)

4 核 8 GB
10->16
36

4 核 16 GB
16->24
22.5

4 核 16 GB
24->32
17.3

3.1.4 1TB 数据
机器配置:
Segment 配置:8 核 32 GB 640G SSD 云盘。

Master 规格
扩容目标
耗时

4 核 8 GB
20->40
31.7

4 核 16 GB
40->60
20.5

3.2 结论
1,同样的数据量,节点越多,扩容速度越快。
2,同样的节点数,扩容速度基本上和数据量成反比。
四、常见问题小结
1,执行命令 gpexpand,出现 Cannot allocate memory。
原因:master 节点内存不足。
解决办法:升级 master 节点内存数量,或者替换 master 机器。
最主要是提前规划好 master 节点规格,包括 CPU 和内存。
2,执行扩容过程中,已有链接是否会断开?
答:会。
原因:在步骤 1.6 过程中,需要重启 Greeplum 集群。所以已有链接会出现断开情况。
解决办法:业务方重新链接即可。
3,重分布过程,数据库是否可用,只读 or 可读可写?
答:可用,可读可写。
原因:
gpexpand 是采用表重分布方式来对集群扩容。对于已经重分布的表,则新写入的数据则根据分布键,按规则放置在不同节点。
如果是对还未重分布的表进行写入数据,则这些新写入的数据,按照随机分布方式,分布到各个节点(也包括新增加的机器节点)。最后在执行 alter 操作修改分布键时,数据重分布到所有其他节点。

相关阅读【每日课程推荐】机器学习实战!快速入门在线广告业务及 CTR 相应知识

正文完
 0