技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

40次阅读

共计 798 个字符,预计需要花费 2 分钟才能阅读完成。

运维攻城狮
作为最优(ku)秀(bi)的职业
若是没有些方法技巧
那是极可能需要牺牲些个人时间

对此,本萌我
不能视而不见,见而不救啊!
比如,ES 集群里的数据越来越大,
日增 500G 日志数据,
日志数量太多怎么办?
来来来,掌声有请

帮你做一波扩容,让你走上人生巅峰!

01 节点信息
目前集群中的节点信息如下:

新增数据节点规格:

新增 master 节点规格:

02 扩容思路
1、将 master 从集群中分离出来 2、重启节点时给集群中老节点标记一个 tag:old3、将所有索引设置只分配到带有 old 标签的节点 4、将不怎么使用的索引 close5、将新增的 data 节点加入到集群中,并设置新的 tag:new6、修改索引 template,新建的索引设置新建到 tag 为 new 的节点上。7、在业务低峰期分批将之前在 old 节点上的索引迁移到 new 节点上。
03 实践步骤
1、分离 master 节点
查看当前 master 节点:

查看集群中的所有索引,暂时关闭一批历史不需要搜索使用的索引   
ps: 主要是需要重启节点,open 的索引越少,集群恢复的越快!

关闭集群 reroute:

分别修改集群中 node001~node006 的配置文件,滚动重启:

配置好新的 master 节点 es010、es011、es012

节点状态:

查看个节点 tag:

重启 node005,将集群 master 转移到专属节点。

至此,master 节点已经从原有集群中分离,并且集群节点也都已做了标记 tag。
2、修改索引的配置
确保当前集群中的索引只分配到当前标记为 old 的数据节点,不会分配到新增的数据节点。

3、配置新数据节点

4、打开集群分配,并分批将数据迁移

完成以上四步就可以完成整个数据迁移了

“ElasticSearch 运维技术”了解一下
课件 PPT+ 讲师答疑 + 沙龙直播
学习 ElasticSearch 在
袋鼠云、阿里、滴滴、有赞的实践应用成果;
学习 ElasticSearch 的
开发思路和性能优化策略!

正文完
 0