elasticsearch学习笔记(九)——shard&replica机制以及ES集群节点的问题

1、shard和replica知识归纳梳理
(1)一个index包含多个shard(2)每个shard都是一个最小工作单元,承载部分数据,可以说就是一个lucene实例,拥有完整的建立索引和处理请求的能力(3)每当ES集群增加节点时,shard会自动在nodes中实现负载均衡(4)对于primary shard和replica shard,每个document肯定只存在于某一个primary shard以及其对应的replica shard中,不可能存在于多个primary shard中(5)replica shard时primary shard的副本,主要负责容错,以及承担读请求的负载(6)primary shard的数量在创建索引的时候就已经固定了,但是replica shard的数量可以随时修改(7)primary shard的默认数量是5个,replica默认是1,也就是在默认的情况下,有5个primary shard和5个replica shard(8)primary shard不能和自己的replica shard放在同一个节点上(否则节点宕机,primary shard和副本都丢失,也就起不到容错的作用了),但是可以和其它primary shard的replica shard放在同一个节点上
2、对于单节点ES集群存在的问题
假设我们创建一个索引test_index
PUT /test_index
{
“settings”: {
“number_of_shards”: 5,
“number_of_replicas”: 1
}
}
(1)单node环境下,创建一个index叫test_index,有5个primary shard,5个replica shard(2)集群的status是yellow
GET /_cat/health?v
epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1555495650 10:07:30 elasticsearch yellow 1 1 8 8 0 0 6 0 – 57.1%

(3)这个时候,只会将5个primary shard分配到仅有的一个node上去,另外5个replica shard是无法分配的(4)此时集群是可以正常工作的,但是一旦出现节点宕机,数据就会全部丢失,此时节点也不可用,无法承担任何请求结构如下:
3、对于两个节点ES集群
上面test_index索引的shard分配的结构就会变成:
此时即使存放primary shard的节点挂掉了,ES的shard allocation 会被触发,此时对应的primary shard的一个副本会变成primary shard
在什么场景下会触发Shard的Allocation:
创建/删除一个Index;加入/离开一个Node;手动执行了Reroute命令;修改了Replica设置;

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

这个站点使用 Akismet 来减少垃圾评论。了解你的评论数据如何被处理