乐趣区

关于数据库:Easysearch-跨集群复制实战

jiezi

在之前的文章中，有通过网关实现容灾的案例。明天给大家介绍 Easysearch 的跨集群复制性能。该性能可在集群之间复制数据，利用场景包含但不限于以下举例：

  • 灾备同步：将数据同步到灾备核心，灾备核心可对外提供查问服务。
  • 读写拆散：繁多集群读写压力都较大时，为了防止读写相互烦扰造成性能降级，可将读压力分流到另外的集群。
  • 就近查问：在多地核心之间复制数据，利用只需连贯本地 ES 集群读取数据，防止网络延时和烦扰。

跨集群复制应用 active-passive 模型，由指标集群被动拉取数据变动到本地，因而对源集群影响很小。

先决条件

  • 源集群和指标集群都必须装置 cross-cluster-replication 和 index-management 插件。装置插件参考这里。
  • 如果指标集群的 easysearch.yml 文件中笼罩了 node.roles，确保它也包含 remote_cluster_client 角色，默认已启用。

演示环境

  • 源集群(leader 集群): 192.168.3.45:9200
  • 指标集群(follower 集群): 192.168.3.39:9200
  • 两个集群都已启用 security 性能。

设置集群间证书互信

将两个集群的证书合并到一个文件，将文件放到 config 目录下。

cat ca-A.crt ca-B.crt > trust-chain.pem

更新 easysearch.yml 文件，变动如下。

#security.ssl.transport.ca_file: ca.crt
security.ssl.transport.ca_file: trust-chain.pem

设置跨群集连贯

在指标集群建设源集群的连贯信息。在 INFINI console 的开发工具中，选中指标集群，执行以下命令。

PUT /_cluster/settings?pretty
{
  "persistent": {
    "cluster": {
      "remote": {
        "primary": {"seeds": ["192.168.3.45:9300"]
        }
      }
    }
  }
}

开始复制

首先在源集群创立测试索引 test , 并向索引写入数据。如果有测试索引，此步可省略。

POST /_bulk?pretty
{"index" : { "_index" : "test", "_id" : "1"} }
{"field1" : "value1"}
{"create" : { "_index" : "test", "_id" : "2"} }
{"field2" : "value2"}

而后在指标集群，创立一个名为 follower-test 的索引来复制源集群中 test 索引的内容。follower-test 可更换成本人想要的名字。

PUT /_replication/follower-test/_start?pretty
{
   "leader_alias": "primary",
   "leader_index": "test",
   "use_roles":{
      "leader_cluster_role": "cross_cluster_replication_leader_full_access",
      "follower_cluster_role": "cross_cluster_replication_follower_full_access"
   }
}
  • leader_alias 指定之前创立的连贯名称 primary。
  • leader_index 指定想要复制的索引名称 test。
  • use_roles 指定用什么角色拜访对应的集群，为了平安应用最小权限，命令中的角色是零碎自带的。

命令执行完后，会在指标集群建设名为 follower-test 的索引，其内容来自源集群的 test 索引。咱们能够看到，其内容就是之前插入的两个文档。

确认复制状态

能够看到 follow-test 处于同步的状态会实时同步远端的数据。

GET /_replication/follower-test/_status?pretty

在源集群再插入数据，看是否会同步。

POST /_bulk?pretty
{"index" : { "_index" : "test", "_id" : "3"} }
{"field3" : "value3"}
{"create" : { "_index" : "test", "_id" : "4"} }
{"field4" : "value4"}

指标集群查问索引，文档 3 和 4 已同步。

暂停和复原复制

如果须要停机保护或其余起因想暂停复制性能，可应用暂停和复原索引复制。

暂停

暂停指标集群上的索引复制。源集群索引再有新的变动，不会进行同步。

POST /_replication/follower-test/_pause?pretty
{}

暂停后查看索引复制状态为 PAUSED。

GET /_replication/follower-test/_status?pretty

复原

复原指标集群上的索引复制。

POST /_replication/follower-test/_resume?pretty
{}

进行复制

为了保证数据的一致性，指标集群上的 follower 索引都是只读的。如果要切换到可读写的状态，须要先进行复制。咱们先间接写入数据，会报禁止该操作。

进行复制
执行进行复制命令，索引变为可读写状态，一个独立状态，不再会从源端复制内容。想要删除索引之前，也要先进行复制。

POST /_replication/follower-test/_stop?pretty
{}

再次写入数据测试，胜利。

主动追随

后面给大家演示了单个索引的复制操作，对于每天主动创立一个索引的场景（日期后缀），这样的操作未免太麻烦了。跨集群复制的主动追随性能，能够在指标集群建设一个复制模式，如果源集群新建索引名称匹配该模式，指标集群会主动创立一个索引来复制它。

创立复制模式
先在指标集群建设一个复制模式，模式名叫 nginx-index，会主动复制源集群上 nginx 结尾的索引。

POST /_replication/_autofollow?pretty
{
   "leader_alias" : "primary",
   "name": "nginx-index",
   "pattern": "nginx*",
   "use_roles":{
      "leader_cluster_role": "cross_cluster_replication_leader_full_access",
      "follower_cluster_role": "cross_cluster_replication_follower_full_access"
   }
}

源集群创立 nginx 结尾的索引。

POST /nginx-1/_doc/
{"test":"test"}

POST /nginx-2/_doc/
{"test":"test2"}

指标集群查看复制后果。

进行主动追随

如果不想复制新创建 nginx 结尾的索引，能够应用进行追随。进行主动追随仅仅进行任何新的主动追随流动，不会进行现存主动追随启动的复制。

DELETE /_replication/_autofollow?pretty
{
   "leader_alias" : "primary",
   "name": "nginx-index"
}

上述命令不会影响指标集群上 nginx-1 和 nginx-2 索引的复制。而且 nginx-1 和 nginx-2 索引是只读的，如果要切换到读写状态，先进行复制。

POST /_replication/nginx-1/_stop?pretty
{}

小结

这次实战次要演示了跨集群复制的操作过程：

  1. 建设证书互信
  2. 指标集群创立跨集群连贯
  3. 开始复制：单索引或主动追随复制
  4. 治理复制：暂停、查看状态、复原、进行、删除主动追随

好的，这次跨集群复制实战就到这里了，更多的内容大家可参考官网文档。如遇到问题，能够通过微信群、discord 分割咱们。

对于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专一于实时搜寻与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据摸索与剖析体验。

极限科技是一支年老的团队，采纳人造分布式的形式来进行近程合作，员工散布在寰球各地，心愿通过致力成为中国乃至寰球企业大数据实时搜寻剖析产品的首选，为中国技术品牌输入添砖加瓦。

官网文档：https://www.infinilabs.com/docs/latest/easysearch

下载地址：https://www.infinilabs.com/download

退出移动版