Zookeeper-扩展之殇
一、背景基于公司发展硬性需求,生产VM服务器要统一迁移到ZStack 虚拟化服务器。检查自己项目使用的服务器,其中zookeeper集群中招,所以需要进行迁移。 二、迁移计划为了使迁移不对业务产生影响,所以最好是采用扩容 -> 缩容 的方式进行。 说明:1.原生产集群为VM-1,VM-2,VM-3组成一个3节点的ZK集群;2.对该集群扩容,增加至6节点(新增ZS-1,ZS-2,ZS-3),进行数据同步完成;3.进行缩容,下掉原先来的三个节点(VM-1,VM-2,VM-3);4.替换nginx解析地址。OK! 目标很明确,过程也很清晰,然后开干。三、步骤 (过程已在测试环境验证无问题):对新增的三台服务器进行zk环境配置,和老集群配置一样即可,最好使用同一版本(版主使用的是3.4.6);对老节点的zoo.cfg 增加新集群的地址(逐一增加),然后对新增加节点逐一重启。 四、问题ZS-1 启动成功,zkServer.sh status 报错,用zkServer.sh status查看,反馈如下异常:[root@localhost bin]# ./zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /usr/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfgError contacting service. It is probably not running.此时查看数据,数据同步正常ZS-1 数据同步正常,但是无法查看节点的状态信息;怀疑是因为老节点没有重启的原因;此时去查看原集群节点信息,发现原集群节点状态异常。经排查定位,原集群的状态一直处于异常状态。初步定位原因可能是原集群的选举存在异常,导致新节点无法正常纳入,继续排查。恢复集群初始状态,如果集群节点的状态一直没法正常查看。OK 继续定位...五、排查过程以下方法来自于网络: 可能有以下几个原因:第一、zoo.cfg文件配置:dataLogDir指定的目录未被创建。 1.zoo.cfg[root@SIA-215 conf]# cat zoo.cfg...dataDir=/app/zookeeperdata/datadataLogDir=/app/zookeeperdata/log...2.路径[root@SIA-215 conf]# cd /app/zookeeperdata/[root@SIA-215 zookeeperdata]# lltotal 8drwxr-xr-x 3 root root 4096 Apr 23 19:59 datadrwxr-xr-x 3 root root 4096 Aug 29 2015 log经排查 排除该因素。 第二、myid文件中的整数格式不对,或者与zoo.cfg中的server整数不对应。 [root@SIA-215 data]# cd /app/zookeeperdata/data[root@SIA-215 data]# cat myid 2[root@SIA-215 data]# 定位排查后排除不是该原因。 ...