思维导图

前言

在很多时候,咱们都能够在各种框架利用中看到ZooKeeper的身影,比方Kafka中间件,Dubbo框架,Hadoop等等。为什么到处都看到ZooKeeper?

一、什么是ZooKeeper

ZooKeeper是一个分布式服务协调框架,提供了分布式数据一致性的解决方案,基于ZooKeeper的数据结构,Watcher,选举机制等特点,能够实现数据的公布/订阅,软负载平衡,命名服务,对立配置管理,分布式锁,集群治理等等。

二、为什么应用ZooKeeper

ZooKeeper能保障:

  • 更新申请程序进行。来自同一个client的更新申请按其发送程序顺次执行
  • 数据更新原子性。一次数据更新要么胜利,要么失败
  • 全局惟一数据视图。client无论连贯到哪个server,数据视图都是统一的
  • 实时性。在肯定工夫范畴内,client读到的数据是最新的

三、数据结构

ZooKeeper的数据结构和Unix文件系统很相似,总体上能够看做是一棵树,每一个节点称之为一个ZNode,每一个ZNode默认能存储1M的数据。每一个ZNode可通过惟一的门路标识。如下图所示:

创立ZNode时,能够指定以下四种类型,包含:

  • PERSISTENT,持久性ZNode。创立后,即便客户端与服务端断开连接也不会删除,只有客户端被动删除才会隐没。
  • PERSISTENT_SEQUENTIAL,持久性程序编号ZNode。和持久性节点一样不会因为断开连接后而删除,并且ZNode的编号会主动减少。
  • EPHEMERAL,临时性ZNode。客户端与服务端断开连接,该ZNode会被删除。
  • EPEMERAL_SEQUENTIAL,临时性程序编号ZNode。和临时性节点一样,断开连接会被删除,并且ZNode的编号会主动减少。

四、监听告诉机制

Watcher是基于观察者模式实现的一种机制。如果咱们须要实现当某个ZNode节点发生变化时收到告诉,就能够应用Watcher监听器。

客户端通过设置监督点(watcher)向 ZooKeeper 注册须要接管告诉的 znode,在 znode 发生变化时 ZooKeeper 就会向客户端发送音讯

这种告诉机制是一次性的。一旦watcher被触发,ZooKeeper就会从相应的存储中删除。如果须要一直监听ZNode的变动,能够在收到告诉后再设置新的watcher注册到ZooKeeper。

监督点的类型有很多,如监控ZNode数据变动、监控ZNode子节点变动、监控ZNode 创立或删除

五、选举机制

ZooKeeper是一个高可用的利用框架,因为ZooKeeper是反对集群的。ZooKeeper在集群状态下,配置文件是不会指定Master和Slave,而是在ZooKeeper服务器初始化时就在外部进行选举,产生一台做为Leader,多台做为Follower,并且恪守半数可用准则。

因为恪守半数可用准则,所以5台服务器和6台服务器,实际上最大容许宕机数量都是3台,所以为了节约老本,集群的服务器数量个别设置为奇数

如果在运行时,如果长时间无奈和Leader放弃连贯的话,则会再次进行选举,产生新的Leader,以保障服务的可用

六、初の体验

首先在官网下载ZooKeeper,我这里用的是3.3.6版本。

而后解压,复制一下/conf目录下的zoo_sample.cfg文件,重命名为zoo.cfg。

批改zoo.cfg中dataDir的值,并创立对应的目录:

最初到/bin目录下启动,我用的是window零碎,所以启动zkServer.cmd,双击即可:

启动胜利的话就能够看到这个对话框:

可视化界面的话,我举荐应用ZooInspector,操作比拟简便:

6.1 应用java连贯ZooKeeper

首先引入Maven依赖:

<dependency>    <groupId>org.apache.zookeeper</groupId>    <artifactId>zookeeper</artifactId>    <version>3.4.6</version></dependency>

接着咱们写一个Main办法,进行操作:

    //连贯地址及端口号    private static final String SERVER_HOST = "127.0.0.1:2181";    //会话超时工夫    private static final int SESSION_TIME_OUT = 2000;    public static void main(String[] args) throws Exception {        //参数一:服务端地址及端口号        //参数二:超时工夫        //参数三:监听器        ZooKeeper zooKeeper = new ZooKeeper(SERVER_HOST, SESSION_TIME_OUT, new Watcher() {            @Override            public void process(WatchedEvent watchedEvent) {                //获取事件的状态                Event.KeeperState state = watchedEvent.getState();                //判断是否是连贯事件                if (Event.KeeperState.SyncConnected == state) {                    Event.EventType type = watchedEvent.getType();                    if (Event.EventType.None == type) {                        System.out.println("zk客户端已连贯...");                    }                }            }        });        zooKeeper.create("/java", "Hello World".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);        System.out.println("新增ZNode胜利");        zooKeeper.close();    }

创立一个持久性ZNode,门路是/java,值为"Hello World":

七、API概述

7.1 创立

public String create(final String path, byte data[], List<ACL> acl, CreateMode createMode)

参数解释:

  • path ZNode门路
  • data ZNode存储的数据
  • acl ACL权限管制
  • createMode ZNode类型

ACL权限管制,有三个是ZooKeeper定义的罕用权限,在ZooDefs.Ids类中:

/** * This is a completely open ACL. * 齐全凋谢的ACL,任何连贯的客户端都能够操作该属性znode */public final ArrayList<ACL> OPEN_ACL_UNSAFE = new ArrayList<ACL>(Collections.singletonList(new ACL(Perms.ALL, ANYONE_ID_UNSAFE)));/** * This ACL gives the creators authentication id's all permissions. * 只有创建者才有ACL权限 */public final ArrayList<ACL> CREATOR_ALL_ACL = new ArrayList<ACL>(Collections.singletonList(new ACL(Perms.ALL, AUTH_IDS)));/** * This ACL gives the world the ability to read. * 只能读取ACL */public final ArrayList<ACL> READ_ACL_UNSAFE = new ArrayList<ACL>(Collections.singletonList(new ACL(Perms.READ, ANYONE_ID_UNSAFE)));

createMode就是后面讲过的四种ZNode类型:

public enum CreateMode {    /**     * 持久性ZNode     */    PERSISTENT (0, false, false),    /**     * 持久性主动减少顺序号ZNode     */    PERSISTENT_SEQUENTIAL (2, false, true),    /**     * 临时性ZNode     */    EPHEMERAL (1, true, false),    /**     * 临时性主动减少顺序号ZNode     */    EPHEMERAL_SEQUENTIAL (3, true, true);}

7.2 查问

//同步获取节点数据public byte[] getData(String path, boolean watch, Stat stat){    ...}//异步获取节点数据public void getData(final String path, Watcher watcher, DataCallback cb, Object ctx){    ...}

同步getData()办法中的stat参数是用于接管返回的节点形容信息:

public byte[] getData(final String path, Watcher watcher, Stat stat){    //省略...    GetDataResponse response = new GetDataResponse();    //发送申请到ZooKeeper服务器,获取到response    ReplyHeader r = cnxn.submitRequest(h, request, response, wcb);    if (stat != null) {        //把response的Stat赋值到传入的stat中        DataTree.copyStat(response.getStat(), stat);    }}

应用同步getData()获取数据:

    //数据的形容信息,包含版本号,ACL权限,子节点信息等等    Stat stat = new Stat();    //返回后果是byte[]数据,getData()办法底层会把形容信息复制到stat对象中    byte[] bytes = zooKeeper.getData("/java", false, stat);    //打印后果    System.out.println("ZNode的数据data:" + new String(bytes));//Hello World    System.out.println("获取到dataVersion版本号:" + stat.getVersion());//默认数据版本号是0

7.3 更新

public Stat setData(final String path, byte data[], int version){    ...}

值得注意的是第三个参数version,应用CAS机制,这是为了避免多个客户端同时更新节点数据,所以须要在更新时传入版本号,每次更新都会使版本号+1,如果服务端接管到版本号,比照发现不统一的话,则会抛出异样。

所以,在更新前须要先查问获取到版本号,否则你不晓得以后版本号是多少,就没法更新:

    //获取节点形容信息    Stat stat = new Stat();    zooKeeper.getData("/java", false, stat);    System.out.println("更新ZNode数据...");    //更新操作,传入门路,更新值,版本号三个参数,返回后果是新的形容信息    Stat setData = zooKeeper.setData("/java", "fly!!!".getBytes(), stat.getVersion());    System.out.println("更新后的版本号为:" + setData.getVersion());//更新后的版本号为:1

更新后,版本号减少了:

如果传入的版本参数是"-1",就是通知zookeeper服务器,客户端须要基于数据的最新版本进行更新操作。然而-1并不是一个非法的版本号,而是一个标识符。

7.4 删除

public void delete(final String path, int version){    ...}
  • path 删除节点的门路
  • version 版本号

这里也须要传入版本号,调用getData()办法即可获取到版本号,很简略:

Stat stat = new Stat();zooKeeper.getData("/java", false, stat);//删除ZNodezooKeeper.delete("/java", stat.getVersion());

7.5 watcher机制

在下面第三点提到,ZooKeeper是能够应用告诉监听机制,当ZNode发生变化会收到告诉音讯,进行解决。基于watcher机制,ZooKeeper能玩出很多花色。怎么应用?

ZooKeeper的告诉监听机制,总的来说能够分为三个过程:

①客户端注册 Watcher
②服务器解决 Watcher
③客户端回调 Watcher客户端。

注册 watcher 有 4 种办法,new ZooKeeper()、getData()、exists()、getChildren()。上面演示一下应用exists()办法注册watcher:

首先须要实现Watcher接口,新建一个监听器:

public class MyWatcher implements Watcher {    @Override    public void process(WatchedEvent event) {        //获取事件类型        Event.EventType eventType = event.getType();        //告诉状态        Event.KeeperState eventState = event.getState();        //节点门路        String eventPath = event.getPath();        System.out.println("监听到的事件类型:" + eventType.name());        System.out.println("监听到的告诉状态:" + eventState.name());        System.out.println("监听到的ZNode门路:" + eventPath);    }}

而后调用exists()办法,注册监听器:

zooKeeper.exists("/java", new MyWatcher());//对ZNode进行更新数据的操作,触发监听器zooKeeper.setData("/java", "fly".getBytes(), -1);

而后在控制台就能够看到打印的信息:

这里咱们能够看到Event.EventType对象就是事件类型,咱们能够对事件类型进行判断,再配合Event.KeeperState告诉状态,做相干的业务解决,事件类型有哪些?

关上EventType、KeeperState的源码查看:

//事件类型是一个枚举public enum EventType {    None (-1),//无    NodeCreated (1),//Watcher监听的数据节点被创立    NodeDeleted (2),//Watcher监听的数据节点被删除    NodeDataChanged (3),//Watcher监听的数据节点内容产生变更    NodeChildrenChanged (4);//Watcher监听的数据节点的子节点列表产生变更}//告诉状态也是一个枚举public enum KeeperState {    Unknown (-1),//属性过期    Disconnected (0),//客户端与服务端断开连接    NoSyncConnected (1),//属性过期    SyncConnected (3),//客户端与服务端失常连贯    AuthFailed (4),//身份认证失败    ConnectedReadOnly (5),//返回这个状态给客户端,客户端只能解决读申请    SaslAuthenticated(6),//服务器采纳SASL做校验时    Expired (-112);//会话session生效}

7.5.1 watcher的个性

  • 一次性。一旦watcher被触发,ZK都会从相应的存储中移除。
    zooKeeper.exists("/java", new Watcher() {        @Override        public void process(WatchedEvent event) {            System.out.println("我是exists()办法的监听器");        }    });    //对ZNode进行更新数据的操作,触发监听器    zooKeeper.setData("/java", "fly".getBytes(), -1);    //希图第二次触发监听器    zooKeeper.setData("/java", "spring".getBytes(), -1);

  • 串行执行。客户端Watcher回调的过程是一个串行同步的过程,这是为了保障程序。
    zooKeeper.exists("/java", new Watcher() {        @Override        public void process(WatchedEvent event) {            System.out.println("我是exists()办法的监听器");        }    });    Stat stat = new Stat();    zooKeeper.getData("/java", new Watcher() {        @Override        public void process(WatchedEvent event) {            System.out.println("我是getData()办法的监听器");        }    }, stat);    //对ZNode进行更新数据的操作,触发监听器    zooKeeper.setData("/java", "fly".getBytes(), stat.getVersion());

打印后果,阐明先调用exists()办法的监听器,再调用getData()办法的监听器。因为exists()办法先注册了。

  • 轻量级。WatchedEvent是ZK整个Watcher告诉机制的最小告诉单元。WatchedEvent蕴含三局部:告诉状态,事件类型,节点门路。Watcher告诉仅仅通知客户端产生了什么事件,而不会阐明事件的具体内容。