一、开篇

Redis作为目前通用的缓存选型,因其高性能而倍受欢迎。Redis的2.x版本仅反对单机模式,从3.0版本开始引入集群模式。

Redis的Java生态的客户端当中蕴含Jedis、Redisson、Lettuce,不同的客户端具备不同的能力是应用形式,本文次要剖析Jedis客户端。

Jedis客户端同时反对单机模式、分片模式、集群模式的拜访模式,通过构建Jedis类对象实现单机模式下的数据拜访,通过构建ShardedJedis类对象实现分片模式的数据拜访,通过构建JedisCluster类对象实现集群模式下的数据拜访。

Jedis客户端反对单命令和Pipeline形式拜访Redis集群,通过Pipeline的形式可能进步集群拜访的效率。

本文的整体剖析基于Jedis的3.5.0版本进行剖析,相干源码均参考此版本。

二、Jedis拜访模式比照

Jedis客户端操作Redis次要分为三种模式,分表是单机模式、分片模式、集群模式。

  • 单机模式次要是创立Jedis对象来操作单节点的Redis,只实用于拜访单个Redis节点。
  • 分片模式(ShardedJedis)次要是通过创立ShardedJedisPool对象来拜访分片模式的多个Redis节点,是Redis没有集群性能之前客户端实现的一个数据分布式计划,实质上是客户端通过一致性哈希来实现数据分布式存储。
  • 集群模式(JedisCluster)次要是通过创立JedisCluster对象来拜访集群模式下的多个Redis节点,是Redis3.0引入集群模式后客户端实现的集群拜访拜访,实质上是通过引入槽(slot)概念以及通过CRC16哈希槽算法来实现数据分布式存储。

单机模式不波及任何分片的思维,所以咱们着重剖析分片模式和集群模式的理念。

2.1 分片模式

  • 分片模式实质属于基于客户端的分片,在客户端实现如何依据一个key找到Redis集群中对应的节点的计划。
  • Jedis的客户端分片模式采纳一致性Hash来实现,一致性Hash算法的益处是当Redis节点进行增减时只会影响新增或删除节点前后的小局部数据,绝对于取模等算法来说对数据的影响范畴较小。
  • Redis在大部分场景下作为缓存进行应用,所以不必思考数据失落以致缓存穿透造成的影响,在Redis节点增减时能够不必思考局部数据无奈命中的问题。

分片模式的整体利用如下图所示,外围在于客户端的一致性Hash策略。

(援用自:www.cnblogs.com)

2.2 集群模式

集群模式实质属于服务器分片技术,由Redis集群自身提供分片性能,从Redis 3.0版本开始正式提供。

集群的原理是:一个 Redis 集群蕴含16384 个哈希槽(Hash slot), Redis保留的每个键都属于这16384个哈希槽的其中一个, 集群应用公式CRC16(key)%16384 来计算键 key 属于哪个槽, 其中 CRC16(key) 语句用于计算键key的CRC16校验和 。

集群中的每个节点负责解决一部分哈希槽。举个例子, 一个集群能够有三个哈希槽, 其中:

  • 节点 A 负责解决 0 号至 5500 号哈希槽。
  • 节点 B 负责解决 5501 号至 11000 号哈希槽。
  • 节点 C 负责解决 11001 号至 16383 号哈希槽。

Redis在集群模式下对于key的读写过程首先将对应的key值进行CRC16计算失去对应的哈希值,将哈希值对槽位总数取模映射到对应的槽位,最终映射到对应的节点进行读写。以命令set("key", "value")为例子,它会应用CRC16算法对key进行计算失去哈希值28989,而后对16384进行取模失去12605,最初找到12605对应的Redis节点,最终跳转到该节点执行set命令。

集群模式的整体利用如下图所示,外围在于集群哈希槽的设计以及重定向命令。

(援用自:www.jianshu.com)

三、Jedis的根底用法

// Jedis单机模式的拜访public void main(String[] args) {    // 创立Jedis对象    jedis = new Jedis("localhost", 6379);    // 执行hmget操作    jedis.hmget("foobar", "foo");    // 敞开Jedis对象    jedis.close();} // Jedis分片模式的拜访public void main(String[] args) {    HostAndPort redis1 = HostAndPortUtil.getRedisServers().get(0);    HostAndPort redis2 = HostAndPortUtil.getRedisServers().get(1);    List<JedisShardInfo> shards = new ArrayList<JedisShardInfo>(2);    JedisShardInfo shard1 = new JedisShardInfo(redis1);    JedisShardInfo shard2 = new JedisShardInfo(redis2);    // 创立ShardedJedis对象    ShardedJedis shardedJedis = new ShardedJedis(shards);    // 通过ShardedJedis对象执行set操作    shardedJedis.set("a", "bar");} // Jedis集群模式的拜访public void main(String[] args) {    // 构建redis的集群池    Set<HostAndPort> nodes = new HashSet<>();    nodes.add(new HostAndPort("127.0.0.1", 7001));    nodes.add(new HostAndPort("127.0.0.1", 7002));    nodes.add(new HostAndPort("127.0.0.1", 7003));     // 创立JedisCluster    JedisCluster cluster = new JedisCluster(nodes);     // 执行JedisCluster对象中的办法    cluster.set("cluster-test", "my jedis cluster test");    String result = cluster.get("cluster-test");}

Jedis通过创立Jedis的类对象来实现单机模式下的数据拜访,通过构建JedisCluster类对象来实现集群模式下的数据拜访。

要了解Jedis的拜访Redis的整个过程,能够通过先了解单机模式下的拜访流程,在这个根底上再剖析集群模式的拜访流程会比拟适合。

四、Jedis单机模式的拜访

Jedis拜访单机模式Redis的整体流程图如下所示,从图中能够看出外围的流程蕴含Jedis对象的创立以及通过Jedis对象实现Redis的拜访。

相熟Jedis拜访单机Redis的过程,自身就是须要理解Jedis的创立过程以及执行Redis命令的过程。

  • Jedis的创立过程外围在于创立Jedis对象以及Jedis外部变量Client对象。
  • Jedis拜访Redis的过程在于通过Jedis外部的Client对象拜访Redis。

4.1 创立过程

Jedis自身的类关系图如下图所示,从图中咱们可能看到Jedis继承自BinaryJedis类。

在BinaryJedis类中存在和Redis对接的Client类对象,Jedis通过父类的BinaryJedis的Client对象实现Redis的读写。

Jedis类在创立过程中通过父类BinaryJedis创立了Client对象,而理解Client对象是进一步了解拜访过程的要害。

public class Jedis extends BinaryJedis implements JedisCommands, MultiKeyCommands,    AdvancedJedisCommands, ScriptingCommands, BasicCommands, ClusterCommands, SentinelCommands, ModuleCommands {   protected JedisPoolAbstract dataSource = null;   public Jedis(final String host, final int port) {    // 创立父类BinaryJedis对象    super(host, port);  }} public class BinaryJedis implements BasicCommands, BinaryJedisCommands, MultiKeyBinaryCommands,    AdvancedBinaryJedisCommands, BinaryScriptingCommands, Closeable {   // 拜访redis的Client对象  protected Client client = null;   public BinaryJedis(final String host, final int port) {    // 创立Client对象拜访redis    client = new Client(host, port);  }}

Client类的类关系图如下图所示,Client对象继承自BinaryClient和Connection类。在BinaryClient类中存在Redis拜访明码等相干参数,在Connection类在存在拜访Redis的socket对象以及对应的输入输出流。实质上Connection是和Redis进行通信的外围类。

Client类在创立过程中初始化外围父类Connection对象,而Connection是负责和Redis间接进行通信。

public class Client extends BinaryClient implements Commands {  public Client(final String host, final int port) {    super(host, port);  }} public class BinaryClient extends Connection {  // 存储和Redis连贯的相干信息  private boolean isInMulti;  private String user;  private String password;  private int db;  private boolean isInWatch;   public BinaryClient(final String host, final int port) {    super(host, port);  }} public class Connection implements Closeable {  // 治理和Redis连贯的socket信息及对应的输入输出流  private JedisSocketFactory jedisSocketFactory;  private Socket socket;  private RedisOutputStream outputStream;  private RedisInputStream inputStream;  private int infiniteSoTimeout = 0;  private boolean broken = false;   public Connection(final String host, final int port, final boolean ssl,      SSLSocketFactory sslSocketFactory, SSLParameters sslParameters,      HostnameVerifier hostnameVerifier) {    // 构建DefaultJedisSocketFactory来创立和Redis连贯的Socket对象    this(new DefaultJedisSocketFactory(host, port, Protocol.DEFAULT_TIMEOUT,        Protocol.DEFAULT_TIMEOUT, ssl, sslSocketFactory, sslParameters, hostnameVerifier));  }}

4.2 拜访过程

以Jedis执行set命令为例,整个过程如下:

  • Jedis的set操作是通过Client的set操作来实现的。
  • Client的set操作是通过父类Connection的sendCommand来实现。
public class Jedis extends BinaryJedis implements JedisCommands, MultiKeyCommands,    AdvancedJedisCommands, ScriptingCommands, BasicCommands, ClusterCommands, SentinelCommands, ModuleCommands {  @Override  public String set(final String key, final String value) {    checkIsInMultiOrPipeline();    // client执行set操作    client.set(key, value);    return client.getStatusCodeReply();  }} public class Client extends BinaryClient implements Commands {  @Override  public void set(final String key, final String value) {    // 执行set命令    set(SafeEncoder.encode(key), SafeEncoder.encode(value));  }} public class BinaryClient extends Connection {  public void set(final byte[] key, final byte[] value) {    // 发送set指令    sendCommand(SET, key, value);  }} public class Connection implements Closeable {  public void sendCommand(final ProtocolCommand cmd, final byte[]... args) {    try {      // socket连贯redis      connect();      // 依照redis的协定发送命令      Protocol.sendCommand(outputStream, cmd, args);    } catch (JedisConnectionException ex) {    }  }}

五、Jedis分片模式的拜访

基于后面曾经介绍的Redis分片模式的一致性Hash的原理来了解Jedis的分片模式的拜访。

对于Redis分片模式的概念:Redis在3.0版本之前没有集群模式的概念,这导致单节点可能存储的数据无限,通过Redis的客户端如Jedis在客户端通过一致性Hash算法来实现数据的分片存储。

实质上Redis的分片模式跟Redis自身没有任何关系,只是通过客户端来解决单节点数据无限存储的问题。

ShardedJedis拜访Redis的外围在于构建对象的时候初始化一致性Hash对象,构建一致性Hash经典的Hash值和node的映射关系。构建完映射关系后执行set等操作就是Hash值到node的寻址过程,寻址实现后间接进行单节点的操作。

5.1 创立过程

ShardedJedis的创立过程在于父类的Sharded中对于一致性Hash相干的初始化过程,外围在于构建一致性的虚构节点以及虚构节点和Redis节点的映射关系。

源码中最外围的局部代码在于依据依据权重映射成未160个虚构节点,通过虚构节点来定位到具体的Redis节点。

public class Sharded<R, S extends ShardInfo<R>> {   public static final int DEFAULT_WEIGHT = 1;  // 保留虚构节点和redis的node节点的映射关系  private TreeMap<Long, S> nodes;  // hash算法  private final Hashing algo;  // 保留redis节点和拜访该节点的Jedis的连贯信息  private final Map<ShardInfo<R>, R> resources = new LinkedHashMap<>();   public Sharded(List<S> shards, Hashing algo) {    this.algo = algo;    initialize(shards);  }   private void initialize(List<S> shards) {    nodes = new TreeMap<>();    // 遍历每个redis的节点并设置hash值到节点的映射关系    for (int i = 0; i != shards.size(); ++i) {      final S shardInfo = shards.get(i);      // 依据权重映射成未160个虚构节点      int N =  160 * shardInfo.getWeight();      if (shardInfo.getName() == null) for (int n = 0; n < N; n++) {        // 构建hash值和节点映射关系        nodes.put(this.algo.hash("SHARD-" + i + "-NODE-" + n), shardInfo);      }      else for (int n = 0; n < N; n++) {        nodes.put(this.algo.hash(shardInfo.getName() + "*" + n), shardInfo);      }      // 保留每个节点的拜访对象      resources.put(shardInfo, shardInfo.createResource());    }  }}

5.2 拜访过程

ShardedJedis的拜访过程就是一致性Hash的计算过程,外围的逻辑就是:通过Hash算法对拜访的key进行Hash计算生成Hash值,依据Hash值获取对应Redis节点,依据对应的Redis节点获取对应的拜访对象Jedis。

获取拜访对象Jedis之后就能够间接进行命令操作。

public class Sharded<R, S extends ShardInfo<R>> {   public static final int DEFAULT_WEIGHT = 1;  private TreeMap<Long, S> nodes;  private final Hashing algo;  // 保留redis节点和拜访该节点的Jedis的连贯信息  private final Map<ShardInfo<R>, R> resources = new LinkedHashMap<>();   public R getShard(String key) {    // 依据redis节点找到对应的拜访对象Jedis    return resources.get(getShardInfo(key));  }   public S getShardInfo(String key) {    return getShardInfo(SafeEncoder.encode(getKeyTag(key)));  }   public S getShardInfo(byte[] key) {    // 针对拜访的key生成对应的hash值    // 依据hash值找到对应的redis节点    SortedMap<Long, S> tail = nodes.tailMap(algo.hash(key));    if (tail.isEmpty()) {      return nodes.get(nodes.firstKey());    }    return tail.get(tail.firstKey());  }}

六、Jedis集群模式的拜访

基于后面介绍的Redis的集群原理来了解Jedis的集群模式的拜访。

Jedis可能实现key和哈希槽的定位的外围机制在于哈希槽和Redis节点的映射,而这个发现过程基于Redis的cluster slot命令。

对于Redis集群操作的命令:Redis通过cluster slots会返回Redis集群的整体情况。返回每一个Redis节点的信息蕴含:

  • 哈希槽起始编号
  • 哈希槽完结编号
  • 哈希槽对应master节点,节点应用IP/Port示意
  • master节点的第一个正本
  • master节点的第二个正本
127.0.0.1:30001> cluster slots1) 1) (integer) 0 // 开始槽位   2) (integer) 5460 // 完结槽位   3) 1) "127.0.0.1" // master节点的host      2) (integer) 30001 // master节点的port      3) "09dbe9720cda62f7865eabc5fd8857c5d2678366" // 节点的编码   4) 1) "127.0.0.1" // slave节点的host      2) (integer) 30004 // slave节点的port      3) "821d8ca00d7ccf931ed3ffc7e3db0599d2271abf" // 节点的编码2) 1) (integer) 5461   2) (integer) 10922   3) 1) "127.0.0.1"      2) (integer) 30002      3) "c9d93d9f2c0c524ff34cc11838c2003d8c29e013"   4) 1) "127.0.0.1"      2) (integer) 30005      3) "faadb3eb99009de4ab72ad6b6ed87634c7ee410f"3) 1) (integer) 10923   2) (integer) 16383   3) 1) "127.0.0.1"      2) (integer) 30003      3) "044ec91f325b7595e76dbcb18cc688b6a5b434a1"   4) 1) "127.0.0.1"      2) (integer) 30006      3) "58e6e48d41228013e5d9c1c37c5060693925e97e"

Jedis拜访集群模式Redis的整体流程图如下所示,从图中能够看出外围的流程蕴含JedisCluster对象的创立以及通过JedisCluster对象实现Redis的拜访。

JedisCluster对象的创立外围在于创立JedisClusterInfoCache对象并通过集群发现来建设slot和集群节点的映射关系。

JedisCluster对Redis集群的拜访在于获取key所在的Redis节点并通过Jedis对象进行拜访。

6.1 创立过程

JedisCluster的类关系如下图所示,在图中能够看到外围变量JedisSlotBasedConnectionHandler对象。

JedisCluster的父类BinaryJedisCluster创立了JedisSlotBasedConnectionHandler对象,该对象负责和Redis的集群进行通信。

public class JedisCluster extends BinaryJedisCluster implements JedisClusterCommands,    MultiKeyJedisClusterCommands, JedisClusterScriptingCommands {  public JedisCluster(Set<HostAndPort> jedisClusterNode, int connectionTimeout, int soTimeout,      int maxAttempts, String password, String clientName, final GenericObjectPoolConfig poolConfig,      boolean ssl, SSLSocketFactory sslSocketFactory, SSLParameters sslParameters,      HostnameVerifier hostnameVerifier, JedisClusterHostAndPortMap hostAndPortMap) {     // 拜访父类BinaryJedisCluster    super(jedisClusterNode, connectionTimeout, soTimeout, maxAttempts, password, clientName, poolConfig,        ssl, sslSocketFactory, sslParameters, hostnameVerifier, hostAndPortMap);  }} public class BinaryJedisCluster implements BinaryJedisClusterCommands,    MultiKeyBinaryJedisClusterCommands, JedisClusterBinaryScriptingCommands, Closeable {  public BinaryJedisCluster(Set<HostAndPort> jedisClusterNode, int connectionTimeout, int soTimeout,      int maxAttempts, String user, String password, String clientName, GenericObjectPoolConfig poolConfig,      boolean ssl, SSLSocketFactory sslSocketFactory, SSLParameters sslParameters,      HostnameVerifier hostnameVerifier, JedisClusterHostAndPortMap hostAndPortMap) {     // 创立JedisSlotBasedConnectionHandler对象    this.connectionHandler = new JedisSlotBasedConnectionHandler(jedisClusterNode, poolConfig,        connectionTimeout, soTimeout, user, password, clientName, ssl, sslSocketFactory, sslParameters, hostnameVerifier, hostAndPortMap);     this.maxAttempts = maxAttempts;  }}

JedisSlotBasedConnectionHandler的外围在于创立并初始化JedisClusterInfoCache对象,该对象缓存了Redis集群的信息。

JedisClusterInfoCache对象的初始化过程通过initializeSlotsCache来实现,次要目标用于实现集群节点和槽位发现。

public class JedisSlotBasedConnectionHandler extends JedisClusterConnectionHandler {  public JedisSlotBasedConnectionHandler(Set<HostAndPort> nodes, GenericObjectPoolConfig poolConfig,      int connectionTimeout, int soTimeout, String user, String password, String clientName,      boolean ssl, SSLSocketFactory sslSocketFactory, SSLParameters sslParameters,      HostnameVerifier hostnameVerifier, JedisClusterHostAndPortMap portMap) {     super(nodes, poolConfig, connectionTimeout, soTimeout, user, password, clientName,        ssl, sslSocketFactory, sslParameters, hostnameVerifier, portMap);  }} public abstract class JedisClusterConnectionHandler implements Closeable {  public JedisClusterConnectionHandler(Set<HostAndPort> nodes, final GenericObjectPoolConfig poolConfig,      int connectionTimeout, int soTimeout, int infiniteSoTimeout, String user, String password, String clientName,      boolean ssl, SSLSocketFactory sslSocketFactory, SSLParameters sslParameters,      HostnameVerifier hostnameVerifier, JedisClusterHostAndPortMap portMap) {     // 创立JedisClusterInfoCache对象    this.cache = new JedisClusterInfoCache(poolConfig, connectionTimeout, soTimeout, infiniteSoTimeout,        user, password, clientName, ssl, sslSocketFactory, sslParameters, hostnameVerifier, portMap);     // 初始化jedis的Slot信息    initializeSlotsCache(nodes, connectionTimeout, soTimeout, infiniteSoTimeout,        user, password, clientName, ssl, sslSocketFactory, sslParameters, hostnameVerifier);  }    private void initializeSlotsCache(Set<HostAndPort> startNodes,      int connectionTimeout, int soTimeout, int infiniteSoTimeout, String user, String password, String clientName,      boolean ssl, SSLSocketFactory sslSocketFactory, SSLParameters sslParameters, HostnameVerifier hostnameVerifier) {    for (HostAndPort hostAndPort : startNodes) {       try (Jedis jedis = new Jedis(hostAndPort.getHost(), hostAndPort.getPort(), connectionTimeout,          soTimeout, infiniteSoTimeout, ssl, sslSocketFactory, sslParameters, hostnameVerifier)) {         // 通过discoverClusterNodesAndSlots进行集群发现        cache.discoverClusterNodesAndSlots(jedis);        return;      } catch (JedisConnectionException e) {      }    }  }}

JedisClusterInfoCache的nodes用来保留Redis集群的节点信息,slots用来保留槽位和集群节点的信息。

nodes和slots维持的对象都是JedisPool对象,该对象维持了和Redis的连贯信息。集群的发现过程由discoverClusterNodesAndSlots来实现,实质是执行Redis的集群发现命令cluster slots实现的。

public class JedisClusterInfoCache {  // 负责保留redis集群的节点信息  private final Map<String, JedisPool> nodes = new HashMap<>();  // 负责保留redis的槽位和redis节点的映射关系  private final Map<Integer, JedisPool> slots = new HashMap<>();   // 负责集群的发现逻辑  public void discoverClusterNodesAndSlots(Jedis jedis) {    w.lock();     try {      reset();      List<Object> slots = jedis.clusterSlots();       for (Object slotInfoObj : slots) {        List<Object> slotInfo = (List<Object>) slotInfoObj;         if (slotInfo.size() <= MASTER_NODE_INDEX) {          continue;        }        // 获取redis节点对应的槽位信息        List<Integer> slotNums = getAssignedSlotArray(slotInfo);         // hostInfos        int size = slotInfo.size();        for (int i = MASTER_NODE_INDEX; i < size; i++) {          List<Object> hostInfos = (List<Object>) slotInfo.get(i);          if (hostInfos.isEmpty()) {            continue;          }           HostAndPort targetNode = generateHostAndPort(hostInfos);          // 负责保留redis节点信息          setupNodeIfNotExist(targetNode);          if (i == MASTER_NODE_INDEX) {            // 负责保留槽位和redis节点的映射关系            assignSlotsToNode(slotNums, targetNode);          }        }      }    } finally {      w.unlock();    }  }   public void assignSlotsToNode(List<Integer> targetSlots, HostAndPort targetNode) {    w.lock();    try {      JedisPool targetPool = setupNodeIfNotExist(targetNode);      // 保留槽位和对应的JedisPool对象      for (Integer slot : targetSlots) {        slots.put(slot, targetPool);      }    } finally {      w.unlock();    }  }   public JedisPool setupNodeIfNotExist(HostAndPort node) {    w.lock();    try {      // 生产redis节点对应的nodeKey      String nodeKey = getNodeKey(node);      JedisPool existingPool = nodes.get(nodeKey);      if (existingPool != null) return existingPool;      // 生产redis节点对应的JedisPool      JedisPool nodePool = new JedisPool(poolConfig, node.getHost(), node.getPort(),          connectionTimeout, soTimeout, infiniteSoTimeout, user, password, 0, clientName,          ssl, sslSocketFactory, sslParameters, hostnameVerifier);      // 保留redis节点的key和对应的JedisPool对象      nodes.put(nodeKey, nodePool);      return nodePool;    } finally {      w.unlock();    }  }}

JedisPool的类关系如下图所示,其中外部internalPool是通过apache common pool来实现的池化。

JedisPool外部的internalPool通过JedisFactory的makeObject来创立Jedis对象。

每个Redis节点都会对应一个JedisPool对象,通过JedisPool来治理Jedis的申请开释复用等。

public class JedisPool extends JedisPoolAbstract {   public JedisPool() {    this(Protocol.DEFAULT_HOST, Protocol.DEFAULT_PORT);  }} public class JedisPoolAbstract extends Pool<Jedis> {   public JedisPoolAbstract() {    super();  }} public abstract class Pool<T> implements Closeable {  protected GenericObjectPool<T> internalPool;   public void initPool(final GenericObjectPoolConfig poolConfig, PooledObjectFactory<T> factory) {    if (this.internalPool != null) {      try {        closeInternalPool();      } catch (Exception e) {      }    }    this.internalPool = new GenericObjectPool<>(factory, poolConfig);  }} class JedisFactory implements PooledObjectFactory<Jedis> {     @Override  public PooledObject<Jedis> makeObject() throws Exception {    // 创立Jedis对象    final HostAndPort hp = this.hostAndPort.get();    final Jedis jedis = new Jedis(hp.getHost(), hp.getPort(), connectionTimeout, soTimeout,        infiniteSoTimeout, ssl, sslSocketFactory, sslParameters, hostnameVerifier);     try {      // Jedis对象连接      jedis.connect();      if (user != null) {        jedis.auth(user, password);      } else if (password != null) {        jedis.auth(password);      }      if (database != 0) {        jedis.select(database);      }      if (clientName != null) {        jedis.clientSetname(clientName);      }    } catch (JedisException je) {      jedis.close();      throw je;    }    // 将Jedis对象包装成DefaultPooledObject进行返回    return new DefaultPooledObject<>(jedis);  }}

6.2 拜访过程

JedisCluster拜访Redis的过程通过JedisClusterCommand来实现重试机制,最终通过Jedis对象来实现拜访。从实现的角度来说JedisCluster是在Jedis之上封装了一层,进行集群节点定位以及重试机制等。

以set命令为例,整个拜访通过JedisClusterCommand实现如下:

  • 计算key所在的Redis节点。
  • 获取Redis节点对应的Jedis对象。
  • 通过Jedis对象进行set操作。
public class JedisCluster extends BinaryJedisCluster implements JedisClusterCommands,    MultiKeyJedisClusterCommands, JedisClusterScriptingCommands {   @Override  public String set(final String key, final String value, final SetParams params) {    return new JedisClusterCommand<String>(connectionHandler, maxAttempts) {      @Override      public String execute(Jedis connection) {        return connection.set(key, value, params);      }    }.run(key);  }}

JedisClusterCommand的run办法外围次要定位Redis的key所在的Redis节点,而后获取与该节点对应的Jedis对象进行拜访。

在Jedis对象拜访异样后,JedisClusterCommand会进行重试操作并依照肯定策略执行renewSlotCache办法进行重集群节点重发现动作。

public abstract class JedisClusterCommand<T> {  public T run(String key) {    // 针对key进行槽位的计算    return runWithRetries(JedisClusterCRC16.getSlot(key), this.maxAttempts, false, null);  }     private T runWithRetries(final int slot, int attempts, boolean tryRandomNode, JedisRedirectionException redirect) {     Jedis connection = null;    try {       if (redirect != null) {        connection = this.connectionHandler.getConnectionFromNode(redirect.getTargetNode());        if (redirect instanceof JedisAskDataException) {          connection.asking();        }      } else {        if (tryRandomNode) {          connection = connectionHandler.getConnection();        } else {          // 依据slot去获取Jedis对象          connection = connectionHandler.getConnectionFromSlot(slot);        }      }      // 执行真正的Redis的命令      return execute(connection);    } catch (JedisNoReachableClusterNodeException jnrcne) {      throw jnrcne;    } catch (JedisConnectionException jce) {       releaseConnection(connection);      connection = null;       if (attempts <= 1) {        // 保障最初两次机会去从新刷新槽位和节点的对应的信息        this.connectionHandler.renewSlotCache();      }      // 依照重试次数进行重试操作      return runWithRetries(slot, attempts - 1, tryRandomNode, redirect);    } catch (JedisRedirectionException jre) {      // 针对返回Move命令立刻触发从新刷新槽位和节点的对应信息      if (jre instanceof JedisMovedDataException) {        // it rebuilds cluster's slot cache recommended by Redis cluster specification        this.connectionHandler.renewSlotCache(connection);      }       releaseConnection(connection);      connection = null;       return runWithRetries(slot, attempts - 1, false, jre);    } finally {      releaseConnection(connection);    }  }}

JedisSlotBasedConnectionHandler的cache对象维持了slot和node的映射关系,通过getConnectionFromSlot办法来获取该slot对应的Jedis对象。

public class JedisSlotBasedConnectionHandler extends JedisClusterConnectionHandler {   protected final JedisClusterInfoCache cache;   @Override  public Jedis getConnectionFromSlot(int slot) {    // 获取槽位对应的JedisPool对象    JedisPool connectionPool = cache.getSlotPool(slot);    if (connectionPool != null) {      // 从JedisPool对象中获取Jedis对象      return connectionPool.getResource();    } else {      // 获取失败就从新刷新槽位信息      renewSlotCache();      connectionPool = cache.getSlotPool(slot);      if (connectionPool != null) {        return connectionPool.getResource();      } else {        //no choice, fallback to new connection to random node        return getConnection();      }    }  }}

七、Jedis的Pipeline实现

Pipeline的技术核心思想是将多个命令发送到服务器而不必期待回复,最初在一个步骤中读取该回答。这种模式的益处在于节俭了申请响应这种模式的网络开销。

Redis的一般命令如set和Pipeline批量操作的外围的差异在于set命令的操作会间接发送申请到Redis并同步期待后果返回,而Pipeline的操作会发送申请但不立刻同步期待后果返回,具体的实现能够从Jedis的源码一探到底。

原生的Pipeline在集群模式下相干的key必须Hash到同一个节点能力失效,起因在于Pipeline下的Client对象只能其中的一个节点建设了连贯。

在集群模式下归属于不同节点的key可能应用Pipeline就须要针对每个key保留对应的节点的client对象,在最初执行获取数据的时候一并获取。实质上能够认为在单节点的Pipeline的根底上封装成一个集群式的Pipeline。

7.1 Pipeline用法剖析

Pipeline拜访单节点的Redis的时候,通过Jedis对象的Pipeline办法返回Pipeline对象,其余的命令操作通过该Pipeline对象进行拜访。

Pipeline从应用角度来剖析,会批量发送多个命令并最初对立应用syncAndReturnAll来一次性返回后果。

public void pipeline() {    jedis = new Jedis(hnp.getHost(), hnp.getPort(), 500);    Pipeline p = jedis.pipelined();    // 批量发送命令到redis    p.set("foo", "bar");    p.get("foo");    // 同步期待响应后果    List<Object> results = p.syncAndReturnAll();     assertEquals(2, results.size());    assertEquals("OK", results.get(0));    assertEquals("bar", results.get(1)); }  public abstract class PipelineBase extends Queable implements BinaryRedisPipeline, RedisPipeline {   @Override  public Response<String> set(final String key, final String value) {    // 发送命令    getClient(key).set(key, value);    // pipeline的getResponse只是把待响应的申请聚合到pipelinedResponses对象当中    return getResponse(BuilderFactory.STRING);  }}  public class Queable {   private Queue<Response<?>> pipelinedResponses = new LinkedList<>();  protected <T> Response<T> getResponse(Builder<T> builder) {    Response<T> lr = new Response<>(builder);    // 对立保留到响应队列当中    pipelinedResponses.add(lr);    return lr;  }}  public class Pipeline extends MultiKeyPipelineBase implements Closeable {   public List<Object> syncAndReturnAll() {    if (getPipelinedResponseLength() > 0) {      // 依据批量发送命令的个数即须要批量返回命令的个数,通过client对象进行批量读取      List<Object> unformatted = client.getMany(getPipelinedResponseLength());      List<Object> formatted = new ArrayList<>();      for (Object o : unformatted) {        try {          // 格式化每个返回的后果并最终保留在列表中进行返回          formatted.add(generateResponse(o).get());        } catch (JedisDataException e) {          formatted.add(e);        }      }      return formatted;    } else {      return java.util.Collections.<Object> emptyList();    }  }}

一般set命令发送申请给Redis后立刻通过getStatusCodeReply来获取响应后果,所以这是一种申请响应的模式。

getStatusCodeReply在获取响应后果的时候会通过flush()命令强制发送报文到Redis服务端而后通过读取响应后果。

public class BinaryJedis implements BasicCommands, BinaryJedisCommands, MultiKeyBinaryCommands,    AdvancedBinaryJedisCommands, BinaryScriptingCommands, Closeable {   @Override  public String set(final byte[] key, final byte[] value) {    checkIsInMultiOrPipeline();    // 发送命令    client.set(key, value);    // 期待申请响应    return client.getStatusCodeReply();  }}  public class Connection implements Closeable {  public String getStatusCodeReply() {    // 通过flush立刻发送申请    flush();    // 解决响应申请    final byte[] resp = (byte[]) readProtocolWithCheckingBroken();    if (null == resp) {      return null;    } else {      return SafeEncoder.encode(resp);    }  }}  public class Connection implements Closeable {  protected void flush() {    try {      // 针对输入流进行flush操作保障报文的收回      outputStream.flush();    } catch (IOException ex) {      broken = true;      throw new JedisConnectionException(ex);    }  }}

八、结束语

Jedis作为Redis官网首选的Java客户端开发包,反对绝大部分的Redis的命令,也是日常中应用较多的Redis客户端。

理解了Jedis的实现原理,除了可能反对Redis的日常操作外,还能更好的应答Redis的额定操作诸如扩容时的技术选型。

通过介绍Jedis针对单机模式、分配模式、集群模式三种场景拜访形式,让大家有个从宏观到宏观的了解过程,把握Jedis的核心思想并更好的利用到实际当中。

作者:vivo互联网服务器团队-Wang Zhi