乐趣区

关于java:Redis开发注意项

jiezi

一、键值设计

1. key 名设计

(1)【倡议】: 可读性和可管理性

以业务名 (或数据库名) 为前缀(避免 key 抵触)，用冒号分隔，比方业务名: 表名:id
ugc:video:1

(2)【倡议】：简洁性

保障语义的前提下，管制 key 的长度，当 key 较多时，内存占用也不容忽视，例如：
user:{uid}:friends:messages:{mid}简化为 u:{uid}:fr:m:{mid}

(3)【强制】：不要蕴含特殊字符

反例： 蕴含空格、换行、单双引号以及其余转义字符

2. value 设计

(1)【强制】：回绝 bigkey(避免网卡流量、慢查问)

string类型管制在 10KB 以内，hash、list、set、zset元素个数不要超过 5000。

反例： 一个蕴含 200 万个元素的list。

非字符串的 bigkey，不要应用 del 删除，应用 hscan、sscan、zscan 形式渐进式删除，同时要留神避免 bigkey 过期工夫主动删除问题 (例如一个 200 万的 zset 设置 1 小时过期， 会触发 del 操作，造成阻塞，而且该操作不会呈现在慢查问中(latency 可查))。

(2)【举荐】：抉择适宜的数据类型。

例如：实体类型(要正当管制和应用数据结构内存编码优化配置, 例如ziplist，但也要留神节俭内存和性能之间的均衡)

反例：
set user:1:name tom
set user:1:age 19
set user:1:favor football

正例:
hmset user:1 name tom age 19 favor football

二、命令应用

1.【举荐】O(N)命令关注 N 的数量

例如 hgetall、lrange、smembers、zrange、sinter 等并非不能应用，然而须要明确 N 的值。有遍历的需要能够应用hscan、sscan、zscan 代替。

2.【举荐】：禁用命令

禁止线上应用 keys、flushall、flushdb 等，通过 redis 的 rename 机制禁掉命令，或者应用 scan 的形式渐进式解决。

3.【举荐】正当应用 select

redis 的多数据库较弱，应用数字进行辨别，很多客户端反对较差，同时多业务用多数据库理论还是单线程解决，会有烦扰。

4.【举荐】应用批量操作提高效率

原生命令：例如 mget、mset。
非原生命令：能够应用 pipeline 提高效率。
但要留神管制一次批量操作的元素个数 (例如 500 以内，理论也和元素字节数无关)。

留神两者不同：

  1. 原生是原子操作，pipeline 是非原子操作。
  2. pipeline 能够打包不同的命令，原生做不到。
  3. pipeline 须要客户端和服务端同时反对。
  4. 【倡议】Redis 事务性能较弱，不倡议过多应用。

5.【倡议】Redis 事务性能较弱，不倡议过多应用

Redis 的事务性能较弱 (不反对回滚)，而且 集群版本 (自研和官网) 要求一次事务操作的 key 必须在一个 slot 上(能够应用 hashtag 性能解决)

6.【倡议】Redis 集群版本在应用 Lua 上有特殊要求：

  1. 所有 key 都应该由 KEYS 数组来传递，redis.call/pcall 外面调用的 redis 命令，key 的地位，必须是 KEYS array, 否则间接返回 error，”-ERR bad lua script for redis cluster, all the keys that the script uses should be passed using the KEYS array”
  2. 所有 key，必须在 1 个 slot 上，否则间接返回 error, “-ERR eval/evalsha command keys must in same slot”

7.【倡议】必要状况下应用 monitor 命令时，要留神不要长时间应用。

三、客户端应用

1. 删除策略

依据本身业务类型，选好 maxmemory-policy(最大内存淘汰策略)，设置好过期工夫。

默认策略是volatile-lru，即超过最大内存后，在过期键中应用 lru 算法进行 key 的剔除，保障不过期数据不被删除，然而可能会呈现 OOM 问题。

其余策略如下：

  1. allkeys-lru：依据 LRU 算法删除键，不论数据有没有设置超时属性，直到腾出足够空间为止。
  2. allkeys-random：随机删除所有键，直到腾出足够空间为止。
  3. volatile-random：随机删除过期键，直到腾出足够空间为止。
  4. volatile-ttl：依据键值对象的 ttl 属性，删除最近将要过期数据。如果没有，回退到 noeviction 策略。
  5. noeviction：不会剔除任何数据，回绝所有写入操作并返回客户端错误信息 ”(error) OOM command not allowed when used memory”，此时 Redis 只响应读操作。

四、删除 bigkey

1. 上面操作能够应用 pipeline 减速。
2. redis 4.0 曾经反对 key 的异步删除

1. Hash 删除: hscan + hdel

public void delBigHash(String host, int port, String password, String bigHashKey) {Jedis jedis = new Jedis(host, port);
    if (password != null && !"".equals(password)) {jedis.auth(password);
    }
    ScanParams scanParams = new ScanParams().count(100);
    String cursor = "0";
    do {ScanResult<Entry<String, String>> scanResult = jedis.hscan(bigHashKey, cursor, scanParams);
        List<Entry<String, String>> entryList = scanResult.getResult();
        if (entryList != null && !entryList.isEmpty()) {for (Entry<String, String> entry : entryList) {jedis.hdel(bigHashKey, entry.getKey());
            }
        }
        cursor = scanResult.getStringCursor();} while (!"0".equals(cursor));

    // 删除 bigkey
    jedis.del(bigHashKey);
}

2. List 删除: ltrim

public void delBigList(String host, int port, String password, String bigListKey) {Jedis jedis = new Jedis(host, port);
    if (password != null && !"".equals(password)) {jedis.auth(password);
    }
    long llen = jedis.llen(bigListKey);
    int counter = 0;
    int left = 100;
    while (counter < llen) {
        // 每次从左侧截掉 100 个
        jedis.ltrim(bigListKey, left, llen);
        counter += left;
    }
    // 最终删除 key
    jedis.del(bigListKey);
}

3. Set 删除: sscan + srem

public void delBigSet(String host, int port, String password, String bigSetKey) {Jedis jedis = new Jedis(host, port);
    if (password != null && !"".equals(password)) {jedis.auth(password);
    }
    ScanParams scanParams = new ScanParams().count(100);
    String cursor = "0";
    do {ScanResult<String> scanResult = jedis.sscan(bigSetKey, cursor, scanParams);
        List<String> memberList = scanResult.getResult();
        if (memberList != null && !memberList.isEmpty()) {for (String member : memberList) {jedis.srem(bigSetKey, member);
            }
        }
        cursor = scanResult.getStringCursor();} while (!"0".equals(cursor));

    // 删除 bigkey
    jedis.del(bigSetKey);
}

4. SortedSet 删除: zscan + zrem

public void delBigZset(String host, int port, String password, String bigZsetKey) {Jedis jedis = new Jedis(host, port);
    if (password != null && !"".equals(password)) {jedis.auth(password);
    }
    ScanParams scanParams = new ScanParams().count(100);
    String cursor = "0";
    do {ScanResult<Tuple> scanResult = jedis.zscan(bigZsetKey, cursor, scanParams);
        List<Tuple> tupleList = scanResult.getResult();
        if (tupleList != null && !tupleList.isEmpty()) {for (Tuple tuple : tupleList) {jedis.zrem(bigZsetKey, tuple.getElement());
            }
        }
        cursor = scanResult.getStringCursor();} while (!"0".equals(cursor));

    // 删除 bigkey
    jedis.del(bigZsetKey);
}

本文整顿自：https://mp.weixin.qq.com/s/XI…

退出移动版