@TOC

Redis概述 ✍

什么是Redis

Redis是Remote Dictionary Server(近程字典服务器)的缩写，能够作为高效的缓存。
Redis应用C语言开发，将数据保留在内存中，能够看成是一款纯内存的数据库，所以它的数据存取速度十分快。

Redis通过键值对的模式来存储数据。Redis的Key只能是String类型，Value值则能够是String类型，Map类型、List(列表)类型、Set(汇合)类型、SortedSet(有序汇合)等类型。

为什么用Redis做缓存

相比于其余的键值对内存数据库，Redis有如下特点：

  • 速度快。不须要期待磁盘IO，而是在内存之间进行数据存储和查问，速度十分快。缓存的数据总量不能太大，因为受到物理内存空间大小的限度
  • 丰盛的数据结构
  • 单线程，防止了线程切换和锁机制的性能耗费 ，不过6.0后是多线程了
  • 可长久化，反对RDB与AOF两种形式，将内存中的数据写入内部的物理存储设备
  • 反对公布、订阅
  • 反对Lua脚本
  • 反对分布式锁
  • 反对原子操作和事务
  • 反对主从复制和高可用集群
  • 反对管道，Redis管道是指客户端能够将多个命令一次性发送到服务器，而后由服务器一次性返回所有后果。管道技术的长处是，在批量执行命令的利用场景中，能够大大减少网络传输开销，进步性能

Redis装置启动

下载配置一下Redis

Linux服务器上： 下载： wget http://download.redis.io/releases/redis-4.0.10.tar.gz 解压 tar -zxvf redis-4.0.10.tar.gz cd redis-4.0.10 make MALLOC=libc （要求已装置gcc） make install

批改redis.conf文件





> redis-server redis.conf  启动> redis-cli -a password  连贯

也能够在命令行敞开：redis-cli -p 6379 -a your_password shutdown
压测工具：redis-benchmark -h localhost -p 6379 -c 50 -n 10000具体可用参数翻文档

Redis配置文件解读 ⚙















Redis数据类型 ✍

String字符串

Redis本人构建了简略的动静字符串SDS(相似ArrayList，预调配冗余空间)，没有用c语言原生的。
String类型既能够存储文字，又能够存储数数字，还能够存储二进制数据。

127.0.0.1:6379> set foo nameOK127.0.0.1:6379> mset f1 str f2 strr f3 strrrOK127.0.0.1:6379> get foo"name"127.0.0.1:6379> get f1"str"127.0.0.1:6379> mget f1 f2 f31) "str"2) "strr"3) "strrr"127.0.0.1:6379> strlen f1(integer) 3127.0.0.1:6379> set n1 1.0OK127.0.0.1:6379> get n1"1.0"127.0.0.1:6379> set n2 1OK127.0.0.1:6379> incr n2(integer) 2127.0.0.1:6379> set bina1 101110OK127.0.0.1:6379> get bina1"101110"
利用场景
  • 缓存，String是很多语言都有的类型
  • 计数器，应用Redis做零碎的实时计数器
  • 共享用户Session，用户刷新一次页面，可能须要拜访一下数据进行从新登录，或者拜访页面缓存Cookie，能够利用Redis将用户的Session集中管理，只须要保障Redis的高可用，每次用户Session的更新和获取都能够疾速实现。

List列表

Redis的List类型是基于双向链表实现的，能够反对正向、反向查找和遍历。List列表是简略的字符串列表，字符串依照增加的程序排列。能够增加一个元素到List列表的头部或尾部。
一个List列表最多能够蕴含2^32^-1个元素。

List列表的典型利用场景

网络社区中最新的发帖列表、简略的音讯队列、最新新闻的分页列表、博客的评论列表、排队零碎等。

比方在秒杀流动中，短时间有大量的用户申请发向服务器，而后盾的程序不可能立刻响应每一个用户的申请。须要一个排队零碎，依据用户的申请工夫，将用户的申请放入List队列中，后台程序顺次从队列中获取工作，解决并将后果返回到后果队列。

  • 音讯队列：List的链表构造能够实现阻塞队列，应用左进右出的命令来实现队列的设计，比方生产者通过Lpush从右边插入数据，多个消费者用BRpop命令阻塞地抢左边的数据。
  • 文章列表、分页展现：能够应用List做分页展现，能够通过lrange命令获取某个闭区间的元素，实现分页查问，还能够做成下拉一直分页那种。
127.0.0.1:6379> set ts taylorOK127.0.0.1:6379> get ts"taylor"127.0.0.1:6379> rpush ts a b c(error) WRONGTYPE Operation against a key holding the wrong kind of value127.0.0.1:6379> del ts(integer) 1127.0.0.1:6379> rpush ts a b c(integer) 3127.0.0.1:6379> lpush ts 1 3 4(integer) 6127.0.0.1:6379> llen ts(integer) 6127.0.0.1:6379> rpop ts"c"127.0.0.1:6379> lpop ts"4"127.0.0.1:6379> lrange ts(error) ERR wrong number of arguments for 'lrange' command127.0.0.1:6379> lrange ts 0(error) ERR wrong number of arguments for 'lrange' command127.0.0.1:6379> llen ts(integer) 4127.0.0.1:6379> lrange ts 0 31) "3"2) "1"3) "a"4) "b"127.0.0.1:6379> lindex ts 0"3"127.0.0.1:6379> lset ts 0 5OK127.0.0.1:6379> lrange ts 0 31) "5"2) "1"3) "a"4) "b"

Hash

Redis中的Hash(哈希表)是一个String类型的Field(字段)和Value(值)之间的映射表。基于数组加链表实现。（？像Java中的HashMap）
在同一个哈希表中，每个字段的名字必须是惟一的。

127.0.0.1:6379> hset hm 001 alice(integer) 1127.0.0.1:6379> hget hm 001"alice"127.0.0.1:6379> hdel hm 001(integer) 1127.0.0.1:6379> hexists hm 001(integer) 0127.0.0.1:6379> hset hm 001 alice(integer) 1127.0.0.1:6379> hset hm 002 bob(integer) 1127.0.0.1:6379> hexists hm 002(integer) 1127.0.0.1:6379> hkeys hm1) "001"2) "002"127.0.0.1:6379> hvals hm1) "alice"2) "bob"

Set

Set汇合也是一个列表，能够主动去掉反复元素，所以能够去实现全局去重。

底层应用了intset和hashtable两种数据结构存储的，intset咱们能够了解为数组，hashtable就是一般的哈希表（key为set的值，value为null）

Set领有一个命令，可用于判断某个元素是否存在，而List类型并没有这种性能的命令。

通过Set类型的命令能够疾速地向汇合增加元素，或者从汇合外面删除元素，也能够对多个Set进行汇合运算，例如并集、交加、差集，这个能够用来实现找独特好友那种性能。

127.0.0.1:6379> sadd st 001(integer) 1127.0.0.1:6379> sadd st 001(integer) 0127.0.0.1:6379> sadd st 002 003 004(integer) 3127.0.0.1:6379> srem st 002(integer) 1127.0.0.1:6379> sismember st 002(integer) 0127.0.0.1:6379> sismember st 003(integer) 1127.0.0.1:6379> scard st(integer) 3127.0.0.1:6379> smembers st1) "004"2) "003"3) "001"

ZSet

ZSet(有序汇合)和Set(汇合)的应用场景相似，区别是Zset会依据提供的score参数主动排序。
当须要一个不反复且有序的汇合列表时，能够抉择ZSet。

Zset的每个元素都关联着一个分值(Score)，这是一个浮点数格局的关联值。ZSet会依据分值按从大到小的程序来排列各个元素。

zset也有两种不同的实现，别离是zipList和skipList

  • zipList：满足以下两个条件

    [score,value]键值对数量少于128个；
    每个元素的长度小于64字节；

  • skipList：不满足以上两个条件时应用跳表、组合了hash和skipList

    hash用来存储value到score的映射，这样就能够在O(1)工夫内找到value对应的分数；
    skipList依照从小到大的顺序存储分数
    skipList每个元素的值都是[socre,value]对
127.0.0.1:6379> zadd salary 1000 user001(integer) 1127.0.0.1:6379> zadd salary 2000 user002(integer) 1127.0.0.1:6379> zadd salary 3000 user003(integer) 1127.0.0.1:6379> zadd salary 4000 user004(integer) 1127.0.0.1:6379> type salaryzset127.0.0.1:6379> zrank salary user004(integer) 3127.0.0.1:6379> zrem salary user004(integer) 1127.0.0.1:6379> zrank salary user004(nil)127.0.0.1:6379> zincrby salary 200 user002"2200"127.0.0.1:6379> zcard salary(integer) 3127.0.0.1:6379> zcount salary 1000 4000(integer) 3127.0.0.1:6379> zrangebyscore salary 1000 30001) "user001"2) "user002"3) "user003"
利用场景
  • 排行榜
  • 带权重的队列，让重要的工作先执行

Redis的外部扩容机制

Redis是一个键值对数据库，Redis服务器中的所有数据保留在db数组中，数据库的构造是redis.h/redisDb，其中，redisDb构造的dict字典保留了数据库中的所有键值对，所以，说起Redis的扩容机制，指的是字典中的哈希表的rehash(从新散列)操作。

哈希表保留的键值对会逐步地增多或者缩小，当字典内数据过大时，会导致更多的键抵触。
当数据缩小时，曾经调配的内存还在占用，会造成内存节约。

渐进式rehash 的具体步骤： （准确性待钻研，临时这么表述）
  • 为ht[1] 调配空间，让字典同时持有ht[0]和ht[1]两个哈希表
  • 在几点钟维持一个索引计数器变量rehashidx，并将它的值设置为0，示意rehash 开始
  • 在rehash 进行期间，每次对字典执行CRUD操作时，程序除了执行指定的操作以外，还会将ht[0]中的数据rehash 到ht[1]表中，并且将rehashidx加一
  • 当ht[0]中所有数据转移到ht[1]中时，将rehashidx 设置成-1，示意rehash 完结

采纳渐进式rehash 的益处在于它采取分而治之的形式，防止了集中式rehash 带来的宏大计算量。

Redis怎么删除大Key

1. 非String的bigkey

Hash、ZSet、List、Set 与日俱增越来越大，比方到GB了，如果间接应用del删除会导致长时间阻塞。

del命令在删除汇合类型数据时，工夫复杂度为O(M)，M是汇合中元素的个数。

Redis是单线程的，单个命令执行工夫过长就会阻塞其余命令，容易引起缓存雪崩。

解决方案：

  • 渐进式删除

    分批删除，通过scan命令遍历大Key，每次获得少部分元素，对其删除，而后再获取和删除下一批元素。hscan、sscan、zscan。

  • unlink：

    unlink命令由Redis 4.0推出，在所有命名空间中把Key删除，立刻返回，不阻塞；后盾线程执行真正的开释空间的操作。

三种非凡数据类型

geospatial 地理位置

定位、间隔计算。

geoadd geoposgeodistgeoradius……

Hyperloglog

HyperLogLog是一个专门为了计算汇合的基数而创立的概率算法。(不反复的元素的个数)。
对于一个给定的汇合，HyperLogLog能够计算出整个汇合的近似基数：近似基数并非汇合的理论基数，它可能会比理论的基数小一点或者大一点，然而估算基数和理论基数之间的误差会处于一个正当的范畴之内。因而那些不须要晓得理论基数或者因为条件限度而无奈计算出理论基数的程序就能够把这个近似基数当作汇合的基数来应用。

pfadd  对汇合元素进行计数pfcount 返回汇合的近似基数pfmerge 计算多个HyperLogLog的并集

Bitmap

Redis的位图(bitmap)是由多个二进制位组成的数组，数组中的每个二进制位都有与之对应的偏移量(也称索引)，用户通过对这些偏移量能够对位图中指定的一个或多个二进制位进行操作。

setmit 设置二进制位的值>> setbit bitmap001 0 1>> setbit bitmap002 10 1getbit 获取二进制位的值>> getbit bitmap001 0 bitcount 统计被设置的二进制位数量bitpos 查找第一个指定的二进制位值

Redis的事务 ✍

应用事务

Redis单条命令是放弃原子性的，但事务是不放弃原子性的。
一个事务中的所有命令都会被序列化，在事务执行的过程中，会依照程序执行。
具备一次性、程序性、排他性。

Redis事务没有隔离级别的概念。
所有的命令在事务中，并没有间接被执行，只有发动执行命令的时候才会执行 (Exec)

Redis的事务

  • 开启事务(multi)
  • 命令入队
  • 执行事务(exec)
127.0.0.1:6379> flushdbOK127.0.0.1:6379> multiOK127.0.0.1:6379> set key1 helloQUEUED127.0.0.1:6379> set key2 worldQUEUED127.0.0.1:6379> get key2QUEUED127.0.0.1:6379> set key3 hiQUEUED127.0.0.1:6379> exec1) OK2) OK3) "world"4) OK

放弃事务：

> discard

如果有编译时异样，就是有命令写错了，那全副命令都勾销了。
如果有运行时异样(比方给字符串incr)，除了错的，其余的仍旧能够执行。

监控 乐观锁

乐观锁

  • 认为什么时候都会出错，无论什么时候都会加锁

乐观锁

  • 认为什么时候都不会出问题，所以不会上锁。更新的时候去判断是否有人批改过
  • 获取version
  • 更新的时候比拟version

Redis监督测试：

上图是失常状况，exec提交执行而后呈现后果。

这里两个过程，在第一个过程还没提交事务之前，过程2批改了数据，所以过程1的数据提交不了，返回了nil。
应用watch能够当做redis的乐观锁操作。
解锁应用unwatch。

应用watch实现乐观锁：应用watch监督数据，在事务执行失败后，解锁，获取最新的值再次监督，再次开启事务。

Redis长久化 ✍

Redis作为一个内存数据库，长久化是必不不可少的。
Redis长久化有两种形式：

  • RDB：RDB长久化机制，是对Redis中的数据执行周期性的长久化。
  • AOF：AOF机制对每条写入命令作为日志，以append-only的模式写入一个日志文件中，在Redis重启的时候，能够通过回放AOF日志中的写入指令来从新构建整个数据集。

通过RDB或AOF，都能够将Redis内存中的数据给长久化到磁盘下面来，还能够将数据备份到别的中央。

如果Redis挂了，能够将备份放到指定目录中重启Redis，Redis就会主动依据长久化文件复原内存中的数据。

如果同时应用RDB和AOF两种长久化机制，那么在Redis重启的时候，会应用AOF来从新构建数据，因为AOF中的数据更加残缺。

RDB

RDB长久化性能所生成的RDB文件是一个通过压缩的二进制文件，通过该文件能够还原生成RDB文件时的数据库状态。

RDB文件的创立与载入

有两个Redis命令能够用于生成RDB文件，一个是SAVE，另一个是BGSAVE。

SAVE命令会阻塞Redis服务器过程，直到RDB文件创建结束为止，在服务器阻塞期间，服务器不能解决任何命令申请：

redis> SAVE //期待直到RDB文件创建结束OK

和SAVE命令间接阻塞服务器过程的做法不同，BGSAVE命令会派生(fork)出一个子过程，而后由子过程负责创立RDB文件，服务器过程(父过程)持续解决命令申请：

redis> BGSAVE //派生子过程，并由子过程创立RDB文件

BGSAVE命令执行期间，SAVE命令会被回绝、BGSAVE也会被回绝。

主动间隔性保留

因为BGSAVE命令能够在不阻塞服务器过程的状况下执行，所以Redis容许用户通过设置服务器配置的save选项让服务器每隔一段时间主动执行一次BGSAVE命令。

只有满足以下三个条件中的任意一个，BGSAVE命令就会被执行：

  • 服务器在900秒内对数据库进行了至多1次批改
  • 服务器在300秒内对数据库进行了至多10次批改
  • 服务器在60秒内对数据库过程了至多10000次批改

AOF

AOF长久化是通过保留Redis服务器所执行的写命令来记录数据库状态。

AOF长久化的实现

AOF长久化性能的实现能够分为命令追加(append)、文件写入、文件同步(sync)三个步骤。

当AOF长久化性能处于关上状态时，服务器在执行完一个写命令之后，会以协定格局将被执行的写命令追加到服务器状态的aof_buf缓冲区的开端。

RDB、AOF对过期键的解决

对于RDB，在执行SAVE或BGSAVE命令时，程序会对数据库中的键进行查看，已过期的键不会被保留到新创建的RDB文件中。

对于AOF，某个键过期但还没被惰性删除或定期删除，AOF文件不会因为这个过期键而产生任何影响。
当过期键被惰性删除或定期删除后，程序会向AOF文件追加一条DEL命令。

RDB优缺点 ⚙

  • RDB会产生多个数据文件，每个数据文件代表某一个时刻中Redis的数据，这种模式非常适合做冷备(非实时，定期备份)。
  • RDB对Redis对外提供的读写服务，影响十分小，能够让Redis放弃搞性能，因为fork了一个子过程。
  • 基于RDB复原比AOF更快。
  • 心愿尽可能少丢数据，RDB没有AOF好。
  • RDB在fork子过程来执行RDB快照数据文件生成的时候，如数据文件特地大，可能导致对客户端提供的服务暂停数毫秒甚至秒。

AOF优缺点 ⚙

  • AOF能够更好地保证数据不失落，个别AOF会每距离1秒，通过一个后盾线程执行一次fsync操作，最多失落1秒钟的数据。
  • AOF日志文件以append-only模式写入，所以没有任何磁盘寻址的开销，写入性能高，就算文件尾部破损也比拟容易修复。
  • AOF日志文件过大的时候，呈现后盾重写操作，也不会影响客户端的读写，在rewrite log的时候，会对其中指令进行压缩。在创立新日志文件时，老日志文件还是照常写入，当新的merge后的日志文件ready的时候，再替换新老日志文件即可。
  • AOF日志文件的命令通过可读较强的形式进行记录，这个个性非常适合做灾难性的误删除的紧急复原。比方不小心flushall了，能够立刻拷贝AOF文件，将最初一条flushall命令删除，将AOF文件放回去，就能够通过复原机制主动复原。
  • 对于同一份数据来说，AOF日志文件通常比RDB数据快照文件更大。
  • AOF开启后，反对的写QPS(每秒申请数)会比RDB反对的写QPS低，因为AOF会配置成每秒fsync一次日志文件。

  • 以前AOP产生过bug，就是通过AOF记录的日志，进行数据恢复的时候，没有复原截然不同的数据进去。所以说相似AOF这种较为简单的基于命令日志/merge/回放的形式，比RDB残缺数据快照的形式要软弱一些，容易有bug。AOF为了防止rewrite导致的bug，所以都是基于过后内存中的数据进行指令的从新构建。

    RDB和AOF如何抉择

  • 不要仅仅应用RDB，会导致失落很多数据
  • 也不要仅仅应用AOF，AOF做冷备没有RDB做冷备的复原速度快；RDB每次简略粗犷生成数据快照，更加强壮。
  • Redis反对同时开启两种长久化形式，能够综合应用AOF和RDB两种长久化机制，用AOF来保证数据不失落，作为数据恢复的第一抉择；用RDB来做不同水平的冷备，在AOF文件都失落或损坏不可用的时候，还能够应用RDB来进行疾速的数据恢复。

内存淘汰策略

每进行一次redis操作的时候，redis都会检测可用内存，判断是否要进行内存淘汰，当超过可用内存的时候，咱们就会应用对应策略，默认是no-eviction

  • noeviction：该策略对于写申请不再提供服务，会间接返回谬误，排除del等非凡操作
  • allkeys-random：从redis中随机选取key进行淘汰
  • allkeys-lru：从redis中选取应用起码的key进行淘汰
  • volatile-random：从redis中设置过过期工夫的key，进行随机淘汰
  • volatile-ttl：从redis中选取行将过期的key，进行淘汰
  • volatile-lru：从redis中设置过过期工夫的key中，选取起码应用的进行淘汰
config get maxmemory-policy    //获取以后内存淘汰策略config set maxmemory-policy valatile-lru  //通过命令批改淘汰策略

想永恒配置还是要在配置文件里改~

公布和订阅 ✍

Redis的公布与订阅性能能够让客户端通过播送形式，将音讯(message)
同时发送给可能存在的多个客户端，并且发送音讯的客户端不须要直到接管音讯的客户端的具体信息。

PUBLISH、SUBSCRIBE

publish命令将一条音讯发送给指定频道，publish命令会返回接管到音讯的客户端数量作为返回值。

publish命令从Redis 2.0.0版本开始可用。

subscribe命令让客户端订阅一个或多个频道，subscribe命令在每次胜利执行订阅一个频道之后，都会向执行命令的客户端返回一条订阅音讯，音讯蕴含了被订阅胜利的频道以及客户端目前已订阅的频道数量。

当客户端成为频道的订阅者之后，就会接管到来自被订阅频道的音讯，这些音讯成为频道音讯。
和订阅音讯一样，由3个元素组成：

  • message ,示意这是一条频道音讯并非订阅音讯
  • 音讯的起源频道

  • 注释，音讯的真正内容

    UNSUBSCRIBE

    尽管Redis提供了退订的命令，然而Redis自带的命令行客户端redis-cli在执行subscribe命令之后就会进入阻塞状态，无奈再执行其余任何命令，实际上基本用不上subscribe命令。
    一些编程语言为公布和订阅提供了更好的反对，也能够应用unsubscribe。

    PSUBSCRIBE PUNSUBSCRIBE

    想要订阅所有带有"news."前缀的频道的音讯：

    redis> psubscribe "news.*"

    想要退订 "news." 模式的频道：

    redis> punsubscribe "news.*"redis> punsubscribe //退订所有的模式

    PUBSUB

    redis> pubsub channels [pattern] //查看被订阅的频道 [pattern]="news.*"redis> pubsub nunsub [channel channel ...] //查看频道的订阅者数量redis> pubsub numpat //查看被订阅模式的总数量