作者：铂赛东\
链接：www.jianshu.com/p/8cf8aac3dc25
1
本来认为本人对redis命令还蛮相熟的，各种数据模型各种基于redis的骚操作。然而最近在应用redis的scan的命令式却踩了一个坑，登时察觉本人原来对redis的游标了解的很无限。所以记录下这个踩坑的过程，背景如下：
公司因为redis服务器内存吃紧，须要删除一些无用的没有设置过期工夫的key。大略有500多w的key。尽管key的数目听起来挺吓人。然而本人玩redis也有年头了，这种事还不是手到擒来？
过后想了下，具体计划是通过lua脚本来过滤出500w的key。而后进行删除动作。lua脚本在redis server上执行，执行速度快，执行一批只须要和redis server建设一次连贯。筛选进去key，而后一次删1w。而后通过shell脚本循环个500次就能删完所有的。以前通过lua脚本做过相似批量更新的操作，3w一次也是秒级的。根本不会造成redis的阻塞。这样算起来，10分钟就能搞定500w的key。
而后，我就开始间接写lua脚本。首先是筛选。
用过redis的人，必定晓得redis是单线程作业的，必定不能用keys命令来筛选，因为keys命令会一次性进行全盘搜寻，会造成redis的阻塞，从而会影响失常业务的命令执行。
500w数据量的key，只能增量迭代来进行。redis提供了scan命令，就是用于增量迭代的。这个命令能够每次返回大量的元素，所以这个命令非常适宜用来解决大的数据集的迭代，能够用于生产环境。
scan命令会返回一个数组，第一项为游标的地位，第二项是key的列表。如果游标达到了开端，第一项会返回0。
2
所以我写的第一版的lua脚本如下：
local c = 0local resp = redis.call('SCAN',c,'MATCH','authToken*','COUNT',10000)c = tonumber(resp[1])local dataList = resp[2]for i=1,#dataList do local d = dataList[i] local ttl = redis.call('TTL',d) if ttl == -1 then redis.call('DEL',d) endendif c==0 then return 'all finished'else return 'end'end在本地的测试redis环境中，通过执行以下命令mock了20w的测试数据：
eval "for i = 1, 200000 do redis.call('SET','authToken_' .. i,i) end" 0而后执行script load命令上传lua脚本失去SHA值，而后执行evalsha去执行失去的SHA值来运行。具体过程如下：
我每删1w数据，执行下dbsize（因为这是我本地的redis，外面只有mock的数据，dbsize也就等同于这个前缀key的数量了）。
奇怪的是，后面几行都是失常的。然而到了第三次的时候，dbsize变成了16999，多删了1个，我也没太在意，然而最初在dbsize还剩下124204个的时候，数量就不动了。之后无论再执行多少遍，数量还仍旧是124204个。
随即我间接运行scan命令:
发现游标尽管没有达到开端，然而key的列表却是空的。
这个后果让我懵逼了一段时间。我仔细检查了lua脚本，没有问题啊。难道是redis的scan命令有bug？难道我了解的有问题？
我再去翻看redis的命令文档对count选项的解释：
通过具体研读，发现count选项所指定的返回数量还不是肯定的，尽管晓得可能是count的问题，但无奈文档的解释切实难以很艰深的了解，仍旧不晓得具体问题在哪
3
起初通过某个小伙伴的提醒，看到了另外一篇对于scan命令count选项艰深的解释：
看完之后豁然开朗。原来count选项前面跟的数字并不是意味着每次返回的元素数量，而是scan命令每次遍历字典槽的数量
我scan执行的时候每一次都是从游标0的地位开始遍历，而并不是每一个字典槽里都寄存着我所须要筛选的数据，这就造成了我最初的一个景象：尽管我count前面跟的是10000，然而理论redis从结尾往下遍历了10000个字典槽后，发现没有数据槽寄存着我所须要的数据。所以我最初的dbsize数量永远停留在了124204个。
所以在应用scan命令的时候，如果须要迭代的遍历，须要每次调用都须要应用上一次这个调用返回的游标作为该次调用的游标参数，以此来连续之前的迭代过程。
至此，心中的纳闷就此解开，改了一版lua：
local c = tonumber(ARGV[1])local resp = redis.call('SCAN',c,'MATCH','authToken*','COUNT',10000)c = tonumber(resp[1])local dataList = resp[2]for i=1,#dataList do local d = dataList[i] local ttl = redis.call('TTL',d) if ttl == -1 then redis.call('DEL',d) endendreturn c在本地上传后执行：
能够看到，scan命令没法齐全保障每次筛选的数量齐全等同于给定的count，然而整个迭代却很好的延续下去了。最初也失去了游标返回0，也就是到了开端。至此，测试数据20w被全副删完。
这段lua只有在套上shell进行循环就能够间接在生产上跑了。通过估算大略在12分钟左右能删除掉500w的数据。
知其然，知其所以然。尽管scan命令以前也曾玩过。然而确实不晓得其中的细节。况且文档的翻译也不是那么的精确，以至于本人在面对谬误的后果时整整节约了近1个多小时的工夫。记录下来，加深了解。
另外，关注公众号Java技术栈，在后盾回复：面试，能够获取我整顿的 Redis 系列面试题和答案，十分齐全。
近期热文举荐：
1.600+ 道 Java面试题及答案整顿(2021最新版)
2.终于靠开源我的项目弄到 IntelliJ IDEA 激活码了，真香！
3.阿里 Mock 工具正式开源，干掉市面上所有 Mock 工具！
4.Spring Cloud 2020.0.0 正式公布，全新颠覆性版本！
5.《Java开发手册（嵩山版）》最新公布，速速下载！
感觉不错，别忘了顺手点赞+转发哦！