GC垃圾回收机制

在 Java 中使用 redisTemplate 操作缓存

摘要：背景 在最近的项目中，有一个需求是对一个很大的数据库进行查询，数据量大概在几千万条。但同时对查询速度的要求也比较高。这个数据库之前在没有使用 Presto 的情况下，使用的是 Hive，使用 Hive 进行一个简单的查询，速度可能在几分钟。

背景

在最近的项目中，有一个需求是对一个很大的数据库进行查询，数据量大概在几千万条。但同时对查询速度的要求也比较高。
这个数据库之前在没有使用 Presto 的情况下，使用的是 Hive，使用 Hive 进行一个简单的查询，速度可能在几分钟。当然几分钟也并不完全是跑 SQL 的时间，这里面包含发请求，查询数据并且返回数据的时间的总和。但是即使这样，这样的速度明显不能满足交互式的查询需求。
我们的下一个解决方案就是 Presto，在使用了 Presto 之后，查询速度降到了秒级。但是对于一个前端查询界面的交互式查询来说，十几秒仍然是一个不能接受的时间。

虽然 Presto 相比 Hive 已经快了很多（FaceBook 官方宣称的是 10 倍），但是对分页的支持不是很友好。我在使用的时候是自己在后端实现的分页。
在这种情况下应用缓存实属无奈之举。讲道理，优化应从底层开始，自底而上。上层优化的方式和效率感觉都很有局限。

为什么要使用缓存

前端查询中，单次查询的匹配数据量有可能会达到上百甚至上千条，在前端中肯定是需要分页展示的。就算每次查询 10 条数据，整个查询也要耗时 6 -8s 的时间。想象一下，每翻一页等 10s 的场景。
所以，此时使用 redis 缓存。减少请求数据库的次数。将匹配的数据一并存入数据库。这样只有在第一次查询时耗费长一点，一旦查询完成，用户点击下一页就是毫秒级别的操作了。
使用 redisTemplate

Spring 封装了一个比较强大的模板，也就是 redisTemplate，方便在开发的时候操作 Redis 缓存。在 Redis 中可以存储 String、List、Set、Hash、Zset。下面将针对 List 和 Hash 分别介绍。
List

Redis 中的 List 为简单的字符串列表，常见的有下面几种操作。
hasKey

判断一个键是否存在，只需要调用 hasKey 就可以了。假设这个 Key 是 test，具体用法如下。
[Java] 纯文本查看 复制代码
?

if (redisTemplate.hasKey(“test”)) {

// 该键的值为 [4, 3, 2, 1]
System.out.println(redisTemplate.opsForList().range(“test”, 0, 0)); // [4]
System.out.println(redisTemplate.opsForList().range(“test”, 0, 1)); // [4, 3]
System.out.println(redisTemplate.opsForList().range(“test”, 0, 2)); // [4, 3, 2]
System.out.println(redisTemplate.opsForList().range(“test”, 0, 3)); // [4, 3, 2, 1]
System.out.println(redisTemplate.opsForList().range(“test”, 0, 4)); // [4, 3, 2, 1]
System.out.println(redisTemplate.opsForList().range(“test”, 0, 5)); // [4, 3, 2, 1]

System.out.println(redisTemplate.opsForList().range(“test”, 0, -1)); // [4, 3, 2, 1] 如果结束位是 -1，则表示取所有的值
}
delete
删除某个键。
[Java] 纯文本查看 复制代码
?

List<String> test = new ArrayList<>();
test.add(“1”);
test.add(“2”);
test.add(“3”);
test.add(“4”);

redisTemplate.opsForList().rightPushAll(“test”, test);
System.out.println(redisTemplate.opsForList().range(“test”, 0, -1)); // [1, 2, 3, 4]
redisTemplate.delete(“test”);
System.out.println(redisTemplate.opsForList().range(“test”, 0, -1)); // []

size
获取该键的集合长度。
[Java] 纯文本查看 复制代码
?

List<String> test = new ArrayList<>();
test.add(“1”);
test.add(“2”);
test.add(“3”);
test.add(“4”);

redisTemplate.opsForList().rightPushAll(“test”, test);
System.out.println(redisTemplate.opsForList().size(“test”)); // 4

用法如下
[Java] 纯文本查看 复制代码
?

for (int i = 0; i < 4; i++) {

Integer value = i + 1;
redisTemplate.opsForList().leftPush(“test”, value.toString());
System.out.println(redisTemplate.opsForList().range(“test”, 0, -1));
}
控制台输出的结果如下。

[Java] 纯文本查看 复制代码
?

[1]
[2, 1]
[3, 2, 1]
[4, 3, 2, 1]

rightPushAll
同 rightPush，一次性将 List 存入。
[Java] 纯文本查看 复制代码
?

List<String> test = new ArrayList<>();
test.add(“1”);
test.add(“2”);
test.add(“3”);
test.add(“4”);
redisTemplate.opsForList().rightPushAll(“test”, test);
System.out.println(redisTemplate.opsForList().range(“test”, 0, -1)); // [1, 2, 3, 4]

remove
用于移除键中指定的元素。接受 3 个参数，分别是缓存的键名，计数事件，要移除的值。计数事件可以传入的有三个值，分别是 -1、0、1。
- 1 代表从存储容器的最右边开始，删除一个与要移除的值匹配的数据；0 代表删除所有与传入值匹配的数据；1 代表从存储容器的最左边开始，删除一个与要移除的值匹配的数据。
[Java] 纯文本查看 复制代码
?

List<String> test = new ArrayList<>();
test.add(“1”);
test.add(“2”);
test.add(“3”);
test.add(“4”);
test.add(“4”);
test.add(“3”);
test.add(“2”);
test.add(“1”);

redisTemplate.opsForList().rightPushAll(“test”, test); // [1, 2, 3, 4, 4, 3, 2, 1]

// 当计数事件是 -1、传入值是 1 时
redisTemplate.opsForList().remove(“test”, -1, “1”); // [1, 2, 3, 4, 4, 3, 2]

// 当计数事件是 1，传入值是 1 时
redisTemplate.opsForList().remove(“test”, 1, “1”); // [2, 3, 4, 4, 3, 2]

// 当计数事件是 0，传入值是 4 时
redisTemplate.opsForList().remove(“test”, 0, “4”); // [2, 3, 3, 2]

引入 redisTemplate
如果大家看懂了怎么用，就可以将 redisTemplate 引入项目中了。

引入 pom 依赖
[XML] 纯文本查看 复制代码
?

<dependency>

<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
<version>2.0.5.RELEASE</version>
</dependency>

新建配置文件
然后需要新建一个 RedisConfig 配置文件。
[Java] 纯文本查看 复制代码
?

package com.detectivehlh;

import com.fasterxml.jackson.annotation.JsonAutoDetect;
import com.fasterxml.jackson.annotation.PropertyAccessor;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer;

/**

RedisConfig
*

@author Lunhao Hu
@date 2019-01-17 15:12
**/
@Configuration
public class RedisConfig {

@Bean
public RedisTemplate<String, String> redisTemplate(RedisConnectionFactory factory) {

ObjectMapper om = new ObjectMapper();
om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
//redis 序列化
Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
jackson2JsonRedisSerializer.setObjectMapper(om);

StringRedisTemplate template = new StringRedisTemplate(factory);
template.setValueSerializer(jackson2JsonRedisSerializer);
template.setHashKeySerializer(jackson2JsonRedisSerializer);
template.setHashValueSerializer(jackson2JsonRedisSerializer);
template.setValueSerializer(jackson2JsonRedisSerializer);
template.afterPropertiesSet();
return template;

}
}

注入
将 redisTemplate 注入到需要使用的地方。
[Java] 纯文本查看 复制代码
?
1
2
@Autowired
private RedisTemplate redisTemplate;