前言
只有光头才能变强
好的,今天我们要上黄金段位了,如果还没经历过青铜和白银阶段的,可以先去蹭蹭经验再回来:
从零单排学 Redis【青铜】
从零单排学 Redis【白银】
看过相关 Redis 基础的同学可以知道 Redis 是单线程的,很多面试题也很可能会问到“为什么 Redis 是单线程的还那么快”。
这篇文章来讲讲单线程的内部的原理。
文本力求简单讲清每个知识点,希望大家看完能有所收获
一、基础铺垫
在讲解 Redis 之前,我们先来一些基础的铺垫,有更好的阅读体验。
1.1 网路编程
我们在初学 Java 的时候肯定会学过网络编程这一章节的,当时学完写的应用可能就是“网络聊天室”。
写出来的效果可能就是在 console 噼里啪啦的输入数据,然后噼里啪啦的返回数据,就完事了..(扎心了)
网络编程可简单分为 TCP 和 UPD 两种,一般我们更多关注的是 TCP。TCP 网络编程在 Java 中封装成 Socket 和 SocketServer,我们来回顾一下最简单的 TCP 网络编程吧:
TCP 客户端
public class ClientDemo {
public static void main(String[] args) throws IOException {
// 创建发送端的 Socket 对象
Socket s = new Socket(“192.168.1.106”,8888);
//Socket 对象可以获取输出流
OutputStream os = s.getOutputStream();
os.write(“hello,tcp, 我来了 ”.getBytes());
s.close();
}
}
TCP 服务端:
public class ServerDemo {
public static void main(String[] args) throws IOException {
// 创建接收端的 Socket 对象
ServerSocket ss = new ServerSocket(8888);
// 监听客户端连接,返回一个对应的 Socket 对象
// 侦听并接受到此套接字的连接,此方法会阻塞
Socket s = ss.accept();
// 获取输入流,读取数据
InputStream is = s.getInputStream();
byte[] bys = new byte[1024];
int len = is.read(bys);
String str = new String (bys,0,len);
String ip = s.getInetAddress().getHostAddress();
System.out.println(ip + ” —” +str);
// 释放资源
s.close();
//ss.close();
}
}
上面的代码就可以实现:客户端向服务器发送数据,服务端能够接收客户端发送过来的数据。
1.2IO 多路复用
之前我已经写过 Java NIO 的文章了,Java 的 NIO 也是基于 IO 多路复用模型的,建议先去看一下再回来,文章写得挺详细和通俗的了:JDK10 都发布了,nio 你了解多少?
这里就简单回顾一下吧:
I/ O 多路复用的特点是通过一种机制一个进程能同时等待多个文件描述符,而这些文件描述符其中的任意一个进入读就绪状态、等等,select()函数就可以返回。
select/epoll 的优势并不是对于单个连接能处理得更快,而是在于能处理更多的连接。
说白了,使用 IO 多路复用机制的,一般自己会有一套事件机制,使用一个线程或者进程监听这些事件,如果这些事件被触发了,则调用对应的函数来处理。
二、Redis 事件
Redis 服务器是一个事件驱动程序,主要处理以下两类事件:
文件事件:文件事件其实就是对 Socket 操作的抽象,Redis 服务器与 Redis 客户端的通信会产生文件事件,服务器通过监听并处理这些事件来完成一系列的网络操作
时间事件:时间事件其实就是对定时操作的抽象,前面我们已经讲了 RDB、AOF、定时删除键这些操作都可以由服务端去定时或者周期去完成,底层就是通过触发时间事件来实现的!
2.1 文件事件
Redis 开发了自己的网络事件处理器,这个处理器被称为文件事件处理器。
文件事件处理器由四部分组成:
文件事件处理器使用 I / O 多路复用程序来同时监听多个 Socket。当被监听的 Socket 准备好执行连接应答 (accept)、读取(read) 等等操作时,与操作相对应的文件事件就会产生,根据文件事件来为 Socket 关联对应的事件处理器,从而实现功能。
要值得注意的是:Redis 中的 I / O 多路复用程序会将所有产生事件的 Socket 放到一个队列里边,然后通过这个队列以有序、同步、每次一个 Socket 的方式向文件事件分派器传送套接字。也就是说:当上一个 Socket 处理完毕后,I/ O 多路复用程序才会向文件事件分派器传送下一个 Socket。
首先,IO 多路复用程序首先会监听着 Socket 的 AE_READABLE 事件,该事件对应着连接应答处理器
可以理解简单成 SocketServet.accpet()
此时,一个名字叫做 3y 的 Socket 要连接服务器啦。服务器会用连接应答处理器处理。创建出客户端的 Socket,并将客户端的 Socket 与命令请求处理器进行关联,使得客户端可以向服务器发送命令请求。
相当于 Socket s = ss.accept();,创建出客户端的 Socket,然后将该 Socket 关联命令请求处理器
此时客户端就可以向主服务器发送命令请求了
假设现在客户端发送一个命令请求 set Java3y “ 关注、点赞、评论 ”,客户端 Socket 将产生 AE_READABLE 事件,引发命令请求处理器执行。处理器读取客户端的命令内容,然后传给对应的程序去执行。
客户端发送完命令请求后,服务端总得给客户端回应的。此时服务端会将客户端的 Scoket 的 AE_WRITABLE 事件与命令回复处理器关联。
最后客户端尝试读取命令回复时,客户端 Socket 产生 AE_WRITABLE 事件,触发命令回复处理器执行。当把所有的回复数据写入到 Socket 之后,服务器就会解除客户端 Socket 的 AE_WRITABLE 事件与命令回复处理器的关联。
最后以《Redis 设计与实现》的一张图来概括:
2.2 时间事件
持续运行的 Redis 服务器会定期对自身的资源和状态进行检查和调整,这些定期的操作由 serverCron 函数负责执行,它的主要工作包括:
更新服务器的统计信息(时间、内存占用、数据库占用)
清理数据库的过期键值对
AOF、RDB 持久化
如果是主从服务器,对从服务器进行定期同步
如果是集群模式,对进群进行定期同步和连接
…
Redis 服务器将时间事件放在一个链表中,当时间事件执行器运行时,会遍历整个链表。时间事件包括:
周期性事件(Redis 一般只执行 serverCron 时间事件,serverCron 时间事件是周期性的)
定时事件
2.3 时间事件和文件事件
文件事件和时间事件之间是合作关系,服务器会轮流处理这两种事件,并且处理事件的过程中不会发生抢占。
时间事件的实际处理事件通常会比设定的到达时间晚一些
三、Redis 多线程为什么快?
1)纯内存操作
2)核心是基于非阻塞的 IO 多路复用机制
3)单线程避免了多线程的频繁上下文切换问题
四、客户端与服务器
在《Redis 设计与实现》中各用了一章节来写客户端与服务器,我看完觉得比较底层的东西,也很难记得住,所以我决定总结一下比较重要的知识。如果以后真的遇到了,再来补坑~
服务器使用 clints 链表连接多个客户端状态,新添加的客户端状态会被放到链表的末尾
一个服务器可以与多个客户端建立网络连接,每个客户端可以向服务器发送命令请求,而服务器则接收并处理客户端发送的命令请求,并向客户端返回命令回复。
Redis 服务器使用单线程单进程的方式处理命令请求。在数据库中保存客户端执行命令所产生的数据,并通过资源管理来维持服务器自身的运转。
4.1 客户端
客户端章节中主要讲解了 Redis 客户端的属性(客户端状态、输入 / 输出缓冲区、命令参数、命令函数等等)
typedef struct redisClient{
// 客户端状态的输入缓冲区用于保存客户端发送的命令请求, 最大 1GB, 否则服务器将关闭这个客户端
sds querybuf;
// 负责记录 argv 数组的长度。
int argc;
// 命令的参数
robj **argv;
// 客户端要执行命令的实现函数
struct redisCommand *cmd, *lastcmd;
// 记录了客户端的角色(role), 以及客户端所处的状态。(REDIS_SLAVE | REDIS_MONITOR | REDIS_MULTI)
int flags;
// 记录客户端是否通过了身份验证
int authenticated;
// 时间相关的属性
time_t ctime; /* Client creation time */
time_t lastinteraction; /* time of the last interaction, used for timeout */
time_t obuf_soft_limit_reached_time;
// 固定大小的缓冲区用于保存那些长度比较小的回复
/* Response buffer */
int bufpos;
char buf[REDIS_REPLY_CHUNK_BYTES];
// 可变大小的缓冲区用于保存那些长度比较大的回复
list *reply; // 可变大小缓冲区由 reply 链表和一个或多个字符串对象组成
//…
}
4.2 服务端
服务器章节中主要讲解了 Redis 服务器读取客户端发送过来的命令是如何解析,以及初始化的过程。
服务器从启动到能够处理客户端的命令请求需要执行以下的步骤:
初始化服务器状态
载入服务器配置
初始化服务器的数据结构
还原数据库状态
执行事件循环
总的来说是这样子的:
def main():
init_server();
while server_is_not_shutdown();
aeProcessEvents()
clean_server();
从客户端发送命令道完成主要包括的步骤:
客户端将命令请求发送给服务器
服务器读取命令请求,分析出命令参数
命令执行器根据参数查找命令的实现函数,执行实现函数并得出命令回复
服务器将命令回复返回给客户端
五、最后
现在临近双十一买阿里云服务器就特别省钱!之前我买学生机也要 9.8 块钱一个月,现在最低价只需要 8.3 一个月!
无论是 Nginx/Elasticsearch/Redis 这些技术都是在 Linux 下完美运行的,如果还是程序员新手,买一个学习 Linux 基础命令,学习搭建环境也是不错的选择。
如果有要买服务器的同学可通过我的链接直接享受最低价:https://m.aliyun.com/act/team1111/#/share?params=N.FF7yxCciiM.pfn5xpli
本来也想把“复制”(主从)在这边一起写的,但写完可能就很长了,所以留到下一篇吧。
如果大家有更好的理解方式或者文章有错误的地方还请大家不吝在评论区留言,大家互相学习交流~~~
参考资料:
《Redis 设计与实现》
《Redis 实战》
一个坚持原创的 Java 技术公众号:Java3y,欢迎大家关注
3y 所有的原创文章:
文章的目录导航(脑图 + 海量视频资源):https://github.com/ZhongFuCheng3y/3y