共计 3779 个字符，预计需要花费 10 分钟才能阅读完成。
一、什么是 IO
IO 是输出 input 输入 output 的首字母缩写模式，直观意思是计算机输入输出，它形容的是计算机的数据流动的过程，因而 IO 第一大特色是有数据的流动；另外，对于一次 IO，它到底是输出还是输入，是针对不同的主体而言的，不同的主体有不同的形容。然而对于一个 Java 程序员来说，咱们个别把程序当做 IO 的主体，也能够了解为内存中的过程。那么对于 IO 的整个过程大体上分为 2 个局部，第一个局部为 IO 的调用，第二个过程为 IO 的执行。IO 的调用指的就是零碎调用，IO 的执行指的是在内核中相干数据的处理过程，这个过程是由操作系统实现的，与程序员无关。
二、一些基本概念
阻塞 IO：申请过程始终期待 IO 准备就绪。
非阻塞 IO：申请过程不会期待 IO 准备就绪。
同步 IO 操作：导致申请过程阻塞，晓得 IO 操作实现。
异步 IO 操作：不导致申请过程阻塞。
举个小例子来了解阻塞，非阻塞，同步和异步的关系，咱们晓得编写一个程序能够有多个函数，每一个函数的执行都是互相独立的，然而 对于一个程序的执行过程，每一个函数都是必须的，那么如果咱们须要期待一个函数的执行完结而后返回一个后果(比方接口调用)，那么咱们说该函数的调用是阻塞的，对于至多有一个函数调用阻塞的程序，在执行的过程中，必然存在阻塞的一个过程，那么咱们就说该程序的执行是同步的，对于异步天然就是所有的函数执行过程都是非阻塞的。
这里的程序就是一次残缺的 IO，一个函数为 IO 在执行过程中的一个独立的小片段。
咱们晓得在 Linux 操作系统中内存分为内核空间和用户空间，而所有的 IO 操作都得取得内核的反对，然而因为用户态的过程无奈间接进行内核的 IO 操作，所以内核空间提供了零碎调用，使得处于用户态的过程能够间接执行 IO 操作，IO 调用的目标是将过程的外部数据迁徙到内部即输入，或将内部数据迁徙到过程外部即输出。而在这里探讨的数据通常是 socket 过程外部的数据。
三、5 种 IO 模型
1、首先咱们来看看一次网络申请中服务端做了哪些操作。
在上图中，每一个客户端会与服务端建设一次 socket 连贯，而服务端获取连贯后，对于所有的数据的读取都得通过操作系统的内核，通过零碎调用内核将数据复制到用户过程的缓冲区，而后才实现客户端的过程与客户端的交互。那么依据零碎调用的形式的不同分为阻塞和非阻塞，依据零碎解决利用过程的形式不同分为同步和异步。
2、阻塞式 IO
每一次客户端产生的 socket 连贯实际上是一个文件描述符 fd, 而每一个用户过程读取的实际上也是一个个文件描述符 fd, 在该期间的零碎调用函数会期待网络申请的数据的达到和数据从内核空间复制到用户过程空间，也就是说，无论是第一阶段的 IO 调用还是第二阶段的 IO 执行都会阻塞，那么就像图中所画的一样，对于多个客户端连贯，只能开拓多个线程来解决。
3、非阻塞 IO 模型
对于阻塞 IO 模型来说最大的问题就体现在阻塞 2 字上，那么为了解决这个问题，零碎的内核因而产生了扭转。在内核中 socket 反对了非阻塞状态。既然这个 socket 是不阻塞的了，那么就能够应用一个过程解决客户端的连贯，该过程外部写一个死循环，一直的询问每一个连贯的网络数据是否曾经达到。此时轮询产生在用户空间，然而该过程仍然须要本人解决所有的连贯，所以该期间为同步非阻塞 IO 期间，也即为 NIO。
4、IO 多路复用
在非阻塞 IO 模型中，尽管解决了 IO 调用阻塞的问题，然而产生了新的问题，如果当初有 1 万个连贯，那么用户线程会调用 1 万次的零碎调用 read 来进行解决，在用户空间这种开销太大，那么当初须要解决这个问题，思路就是让用户过程缩小零碎调用，然而用户本人是实现不了的，所以这就导致了内核产生了进一步变动。在内核空间中帮忙用户过程遍历所有的文件描述符，将数据筹备好的文件描述符返回给用户过程。该形式是同步阻塞 IO，因为在第一阶段的 IO 调用会阻塞过程。
4.1、select/poll
为了让内核帮忙用户过程实现文件描述符的遍历，内核减少了零碎调用 select/poll(select 与 poll 实质上没有什么不同，就是 poll 缩小了文件描述符的个数限度)，当初用户过程只须要调用 select 零碎调用函数，并且将文件描述符全副传递给 select 就能够让内核帮忙用户过程实现所有的查问，而后将数据筹备好的文件描述符再返回给用户过程，最初用户过程顺次调用其余零碎调用函数实现 IO 的执行过程。
4.2、epoll
在 select 实现的多路复用中仍然存在一些问题。
1、用户过程须要传递所有的文件描述符，而后内核将数据筹备好的文件描述符再次传递回去，这种数据的拷贝升高了 IO 的速度。2、内核仍然会执行复杂度为 O(n)的被动遍历操作。对于第一个问题，提出了一个共享空间的概念，这个空间为用户过程和内核过程所共享，并且提供了 mmap 零碎调用，实现用户空间和内核空间到共享空间的映射，这样用户过程就能够将 1 万个文件描述符写到共享空间中的红黑树上，而后内核将准备就绪的文件描述符写入共享空间的链表中，而用户过程发现链表中有数据了就间接读取而后调用 read 执行 IO 即可。
对于第二个问题，内核引入了事件驱动机制(相似于中断)，不再被动遍历所有的文件描述符，而是通过事件驱动的形式被动告诉内核该文件描述符的数据筹备结束了，而后内核就将其写入链表中即可。
对于 epoll 来说在第一阶段的 epoll_wait 仍然是阻塞的，故也是同步阻塞式 IO。
5、信号驱动式 IO
在 IO 执行的数据筹备阶段，不会阻塞用户过程。当用户过程须要期待数据的时候，会向内核发送一个信号，通知内核须要数据，而后用户过程就持续做别的事件去了，而当内核中的数据筹备好之后，内核立马发给用户过程一个信号，用户过程收到信号之后，立马调用 recvfrom，去查收数据。该 IO 模型应用的较少。
6、异步 IO(AIO)
利用过程通过 aio_read 告知内核启动某个操作，并且在整个操作实现之后再告诉利用过程，包含把数据从内核空间拷贝到用户空间。信号驱动 IO 是内核告诉咱们何时能够启动一个 IO 操作，而异步 IO 模型是由内核告诉咱们 IO 操作何时实现。是真正意义上的无阻塞的 IO 操作，然而目前只有 windows 反对 AIO，linux 内核临时不反对。
四、总结
前四种模型的次要区别于第一阶段，因为他们的第二阶段都是一样的：在数据从内核拷贝到利用过程的缓冲区期间，过程都会阻塞。相同，异步 IO 模型在这两个阶段都不会阻塞，从而不同于其余四种模型。
五、间接内存与零拷贝
间接内存 并不是虚拟机运行时数据区的一部分，也不是 Java 虚拟机标准中农定义的内存区域。间接内存申请空间消耗更高的性能，间接内存 IO 读写的性能要优于一般的堆内存，对于 java 程序来说，零碎内核读取堆类的对象须要依据代码段计算其偏移量来获取对象地址，效率较慢，不太适宜网络 IO 的场景，对于间接内存来说更加适宜 IO 操作，内核读取寄存在间接内存中的对象较为不便，因为其地址就是袒露的过程虚拟地址，不须要 jvm 翻译。那么就能够应用 mmap 开拓一块间接内存 mapbuffer 和内核空间共享，并且该间接内存能够间接映射到磁盘上的文件，这样就能够通过调用本地的 put 而不必调用零碎调用 write 就能够将数据间接写入磁盘,RandomAccessFile 类就是通过开拓 mapbuffer 实现的读写磁盘。
以音讯队列 Kafka 来说，有生产者和消费者，对于生产者，从网络发来一个音讯 msg 并且被拷贝到内核缓冲区，该音讯通过 Kafka 调用 recvfrom 将内核中的 msg 读到队列中，而后加上音讯头 head, 再将该音讯写入磁盘。如果没有 mmap 的话，就会调用一个 write 零碎调用将该音讯写入内核缓冲区，而后内核将该音讯再写入磁盘。在此过程中呈现一次 80 中断和 2 次拷贝。但实际上 Kafka 应用的是 mmap 开拓了间接内存到磁盘的映射，间接应用 put 将音讯写入磁盘。实际上也是通过内核拜访该共享区域将该音讯写入的磁盘。同时在 Kafka 中有一个概念叫 segment, 个别为 1G 大小。它会充分利用磁盘的程序性，只追加数据，不批改数据。而 mmap 会间接开拓 1G 的间接内存，并且间接与 segment 造成映射关系，在 segment 满了的时候再开拓一个新的 segment，清空间接内存而后在与新的 segment 造成映射关系。
零拷贝 形容的是 CPU 不执行拷贝数据从一个存储区域到另一个存储区域的工作，这通常用于通过网络传输一个文件时以缩小 CPU 周期和内存带宽。
在 Kafka 的消费者读取数据的时候，如果以后消费者想读取的数据是不是以后间接内存所映射的 segment 怎么办？如果没有零拷贝的话，过程会先去调用 read 读取，而后数据会从磁盘被拷贝到内核，而后内核再拷贝到 Kafka 队列，过程再调用 write 将数据拷贝到内核缓冲区，最初再发送给消费者。实际上能够发现，数据没有必要读到 Kafka 队列，间接读到内核的缓冲区的时候发送给消费者就行了。实际上，linux 内核中有一个零碎调用就是实现了这种形式读取数据——sendfile, 它有 2 个参数，一个是 infd(读取数据的文件描述符), 一个是 outfd(客户端的 socket 文件描述符). 消费者只需调用该函数，通知它须要读取那个文件就能够不通过 Kafka 间接将数据读到内核，而后由内核写到消费者过程的缓冲区中。
