磁盘能够说是计算机系统最慢的硬件之一，读写速度相差内存 10 倍以上，所以针对优化磁盘的技术十分的多，比方零拷贝、间接 I/O、异步 I/O 等等，这些优化的目标就是为了进步零碎的吞吐量，另外操作系统内核中的磁盘高速缓存区，能够无效的缩小磁盘的拜访次数。本文会剖析 I/O 工作形式，以及如何优化传输文件的性能。参考博客如下：

内容提纲

本会从以下几个方面介绍磁盘的 IO 技术：

1. DMA 之前的 IO 形式
2. 间接内存拜访——DMA 技术。
3. DMA 文件传输存在的问题。
4. 如何进步文件传输的性能。
5. 零拷贝实现原理剖析。
6. PageCache 有什么用。
7. 大文件传输用什么形式实现。

DMA 之前的 IO

在没有 DMA 技术之前，操作系统的从磁盘读取数据的 IO 过程如下所示（以 read()接口为例）：

read(file, tmp_buf, len);

1. 用户程序须要读取数据，调用 read 办法，把读取数据的指令交给 CPU 执行，线程进入阻塞状态。
2. CPU 收回指令给磁盘控制器，通知磁盘控制器须要读取哪些数据，而后返回；
3. 磁盘控制器接管到指令后，把指定的数据放入磁盘外部的缓存区，而后用中断的形式告诉 CPU；
4. CPU 收到中断信号之后，开始一个字节一个字节的把数据读取到 PageCache 缓存区；
5. CPU 再一个字节一个字节把数据从 PageCache 缓存区读取到用户缓存区；
6. 用户程序从内存中读取到数据，能够继续执行后续逻辑。

能够看到，整个数据的传输过程，都要须要 CPU 亲自参加搬运数据的过程，而且这个过程，CPU 是不能做其余事件的。简略的搬运几个字符数据那没问题，然而如果咱们用千兆网卡或者硬盘传输大量数据的时候，都用 CPU 来搬运的话，必定忙不过来。计算机科学家们发现了事件的严重性后，于是就创造了 DMA 技术，也就是间接内存拜访（Direct Memory Access）技术。

间接内存拜访——DMA 技术

什么是 DMA 技术？简略了解就是，在进行 I/O 设施和内存的数据传输的时候，数据搬运的工作全副交给 DMA 控制器，而 CPU 不再参加任何与数据搬运相干的事件，这样 CPU 就能够去解决别的事务。

那应用 DMA 控制器进行数据传输的过程到底是什么样的呢？上面咱们来具体看看。

read(file, tmp_buf, len);

1. 用户程序须要读取数据，调用 read 办法，把读取数据的指令交给 CPU 执行。
2. CPU 收回指令给 DMA，通知 DMA 须要读取磁盘的哪些数据，而后返回，线程进入阻塞状态
3. DMA 向磁盘控制器收回 IO 申请，通知磁盘控制器须要读取哪些数据，而后返回；
4. 磁盘控制器收到 IO 申请之后，把数据读取到磁盘缓存区，当磁盘缓存读取实现之后，中断 DMA；
5. DMA 收到磁盘的中断信号，将磁盘缓存区的数据读取到 PageCache 缓存区，而后中断 CPU；
6. CPU 响应 DMA 中断信号，晓得数据读取实现，而后将 PageCache 缓存区中的数据读取到用户缓存中；
7. 用户程序从内存中读取到数据，能够继续执行后续逻辑。

能够看到，整个数据传输的过程，CPU 不再参加磁盘数据搬运的工作，而是全程由 DMA 实现，然而 CPU 在这个过程中也是必不可少的，因为传输什么数据，从哪里传输到哪里，都须要 CPU 来通知 DMA 控制器。

晚期 DMA 只存在在主板上，现在因为 I / O 设施越来越多，数据传输的需要也不尽相同，所以每个 I / O 设施外面都有本人的 DMA 控制器。

DMA 文件传输存在的问题

如果服务端要提供文件传输的性能，咱们能想到的最简略的形式是：将磁盘上的文件读取进去，而后通过网络协议发送给客户端。

传统 I/O 的工作形式是，数据读取和写入是从用户空间到内核空间来回复制，而内核空间的数据是通过操作系统层面的 I/O 接口从磁盘读取或写入。

代码通常如下，个别会须要以下两个零碎调用，代码很简略，尽管就两行代码，然而这外面产生了不少的事件。

read(file, tmp_buf, len);
write(socket, tmp_buf, len);

1. 用户程序须要读取数据，调用 read 办法，把读取数据的指令交给 CPU 执行，线程进入阻塞状态。
2. CPU 收回指令给磁盘 DMA，通知磁盘 DMA 须要读取磁盘的哪些数据，而后返回；
3. 磁盘 DMA 向磁盘控制器收回 IO 申请，通知磁盘控制器须要读取哪些数据，而后返回；
4. 磁盘控制器收到 IO 申请之后，把数据读取到磁盘缓存区，当磁盘缓存读取实现之后，中断 DMA；
5. DMA 收到磁盘的中断信号，将磁盘缓存区的数据读取到 PageCache 缓存区，而后中断 CPU；
6. CPU 响应 DMA 中断信号，晓得数据读取实现，而后将 PageCache 缓存区中的数据读取到用户缓存中；
7. 用户程序从内存中读取到数据，能够继续执行后续写网卡数据操作；
8. 用户须要向网卡设施写入数据，调用 write 办法，把写数据指令交给 CPU 执行，线程进入阻塞；
9. CPU 将用户缓存区的数据写入 PageCache 缓存区，而后告诉网卡 DMA 写数据；
10. 网卡 DMA 将数据从 PageCache 缓存区复制到网卡，交给网卡解决数据。
11. 网卡开始解决数据，网卡解决实现数据之后中断网卡 DMA；
12. 网卡 DMA 解决中断，晓得数据处理实现，向 CPU 收回中断；
13. CPU 响应 DMA 中断信号，晓得数据处理实现，唤醒用户线程；
14. 用户程序执行后续逻辑。

这个过程比较复杂，其中次要存在以下问题：

• 产生了 4 次用户态与内核态的上下文切换，因为产生了两次零碎调用，一次是 read()，一次是 write()，每次零碎调用都得先从用户态切换到内核态，等内核实现工作后，再从内核态切换回用户态。上下文切换到老本并不小，一次切换须要耗时几十纳秒到几微秒，尽管工夫看上去很短，然而在高并发的场景下，这类工夫容易被累积和放大，从而影响零碎的性能。
• 产生了 4 次数据拷贝，其中两次是 DMA 的拷贝，另外两次则是通过 CPU 拷贝的，上面说一下这个过程：第一次拷贝，把磁盘上的数据拷贝到操作系统内核的缓冲区里，这个拷贝的过程是通过 DMA 搬运的。第二次拷贝，把内核缓冲区的数据拷贝到用户的缓冲区里，于是咱们应用程序就能够应用这部分数据了，这个拷贝到过程是由 CPU 实现的。第三次拷贝，把方才拷贝到用户的缓冲区里的数据，再拷贝到内核的 socket 的缓冲区里，这个过程仍然还是由 CPU 搬运的。第四次拷贝，把内核的 socket 缓冲区里的数据，拷贝到网卡的缓冲区里，这个过程又是由 DMA 搬运的。

咱们回过头看这个文件传输的过程，咱们只是搬运一份数据，后果却搬运了 4 次，过多的数据拷贝无疑会耗费 CPU 资源，大大降低了零碎性能。

这种简略又传统的文件传输方式，存在冗余的上文切换和数据拷贝，在高并发零碎里是十分蹩脚的，多了很多不必要的开销，会重大影响零碎性能。

所以，要想进步文件传输的性能，就须要缩小「用户态与内核态的上下文切换」和「内存拷贝」的次数。

如何进步文件传输的性能

缩小用户态与内核态的上下文切换的次数

读取磁盘数据的时候，之所以要产生上下文切换，这是因为用户空间没有权限操作磁盘或网卡，内核的权限最高，这些操作设施的过程都须要交由操作系统内核来实现，所以个别要通过内核去实现某些工作的时候，就须要应用操作系统提供的零碎调用函数。

而一次零碎调用必然会产生 2 次上下文切换：首先从用户态切换到内核态，当内核执行完工作后，再切换回用户态交由过程代码执行。

所以，要想缩小上下文切换到次数，就要缩小零碎调用的次数。

缩小数据拷贝的次数

在后面咱们晓得了，传统的文件传输方式会历经 4 次数据拷贝，而且这外面，「从内核的读缓冲区拷贝到用户的缓冲区里，再从用户的缓冲区里拷贝到 socket 的缓冲区里」，这个过程是没有必要的。

因为文件传输的利用场景中，在用户空间咱们并不会对数据「再加工」，所以数据实际上能够不必搬运到用户空间，因而用户的缓冲区是没有必要存在的。

零拷贝实现原理剖析

零拷贝技术实现的形式通常有 2 种：

• mmap + write
• sendfile

上面就谈一谈，它们是如何缩小「上下文切换」和「数据拷贝」的次数。

mmap + write

在后面咱们晓得，read()零碎调用的过程中会把内核缓冲区的数据拷贝到用户的缓冲区里，于是为了缩小这一步开销，咱们能够用 mmap()替换 read()零碎调用函数。

buf = mmap(file, len);
write(sockfd, buf, len);

mmap() 零碎调用函数会间接把内核缓冲区里的数据「映射」到用户空间，这样，操作系统内核与用户空间就不须要再进行任何的数据拷贝操作。

具体过程如下：

1. 利用过程调用了 mmap()后，DMA 会把磁盘的数据拷贝到内核的缓冲区里。接着，利用过程跟操作系统内核「共享」这个缓冲区；
2. 利用过程再调用 write()，操作系统间接将内核缓冲区的数据拷贝到 socket 缓冲区中，这所有都产生在内核态，由 CPU 来搬运数据；
3. 最初，把内核的 socket 缓冲区里的数据，拷贝到网卡的缓冲区里，这个过程是由 DMA 搬运的。

咱们能够得悉，通过应用 mmap()来代替 read()，能够缩小一次数据拷贝的过程。

但这还不是最现实的零拷贝，因为依然须要通过 CPU 把内核缓冲区的数据拷贝到 socket 缓冲区里，而且依然须要 4 次上下文切换，因为零碎调用还是 2 次。

sendfile

在 Linux 内核版本 2.1 中，提供了一个专门发送文件的零碎调用函数 sendfile()，函数模式如下：

#include <sys/socket.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

它的前两个参数别离是目标端和源端的文件描述符，前面两个参数是源端的偏移量和复制数据的长度，返回值是理论复制数据的长度。

首先，它能够代替后面的 read() 和 write() 这两个零碎调用，这样就能够缩小一次零碎调用，也就缩小了 2 次上下文切换的开销。

其次，该零碎调用，能够间接把内核缓冲区里的数据拷贝到 socket 缓冲区里，不再拷贝到用户态，这样就只有 2 次上下文切换，和 3 次数据拷贝。如下图：

然而这还不是真正的零拷贝技术，如果网卡反对 SG-DMA（The Scatter-Gather Direct Memory Access）技术（和一般的 DMA 有所不同），咱们能够进一步缩小通过 CPU 把内核缓冲区里的数据拷贝到 socket 缓冲区的过程。

你能够在你的 Linux 零碎通过上面这个命令，查看网卡是否反对 scatter-gather 个性：

$ ethtool -k eth0 | grep scatter-gather
scatter-gather: on

于是，从 Linux 内核 2.4 版本开始起，对于反对网卡反对 SG-DMA 技术的状况下，sendfile() 零碎调用的过程产生了点变动，具体过程如下：

1. 通过 DMA 将磁盘上的数据拷贝到内核缓冲区里；
2. 缓冲区描述符和数据长度传到 socket 缓冲区，这样网卡的 SG-DMA 控制器就能够间接将内核缓存中的数据拷贝到网卡的缓冲区里，此过程不须要将数据从操作系统内核缓冲区拷贝到 socket 缓冲区中，这样就缩小了一次数据拷贝；

所以，这个过程之中，只进行了 2 次数据拷贝，如下图：

这就是所谓的零拷贝（Zero-copy）技术，因为咱们没有在内存层面去拷贝数据，也就是说全程没有通过 CPU 来搬运数据，所有的数据都是通过 DMA 来进行传输的。。

零拷贝技术的文件传输方式相比传统文件传输的形式，缩小了 2 次上下文切换和数据拷贝次数，只须要 2 次上下文切换和数据拷贝次数，就能够实现文件的传输，而且 2 次的数据拷贝过程，都不须要通过 CPU，2 次都是由 DMA 来搬运。

所以，总体来看，零拷贝技术能够把文件传输的性能进步至多一倍以上。

应用零拷贝技术的我的项目

事实上，Kafka 这个开源我的项目，就利用了「零拷贝」技术，从而大幅晋升了 I / O 的吞吐率，这也是 Kafka 在解决海量数据为什么这么快的起因之一。

如果你追溯 Kafka 文件传输的代码，你会发现，最终它调用了 Java NIO 库里的 transferTo 办法：

@Override
public long transferFrom(FileChannel fileChannel, long position, long count) throws IOException {return fileChannel.transferTo(position, count, socketChannel);
}

如果 Linux 零碎反对 sendfile()零碎调用，那么 transferTo()实际上最初就会应用到 sendfile()零碎调用函数。

已经有大佬专门写过程序测试过，在同样的硬件条件下，传统文件传输和零拷拷贝文件传输的性能差别，你能够看到上面这张测试数据图，应用了零拷贝可能缩短 65% 的工夫，大幅度晋升了机器传输数据的吞吐量。

另外，Nginx 也反对零拷贝技术，个别默认是开启零拷贝技术，这样有利于进步文件传输的效率，是否开启零拷贝技术的配置如下：

http {
...
    sendfile on
...
}

sendfile 配置的具体意思:

• 设置为 on 示意，应用零拷贝技术来传输文件：sendfile，这样只须要 2 次上下文切换，和 2 次数据拷贝。
• 设置为 off 示意，应用传统的文件传输技术：read + write，这时就须要 4 次上下文切换，和 4 次数据拷贝。

当然，要应用 sendfile，Linux 内核版本必须要 2.1 以上的版本。

PageCache 有什么作用？

回顾后面说道文件传输过程，其中第一步都是先须要先把磁盘文件数据拷贝「内核缓冲区」里，这个「内核缓冲区」实际上是磁盘高速缓存（PageCache）。

因为零拷贝应用了 PageCache 技术，能够使得零拷贝进一步晋升了性能，咱们接下来看看 PageCache 是如何做到这一点的。

读写磁盘相比读写内存的速度慢太多了，所以咱们应该想方法把「读写磁盘」替换成「读写内存」。于是，咱们会通过 DMA 把磁盘里的数据搬运到内存里，这样就能够用读内存替换读磁盘。

然而，内存空间远比磁盘要小，内存注定只能拷贝磁盘里的一小部分数据。

那问题来了，抉择哪些磁盘数据拷贝到内存呢？

咱们都晓得程序运行的时候，具备「局部性」，所以通常，刚被拜访的数据在短时间内再次被拜访的概率很高，于是咱们能够用 PageCache 来缓存最近被拜访的数据，当空间有余时淘汰最久未被拜访的缓存。

所以，读磁盘数据的时候，优先在 PageCache 找，如果数据存在则能够间接返回；如果没有，则从磁盘中读取，而后缓存 PageCache 中。

还有一点，读取磁盘数据的时候，须要找到数据所在的地位，然而对于机械磁盘来说，就是通过磁头旋转到数据所在的扇区，再开始「程序」读取数据，然而旋转磁头这个物理动作是十分耗时的，为了升高它的影响，PageCache 应用了「预读性能」。

比方，假如 read 办法每次只会读 32 KB 的字节，尽管 read 刚开始只会读 0 ～ 32 KB 的字节，但内核会把其前面的 32～64 KB 也读取到 PageCache，这样前面读取 32～64 KB 的老本就很低，如果在 32～64 KB 淘汰出 PageCache 前，过程读取到它了，收益就十分大。

所以，PageCache 的长处次要是两个：

• 缓存最近被拜访的数据；
• 预读性能；

这两个做法，将大大提高读写磁盘的性能。

然而，在传输大文件（GB 级别的文件）的时候，PageCache 会不起作用，那就白白浪费 DMA 多做的一次数据拷贝，造成性能的升高，即便应用了 PageCache 的零拷贝也会损失性能

这是因为如果你有很多 GB 级别文件须要传输，每当用户拜访这些大文件的时候，内核就会把它们载入 PageCache 中，于是 PageCache 空间很快被这些大文件占满。

另外，因为文件太大，可能某些局部的文件数据被再次拜访的概率比拟低，这样就会带来 2 个问题：

• PageCache 因为长时间被大文件占据，其余「热点」的小文件可能就无奈充沛应用到 PageCache，于是这样磁盘读写的性能就会降落了；
• PageCache 中的大文件数据，因为没有享受到缓存带来的益处，但却消耗 DMA 多拷贝到 PageCache 一次；
  所以，针对大文件的传输，不应该应用 PageCache，也就是说不应该应用零拷贝技术，因为可能因为 PageCache 被大文件占据，而导致「热点」小文件无奈利用到 PageCache，这样在高并发的环境下，会带来重大的性能问题。

大文件传输用什么形式实现

绕开 PageCache 的 I/O 叫间接 I/O，应用 PageCache 的 I/O 则叫缓存 I/O。通常，对于磁盘，异步 I/O 只反对间接 I/O。

后面也提到，大文件的传输不应该应用 PageCache，因为可能因为 PageCache 被大文件占据，而导致「热点」小文件无奈利用到 PageCache。

于是，在高并发的场景下，针对大文件的传输的形式，应该应用「异步 I/O + 间接 I/O」来代替零拷贝技术。

间接 I/O 利用场景常见的两种：

应用程序曾经实现了磁盘数据的缓存，那么能够不须要 PageCache 再次缓存，缩小额定的性能损耗。在 MySQL 数据库中，能够通过参数设置开启间接 I/O，默认是不开启；
传输大文件的时候，因为大文件难以命中 PageCache 缓存，而且会占满 PageCache 导致「热点」文件无奈充分利用缓存，从而增大了性能开销，因而，这时应该应用间接 I/O。
另外，因为间接 I/O 绕过了 PageCache，就无奈享受内核的这两点的优化：

内核的 I/O 调度算法会缓存尽可能多的 I/O 申请在 PageCache 中，最初「合并」成一个更大的 I/O 申请再发给磁盘，这样做是为了缩小磁盘的寻址操作；
内核也会「预读」后续的 I/O 申请放在 PageCache 中，一样是为了缩小对磁盘的操作；
于是，传输大文件的时候，应用「异步 I/O + 间接 I/O」了，就能够无阻塞地读取文件了。

所以，传输文件的时候，咱们要依据文件的大小来应用不同的形式：

传输大文件的时候，应用「异步 I/O + 间接 I/O」；
传输小文件的时候，则应用「零拷贝技术」；
在 nginx 中，咱们能够用如下配置，来依据文件的大小来应用不同的形式：

location /video/ { 
    sendfile on; 
    aio on; 
    directio 1024m; 
}

当文件大小大于 directio 值后，应用「异步 I /O+ 间接 I /O」，否则应用「零拷贝技术」。

总结

晚期 I/O 操作，内存与磁盘的数据传输的工作都是由 CPU 实现的，而此时 CPU 不能执行其余工作，会特地节约 CPU 资源。

于是，为了解决这一问题，DMA 技术就呈现了，每个 I/O 设施都有本人的 DMA 控制器，通过这个 DMA 控制器，CPU 只须要通知 DMA 控制器，咱们要传输什么数据，从哪里来，到哪里去，就能够释怀来到了。后续的理论数据传输工作，都会由 DMA 控制器来实现，CPU 不须要参加数据传输的工作。

传统 IO 的工作形式，从硬盘读取数据，而后再通过网卡向外发送，咱们须要进行 4 上下文切换，和 4 次数据拷贝，其中 2 次数据拷贝产生在内存里的缓冲区和对应的硬件设施之间，这个是由 DMA 实现，另外 2 次则产生在内核态和用户态之间，这个数据搬移工作是由 CPU 实现的。

为了进步文件传输的性能，于是就呈现了零拷贝技术，它通过一次零碎调用（sendfile 办法）合并了磁盘读取与网络发送两个操作，升高了上下文切换次数。另外，拷贝数据都是产生在内核中的，人造就升高了数据拷贝的次数。

Kafka 和 Nginx 都有实现零拷贝技术，这将大大提高文件传输的性能。

零拷贝技术是基于 PageCache 的，PageCache 会缓存最近拜访的数据，晋升了拜访缓存数据的性能，同时，为了解决机械硬盘寻址慢的问题，它还帮助 I/O 调度算法实现了 IO 合并与预读，这也是程序读比随机读性能好的起因。这些劣势，进一步晋升了零拷贝的性能。

须要留神的是，零拷贝技术是不容许过程对文件内容作进一步的加工的，比方压缩数据再发送。

另外，当传输大文件时，不能应用零拷贝，因为可能因为 PageCache 被大文件占据，而导致「热点」小文件无奈利用到 PageCache，并且大文件的缓存命中率不高，这时就须要应用「异步 IO + 间接 IO」的形式。

在 Nginx 里，能够通过配置，设定一个文件大小阈值，针对大文件应用异步 IO 和间接 IO，而对小文件应用零拷贝。

欢送关注御狐神的微信公众号
<br/>

参考文档

原来 8 张图，就能够搞懂「零拷贝」了
linux dma 拷贝数据到用户态, 图解：零拷贝 Zero-Copy 技术大揭秘
内核态与用户态、零碎调用与库函数、文件 IO 与规范 IO、缓冲区等概念介绍

版权所有，禁止转载！