关于nginx:网路的几种IO模型以及Nginx基本原理

1 网络 IO 模型

1.1 网络 IO 基本概念了解

IO 别离示意输出 (input) 和输入 (output)。它形容的是计算机的数据流动的过程，因而 IO 第一大特色是有数据的流动；那么对于 IO 的整个过程大体上分为 2 个局部， 第一个局部为 IO 的调用，第二个过程为 IO 的执行。IO 的调用指的就是零碎调用，IO 的执行指的是在内核中相干数据的处理过程，这个过程是由操作系统实现的，与程序员无关。

IO 多路复用 是指 内核 一旦发现过程指定的一个或者多个 IO 条件筹备读取，它就告诉该 过程，目前反对 I / O 多路复用的零碎调用有select、poll、epoll，I/ O 多路复用就是通过一种机制，一个过程能够监督多个描述符（socket），一旦某个描述符就绪（个别是读就绪或者写就绪），可能告诉程序进行相应的读写操作。

描述符 (socket) 在 windows 中能够叫做句柄。咱们能够了解成一个文件对应的 ID。IO 其实就是对

1.2 对同步 异步 阻塞 非阻塞在网络中的了解

能够先看以前写的文章：对同步 异步 阻塞 非阻塞在网络中的了解

阻塞 IO：申请过程始终期待 IO 准备就绪。
非阻塞 IO：申请过程不会期待 IO 准备就绪。
同步 IO 操作：导致申请过程阻塞，直到 IO 操作实现。
异步 IO 操作：不导致申请过程阻塞。

举个小例子来了解阻塞，非阻塞，同步和异步的关系，咱们晓得编写一个程序能够有多个函数，每一个函数的执行都是互相独立的；然而，对于一个程序的执行过程，每一个函数都是必须的，那么如果咱们须要期待一个函数的执行完结而后返回一个后果(比方接口调用)，那么咱们说该函数的调用是阻塞的，对于至多有一个函数调用阻塞的程序，在执行的过程中，必然存在阻塞的一个过程，那么咱们就说该程序的执行是同步的，对于异步天然就是所有的函数执行过程都是非阻塞的。

这里的程序就是一次残缺的 IO，一个函数为 IO 在执行过程中的一个独立的小片段。

咱们晓得在 Linux 操作系统中内存分为 内核空间 和用户空间，而所有的 IO 操作都得取得内核的反对，然而因为用户态的过程无奈间接进行内核的 IO 操作，所以内核空间提供了零碎调用，使得处于用户态的过程能够间接执行 IO 操作，IO 调用的目标是将过程的外部数据迁徙到内部即输入，或将内部数据迁徙到过程外部即输出。而在这里探讨的数据通常是 socket 过程外部的数据。

1.3 五种 IO 模型

基本原理

在上图中，每一个客户端会与服务端建设一次 socket 连贯，而服务端获取连贯后，对于所有的数据的读取都得通过操作系统的内核，通过零碎调用内核将数据复制到用户过程的缓冲区，而后才实现客户端的过程与客户端的交互。那么依据零碎调用的形式的不同分为阻塞和非阻塞，依据零碎解决利用过程的形式不同分为同步和异步。

模型 1：阻塞式 IO

每一次客户端产生的 socket 连贯实际上是一个文件描述符 fd, 而每一个用户过程读取的实际上也是一个个文件描述符 fd, 在该期间的零碎调用函数会期待网络申请的数据的达到和数据从内核空间复制到用户过程空间，也就是说，无论是第一阶段的 IO 调用还是第二阶段的 IO 执行都会阻塞，那么就像图中所画的一样，对于多个客户端连贯，只能开拓多个线程来解决。

模型 2：非阻塞 IO 模型

对于阻塞 IO 模型来说最大的问题就体现在阻塞 2 字上，那么为了解决这个问题，零碎的内核因而产生了扭转。在内核中 socket 反对了非阻塞状态。既然这个 socket 是不阻塞的了，那么就能够应用一个过程解决客户端的连贯，该过程外部写一个死循环，一直的询问每一个连贯的网络数据是否曾经达到。此时轮询产生在用户空间，然而该过程仍然须要本人解决所有的连贯，所以该期间为同步非阻塞 IO 期间，也即为 NIO。

模型 3：IO 多路复用

在非阻塞 IO 模型中，尽管解决了 IO 调用阻塞的问题，然而产生了新的问题，如果当初有 1 万个连贯，那么用户线程会调用 1 万次的零碎调用 read 来进行解决，在用户空间这种开销太大，那么当初须要解决这个问题，思路就是让用户过程缩小零碎调用，然而用户本人是实现不了的，所以这就导致了内核产生了进一步变动。在内核空间中帮忙用户过程遍历所有的文件描述符，将数据筹备好的文件描述符返回给用户过程。该形式是同步阻塞 IO，因为在第一阶段的 IO 调用会阻塞过程。

IO 多路复用是指内核一旦发现过程指定的一个或者多个 IO 条件筹备读取，它就告诉该过程，目前反对 I / O 多路复用的零碎调用有 select、poll、epoll。
，I/ O 多路复用就是通过一种机制，一个过程能够监督多个描述符（socket），一旦某个描述符就绪（个别是读就绪或者写就绪），可能告诉程序进行相应的读
写操作。

select/poll

为了让内核帮忙用户过程实现文件描述符的遍历，内核减少了零碎调用 select/poll(select 与 poll 实质上没有什么不同，就是 poll 缩小了文件描述符的个数限度)，当初用户过程只须要调用 select 零碎调用函数，并且将文件描述符全副传递给 select 就能够让内核帮忙用户过程实现所有的查问，而后将数据筹备好的文件描述符再返回给用户过程，最初用户过程顺次调用其余零碎调用函数实现 IO 的执行过程。

epoll

在 select 实现的多路复用中仍然存在一些问题。

1、用户过程须要传递所有的文件描述符，而后内核将数据筹备好的文件描述符再次传递回去，这种数据的拷贝升高了 IO 的速度。2、内核仍然会执行复杂度为 O(n)的被动遍历操作。

对于第一个问题，提出了一个共享空间的概念，这个空间为用户过程和内核过程所共享，并且提供了 mmap 零碎调用，实现用户空间和内核空间到共享空间的映射，这样用户过程就能够将 1 万个文件描述符写到共享空间中的红黑树上，而后内核将准备就绪的文件描述符写入共享空间的链表中，而用户过程发现链表中有数据了就间接读取而后调用 read 执行 IO 即可。

对于第二个问题，内核引入了事件驱动机制 (相似于中断)，不再被动遍历所有的文件描述符，而是通过事件驱动的形式被动告诉内核该文件描述符的数据筹备结束了，而后内核就将其写入链表中即可。

对于 epoll 来说在第一阶段的 epoll_wait 仍然是阻塞的，故也是同步阻塞式 IO。

模型 4：信号驱动式 IO

在 IO 执行的数据筹备阶段，不会阻塞用户过程。当用户过程须要期待数据的时候，会向内核发送一个信号，通知内核须要数据，而后用户过程就持续做别的事件去了，而当内核中的数据筹备好之后，内核立马发给用户过程一个信号，用户过程收到信号之后，立马调用 recvfrom，去查收数据。该 IO 模型应用的较少。

模型 5：异步 IO(AIO)

利用过程通过 aio_read 告知内核启动某个操作，并且在整个操作实现之后再告诉利用过程，包含把数据从内核空间拷贝到用户空间。信号驱动 IO 是内核告诉咱们何时能够启动一个 IO 操作，而异步 IO 模型是由内核告诉咱们 IO 操作何时实现。是真正意义上的无阻塞的 IO 操作，然而目前只有 windows 反对 AIO，linux 内核临时不反对。

总结

前四种模型的次要区别于第一阶段，因为他们的第二阶段都是一样的：在数据从内核拷贝到利用过程的缓冲区期间，过程都会阻塞。相同，异步 IO 模型在这两个阶段都不会阻塞，从而不同于其余四种模型。

间接内存与零拷贝

间接内存 并不是虚拟机运行时数据区的一部分，也不是 Java 虚拟机标准中农定义的内存区域。间接内存申请空间消耗更高的性能，间接内存 IO 读写的性能要优于一般的堆内存，对于 java 程序来说，零碎内核读取堆类的对象须要依据代码段计算其偏移量来获取对象地址，效率较慢，不太适宜网络 IO 的场景，对于间接内存来说更加适宜 IO 操作，内核读取寄存在间接内存中的对象较为不便，因为其地址就是袒露的过程虚拟地址，不须要 jvm 翻译。那么就能够应用 mmap 开拓一块间接内存 mapbuffer 和内核空间共享，并且该间接内存能够间接映射到磁盘上的文件，这样就能够通过调用本地的 put 而不必调用零碎调用 write 就能够将数据间接写入磁盘,RandomAccessFile 类就是通过开拓 mapbuffer 实现的读写磁盘。

以音讯队列 Kafka 来说，有生产者和消费者，对于生产者，从网络发来一个音讯 msg 并且被拷贝到内核缓冲区，该音讯通过 Kafka 调用 recvfrom 将内核中的 msg 读到队列中，而后加上音讯头 head, 再将该音讯写入磁盘。如果没有 mmap 的话，就会调用一个 write 零碎调用将该音讯写入内核缓冲区，而后内核将该音讯再写入磁盘。在此过程中呈现一次 80 中断和 2 次拷贝。但实际上 Kafka 应用的是 mmap 开拓了间接内存到磁盘的映射，间接应用 put 将音讯写入磁盘。实际上也是通过内核拜访该共享区域将该音讯写入的磁盘。同时在 Kafka 中有一个概念叫 segment, 个别为 1G 大小。它会充分利用磁盘的程序性，只追加数据，不批改数据。而 mmap 会间接开拓 1G 的间接内存，并且间接与 segment 造成映射关系，在 segment 满了的时候再开拓一个新的 segment，清空间接内存而后在与新的 segment 造成映射关系。

零拷贝 形容的是 CPU 不执行拷贝数据从一个存储区域到另一个存储区域的工作，这通常用于通过网络传输一个文件时以缩小 CPU 周期和内存带宽。

在 Kafka 的消费者读取数据的时候，如果以后消费者想读取的数据是不是以后间接内存所映射的 segment 怎么办？如果没有零拷贝的话，过程会先去调用 read 读取，而后数据会从磁盘被拷贝到内核，而后内核再拷贝到 Kafka 队列，过程再调用 write 将数据拷贝到内核缓冲区，最初再发送给消费者。实际上能够发现，数据没有必要读到 Kafka 队列，间接读到内核的缓冲区的时候发送给消费者就行了。实际上，linux 内核中有一个零碎调用就是实现了这种形式读取数据——sendfile, 它有 2 个参数，一个是 infd(读取数据的文件描述符), 一个是 outfd(客户端的 socket 文件描述符). 消费者只需调用该函数，通知它须要读取那个文件就能够不通过 Kafka 间接将数据读到内核，而后由内核写到消费者过程的缓冲区中。

2 nginx 原理理解

2.1 什么是 nginx

Nginx 是一款自在的、开源的、高性能的 HTTP 服务器和反向代理服务器；同时也是一个 IMAP、POP3、SMTP 代理服务器；Nginx 能够作为一个 HTTP 服务器进行网站的公布解决，另外 Nginx 能够作为反向代理进行负载平衡的实现。

2.1.1 nginx 的三个次要利用场景

1、动态资源服务（通过本地文件系统提供服务）
2、缓存、负载平衡服务器
3、API 服务（OpenResty）

2.2 为什么抉择 nginx?

1. 更快
   这体现在两个方面：一方面，在失常状况下，单次申请会失去更快的响应；另一方面，在高峰期（如有数以万计的并发申请），Nginx 能够比其余 Web 服务器更快地响应申请。
2. 高扩展性
   Nginx 的设计极具扩展性，它齐全是由多个不同性能、不同档次、不同类型且耦合度极低的模块组成。因而，当对某一个模块修复 Bug 或进行降级时，能够专一于模块本身，毋庸在意其余。
   而且在 HTTP 模块中，还设计了 HTTP 过滤器模块：一个失常的 HTTP 模块在解决完申请后，会有一串 HTTP 过滤器模块对申请的后果进行再解决。这样，当咱们开发一个新的 HTTP 模块时，岂但能够应用诸如 HTTP 外围模块、events 模块、log 模块 等不同档次或者不同类型的模块，还能够一成不变地复用大量已有的 HTTP 过滤器模块。
   这种低耦合度的优良设计，造就了 Nginx 宏大的第三方模块，当然，公开的第三方模块也如官网公布的模块一样容易应用。
   Nginx 的模块都是嵌入到二进制文件中执行的，无论官网公布的模块还是第三方模块都是如此。这使得第三方模块一样具备极其优良的性能，充分利用 Nginx 的高并发个性，因而，许多高流量的网站都偏向于开发合乎本人业务个性的定制模块。
3. 高可靠性
   高可靠性是咱们抉择 Nginx 的最根本条件，因为 Nginx 的可靠性是大家引人注目的，很多家高流量网站都在外围服务器上大规模应用 Nginx。Nginx 的高可靠性来自于其外围框架代码的优良设计、模块设计的简略性；另外，官网提供的罕用模块都十分稳固，每个 worker 过程绝对独立，master 过程在 1 个 worker 过程出错时能够疾速“拉起”新的 worker 子过程提供服务。
4. 低内存耗费
   个别状况下，10000 个非沉闷的 HTTP Keep-Alive 连贯在 Nginx 中仅耗费 2.5MB 的内存，这是 Nginx 反对高并发连贯的根底。
5. 单机反对 10 万以上的并发连贯
   这是一个十分重要的个性！随着互联网的迅猛发展和互联网用户数量的成倍增长，各大公司、网站都须要应酬海量并发申请，一个可能在峰值期顶住 10 万以上并发申请的 Server，无疑会失去大家的青眼。实践上，Nginx 反对的并发连贯下限取决于内存，当然，可能及时地解决更多的并发申请，是与业务特点严密相干的。
6. 热部署
   master 治理过程与 worker 工作过程的拆散设计，使得 worker 可能提供热部署性能，即能够在 7×24 小时不间断服务的前提下，降级 worker 的可执行文件。当然，它也反对不进行服务就更新配置项、更换日志文件等性能。
7. 最自在的 BSD 许可协定
   这是 worker 能够疾速倒退的弱小能源。BSD 许可协定不只是容许用户收费应用 worker，它还容许用户在本人的我的项目中间接应用或批改 worker 源码，而后公布。这吸引了有数开发者持续为 worker 奉献本人的智慧。

2.3 Nginx 相干的开源版本

1、阿里巴巴 Tengine Tengine 是由淘宝网发动的 Web 服务器我的项目。它在 Nginx 的根底上，针对大访问量网站的需要，增加了很多高级性能和个性。
2、openresty OpenResty® 是一个基于 Nginx 与 Lua 的高性能 Web 平台，其外部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于不便地搭建可能解决超高并发、扩展性极高的动静 Web 利用、Web 服务和动静网关。

2.4 Nginx 高效的起因及原理解析

2.4.1 服务器的网络服务模型

web 服务器和客户端是一对多的关系，Web 服务器必须有能力同时为多个客户端提供服务。一般来说实现并行处理申请工作有三种形式：

2.4.1.1 单过程阻塞的网络服务器

阐明：

1、创立一个 socket，绑定服务器端口（bind），监听端口（listen），在 PHP 中用 stream_socket_server 一个函数就能实现下面 3 个步骤
2、进入 while 循环，阻塞在 accept 操作上，期待客户端连贯进入。此时程序会进入睡眠状态，直到有新的客户端发动 connect 到服务器，操作系统会唤
醒此过程。accept 函数返回客户端连贯的 socket
3、利用 fread 读取客户端 socket 当中的数据收到数据后服务器程序进行解决而后应用 fwrite 向客户端发送响应。长连贯的服务会继续与客户端交互，而短连贯服务个别收到响应就会 close。

毛病：一次只能解决一个连贯，不反对多个长连贯同时解决

2.4.1.2 多过程形式

多过程形式指，服务器每当收到一个客户端申请时，就有服务器主过程生成一个子过程进去和客户端建设连贯进行交互，直到连贯断开该子过程就完结了。

阐明：

后面流程统一就不补充了
1、程序启动后就会创立 N 个过程。每个子过程进入 Accept，期待新的连贯进入。当客户端连贯到服务器时，其中一个子过程会被唤醒，开始解决客户端申请，并且不再承受新的 TCP 连贯。当连贯敞开时，子过程会开释，从新进入 Accept，参加解决新的连贯。这个模型的劣势是齐全能够复用过程，不须要太多的上下文切换，比方 php-fpm 基于此模型来解决解析 php.

多过程形式的长处是设计简略，各个子过程绝对独立，解决客户端申请时彼此不受烦扰；

毛病是操作系统生成一个子过程须要进行内存复制等操作，在资源和工夫上会产生肯定的开销；当有大量申请时，会导致系统性能降落；
例如：即时聊天程序，一台服务器可能要维持数十万的连贯，那么就要启动数十万的过程来维持。这显然不可能

2.4.1.3 多线程形式

多线程形式指每当服务器接管到一个申请后，会由服务器主过程派生出一个线程进去和客户端进行交互。因为操作系统产生出一个线程的开销远远小于一个过程的开销。故多线程形式在很大水平上加重了 Web 服务器对系统资源的要求。

毛病：稳定性！假如某个过程忽然敞开会造成整个过程中的所有线程都解体。

基于下面的模式咱们发现单个过程每次只能通过每次（accept）解决单个申请，有没有方法一次性连贯多个申请，须要的时候再解决呢？

2.4.1.4 单过程 IO 复用形式

阐明：

1、保留所有的 socket, 通过 select 模型，监听 socket 描述符的可读事件
2、Select 会在内核空间监听一旦发现 socket 可读，会从内核空间传递至用户空间，在用户空间通过逻辑判断是服务端 socket 可读，还是客户端
的 socket 可读
3、如果是服务端的 socket 可读，阐明有新的客户端建设，将 socket 保留到监听数组当中
4、如果是客户端的 socket 可读，阐明以后曾经能够去读取客户端发送过去的内容了，通过 fread 读取 socket 内容，而后 fwrite 响应给客户端。

长处：性能最好！一个过程或线程解决多个申请，不须要额定开销，性能最好，资源占用最低。

毛病：稳定性！某个过程或线程出错，可能导致大量申请无奈解决，甚至导致整个服务宕机, 单过程对于大量工作解决乏力。

2.4.1.5 多过程的 master-workerIO 复用形式

2.4.1.5.1 nginx 的根本架构

1.Nginx 启动后，会产生一个主过程，主过程执行一系列的工作后会产生一个或者多个工作过程
2. 在客户端申请动静站点的过程中，Nginx 服务器还波及和后端服务器的通信。Nginx 将接管到的 Web 申请通过代理转发到后端服务器，由后端服务器进行
数据处理和组织；3.Nginx 为了进步对申请的响应效率，升高网络压力，采纳了缓存机制，将历史应答数据缓存到本地。保障对缓存文件的快速访问

master 过程次要用来治理 worker 过程，具体包含以下次要性能：

（1）接管来自外界的信号。（2）解决配置文件读取。（3）创立，绑定和敞开套接字（4）启动，终止和保护配置的工作 (worker) 过程数（5）当 woker 过程退出后（异常情况下），会主动重新启动新的 woker 过程

worker过程的次要工作是实现具体的工作逻辑。其次要关注点是与客户端或后端实在服务器（此时 worker作为两头代理）之间的数据可读 / 可写等 I / O 交互事件。

（1）接管客户端申请；（2）将申请一次送入各个功能模块进行过滤解决；（3）与后端服务器通信，接管后端服务器处理结果；（4）数据缓存;（5）响应客户端申请;

材料起源：
[1] https://segmentfault.com/a/11…
[2] 六星教育