epoll 是Linux平台下的一种特有的多路复用IO实现形式,与传统的 select 相比,epoll 在性能上有很大的晋升。本文次要解说 epoll 的实现原理,而对于 epoll 的应用能够参考相干的书籍或文章。
相干视频举荐
面试中正经“八股文”网络原理tcp/udp,网络编程epoll/reactor
6种epoll的设计,让你吊打面试官,而且他不能还嘴
epoll原理分析以及三握四挥的解决
LinuxC++后盾服务器开发架构师收费学习地址

epoll 的创立

要应用 epoll 首先须要调用 epoll_create() 函数创立一个 epoll 的句柄,epoll_create() 函数定义如下:
int epoll_create(int size);
参数 size 是因为历史起因遗留下来的,当初不起作用。当用户调用 epoll_create() 函数时,会进入到内核空间,并且调用 sys_epoll_create() 内核函数来创立 epoll 句柄,sys_epoll_create() 函数代码如下:

asmlinkage long sys_epoll_create(int size){    int error, fd = -1;    struct eventpoll *ep;    error = -EINVAL;    if (size <= 0 || (error = ep_alloc(&ep)) < 0) {        fd = error;        goto error_return;    }    fd = anon_inode_getfd("[eventpoll]", &eventpoll_fops, ep);    if (fd < 0)        ep_free(ep);error_return:    return fd;}

sys_epoll_create() 次要做两件事件:
调用 ep_alloc() 函数创立并初始化一个 eventpoll 对象。
调用 anon_inode_getfd() 函数把 eventpoll 对象映射到一个文件句柄,并返回这个文件句柄。
咱们先来看看 eventpoll 这个对象,eventpoll 对象用于治理 epoll 监听的文件列表,其定义如下:

struct eventpoll {    ...    wait_queue_head_t wq;    ...    struct list_head rdllist;    struct rb_root rbr;    ...};

先来阐明一下 eventpoll 对象各个成员的作用:
wq: 期待队列,当调用 epoll_wait(fd) 时会把过程增加到 eventpoll 对象的 wq 期待队列中。
rdllist: 保留曾经就绪的文件列表。
rbr: 应用红黑树来治理所有被监听的文件。
下图展现了 eventpoll 对象与被监听的文件关系:

因为被监听的文件是通过 epitem 对象来治理的,所以上图中的节点都是以 epitem 对象的模式存在的。为什么要应用红黑树来治理被监听的文件呢?这是为了可能通过文件句柄疾速查找到其对应的 epitem 对象。红黑树是一种均衡二叉树,如果对其不理解能够查阅相干的文档。

【文章福利】:小编整顿了一些集体感觉比拟好的学习书籍、视频材料共享在群文件外面,有须要的能够自行添加哦!~点击退出(须要自取)

向 epoll 增加文件句柄

后面介绍了怎么创立 epoll,接下来介绍一下怎么向 epoll 增加要监听的文件。
通过调用 epoll_ctl() 函数能够向 epoll 增加要监听的文件,其原型如下:
long epoll_ctl(int epfd, int op, int fd,struct epoll_event *event);
上面阐明一下各个参数的作用:
epfd: 通过调用 epoll_create() 函数返回的文件句柄。
op: 要进行的操作,有3个选项:
EPOLL_CTL_ADD:示意要进行增加操作。
EPOLL_CTL_DEL:示意要进行删除操作。
EPOLL_CTL_MOD:示意要进行批改操作。
fd: 要监听的文件句柄。
event: 通知内核须要监听什么事。其定义如下:

struct epoll_event {    __uint32_t events;  /* Epoll events */    epoll_data_t data;  /* User data variable */};events 能够是以下几个宏的汇合:EPOLLIN :示意对应的文件句柄能够读(包含对端SOCKET失常敞开);EPOLLOUT:示意对应的文件句柄能够写;EPOLLPRI:示意对应的文件句柄有紧急的数据可读;EPOLLERR:示意对应的文件句柄产生谬误;EPOLLHUP:示意对应的文件句柄被挂断;EPOLLET:将EPOLL设为边缘触发(Edge Triggered)模式,这是绝对于程度触发(Level Triggered)来说的。EPOLLONESHOT:只监听一次事件,当监听完这次事件之后,如果还须要持续监听这个socket的话,须要再次把这个socket退出到EPOLL队列里。data 用来保留用户自定义数据。epoll_ctl() 函数会调用 sys_epoll_ctl() 内核函数,sys_epoll_ctl() 内核函数的实现如下:asmlinkage long sys_epoll_ctl(int epfd, int op,    int fd, struct epoll_event __user *event){    ...    file = fget(epfd);    tfile = fget(fd);    ...    ep = file->private_data;    mutex_lock(&ep->mtx);    epi = ep_find(ep, tfile, fd);    error = -EINVAL;    switch (op) {    case EPOLL_CTL_ADD:        if (!epi) {            epds.events |= POLLERR | POLLHUP;            error = ep_insert(ep, &epds, tfile, fd);        } else            error = -EEXIST;        break;    ...    }    mutex_unlock(&ep->mtx);    ...    return error;}

sys_epoll_ctl() 函数会依据传入不同 op 的值来进行不同操作,比方传入 EPOLL_CTL_ADD 示意要进行增加操作,那么就调用 ep_insert() 函数来进行增加操作。
咱们持续来剖析增加操作 ep_insert() 函数的实现:

static int ep_insert(struct eventpoll *ep, struct epoll_event *event,             struct file *tfile, int fd){    ...    error = -ENOMEM;    // 申请一个 epitem 对象    if (!(epi = kmem_cache_alloc(epi_cache, GFP_KERNEL)))        goto error_return;    // 初始化 epitem 对象    INIT_LIST_HEAD(&epi->rdllink);    INIT_LIST_HEAD(&epi->fllink);    INIT_LIST_HEAD(&epi->pwqlist);    epi->ep = ep;    ep_set_ffd(&epi->ffd, tfile, fd);    epi->event = *event;    epi->nwait = 0;    epi->next = EP_UNACTIVE_PTR;    epq.epi = epi;    // 等价于: epq.pt->qproc = ep_ptable_queue_proc    init_poll_funcptr(&epq.pt, ep_ptable_queue_proc);    // 调用被监听文件的 poll 接口.    // 这个接口又各自文件系统实现, 如socket的话, 那么这个接口就是 tcp_poll().    revents = tfile->f_op->poll(tfile, &epq.pt);    ...    ep_rbtree_insert(ep, epi); // 把 epitem 对象增加到epoll的红黑树中进行治理    spin_lock_irqsave(&ep->lock, flags);    // 如果被监听的文件曾经能够进行对应的读写操作    // 那么就把文件增加到epoll的就绪队列 rdllink 中, 并且唤醒调用 epoll_wait() 的过程.    if ((revents & event->events) && !ep_is_linked(&epi->rdllink)) {        list_add_tail(&epi->rdllink, &ep->rdllist);        if (waitqueue_active(&ep->wq))            wake_up_locked(&ep->wq);        if (waitqueue_active(&ep->poll_wait))            pwake++;    }    spin_unlock_irqrestore(&ep->lock, flags);    ...    return 0;    ...}

被监听的文件是通过 epitem 对象进行治理的,也就是说被监听的文件会被封装成 epitem 对象,而后会被增加到 eventpoll 对象的红黑树中进行治理(如上述代码中的 ep_rbtree_insert(ep, epi))。
tfile->f_op->poll(tfile, &epq.pt) 这行代码的作用是调用被监听文件的 poll() 接口,如果被监听的文件是一个socket句柄,那么就会调用 tcp_poll(),咱们来看看 tcp_poll() 做了什么操作:

unsigned int tcp_poll(struct file *file, struct socket *sock, poll_table *wait){    struct sock *sk = sock->sk;    ...    poll_wait(file, sk->sk_sleep, wait);    ...    return mask;}

每个 socket 对象都有个期待队列(waitqueue, 对于期待队列能够参考文章: 期待队列原理与实现),用于寄存期待 socket 状态更改的过程。
从上述代码能够晓得,tcp_poll() 调用了 poll_wait() 函数,而 poll_wait() 最终会调用 ep_ptable_queue_proc() 函数,ep_ptable_queue_proc() 函数实现如下:

static void ep_ptable_queue_proc(struct file *file,    wait_queue_head_t *whead, poll_table *pt){    struct epitem *epi = ep_item_from_epqueue(pt);    struct eppoll_entry *pwq;    if (epi->nwait >= 0 && (pwq = kmem_cache_alloc(pwq_cache, GFP_KERNEL))) {        init_waitqueue_func_entry(&pwq->wait, ep_poll_callback);        pwq->whead = whead;        pwq->base = epi;        add_wait_queue(whead, &pwq->wait);        list_add_tail(&pwq->llink, &epi->pwqlist);        epi->nwait++;    } else {        epi->nwait = -1;    }}

ep_ptable_queue_proc() 函数次要工作是把以后 epitem 对象增加到 socket 对象的期待队列中,并且设置唤醒函数为 ep_poll_callback(),也就是说,当socket状态发生变化时,会触发调用 ep_poll_callback() 函数。ep_poll_callback() 函数实现如下:

static int ep_poll_callback(wait_queue_t *wait, unsigned mode, int sync, void *key){    ...    // 把就绪的文件增加到就绪队列中    list_add_tail(&epi->rdllink, &ep->rdllist);is_linked:    // 唤醒调用 epoll_wait() 而被阻塞的过程    if (waitqueue_active(&ep->wq))        wake_up_locked(&ep->wq);    ...    return 1;}

ep_poll_callback() 函数的次要工作是把就绪的文件增加到 eventepoll 对象的就绪队列中,而后唤醒调用 epoll_wait() 被阻塞的过程。
期待被监听的文件状态产生扭转
把被监听的文件句柄增加到epoll后,就能够通过调用 epoll_wait() 期待被监听的文件状态产生扭转。epoll_wait() 调用会阻塞以后过程,当被监听的文件状态产生扭转时,epoll_wait() 调用便会返回。
epoll_wait() 零碎调用的原型如下:

long epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);

各个参数的意义:
epfd: 调用 epoll_create() 函数创立的epoll句柄。
events: 用来寄存就绪文件列表。
maxevents: events 数组的大小。
timeout: 设置期待的超时工夫。
epoll_wait() 函数会调用 sys_epoll_wait() 内核函数,而 sys_epoll_wait() 函数最终会调用 ep_poll() 函数,咱们来看看 ep_poll() 函数的实现:

static int ep_poll(struct eventpoll *ep,    struct epoll_event __user *events, int maxevents, long timeout){    ...    // 如果就绪文件列表为空    if (list_empty(&ep->rdllist)) {        // 把以后过程增加到epoll的期待队列中        init_waitqueue_entry(&wait, current);        wait.flags |= WQ_FLAG_EXCLUSIVE;        __add_wait_queue(&ep->wq, &wait);        for (;;) {            set_current_state(TASK_INTERRUPTIBLE); // 把以后过程设置为睡眠状态            if (!list_empty(&ep->rdllist) || !jtimeout) // 如果有就绪文件或者超时, 退出循环                break;            if (signal_pending(current)) { // 接管到信号也要退出                res = -EINTR;                break;            }            spin_unlock_irqrestore(&ep->lock, flags);            jtimeout = schedule_timeout(jtimeout); // 让出CPU, 切换到其余过程进行执行            spin_lock_irqsave(&ep->lock, flags);        }        // 有3种状况会执行到这里:        // 1. 被监听的文件汇合中有就绪的文件        // 2. 设置了超时工夫并且超时了        // 3. 接管到信号        __remove_wait_queue(&ep->wq, &wait);        set_current_state(TASK_RUNNING);    }    /* 是否有就绪的文件? */    eavail = !list_empty(&ep->rdllist);    spin_unlock_irqrestore(&ep->lock, flags);    if (!res && eavail        && !(res = ep_send_events(ep, events, maxevents)) && jtimeout)        goto retry;    return res;}

ep_poll() 函数次要做以下几件事:
判断被监听的文件汇合中是否有就绪的文件,如果有就返回。
如果没有就把以后过程增加到epoll的期待队列中,并且进入睡眠。
过程会始终睡眠直到有以下几种状况产生:
被监听的文件汇合中有就绪的文件
设置了超时工夫并且超时了
接管到信号
如果有就绪的文件,那么就调用 ep_send_events() 函数把就绪文件复制到 events 参数中。
返回就绪文件的个数。
最初,咱们通过一张图来总结epoll的原理:

上面通过文字来形容一下这个过程:
通过调用 epoll_create() 函数创立并初始化一个 eventpoll 对象。
通过调用 epoll_ctl() 函数把被监听的文件句柄 (如socket句柄) 封装成 epitem 对象并且增加到 eventpoll 对象的红黑树中进行治理。
通过调用 epoll_wait() 函数期待被监听的文件状态产生扭转。
当被监听的文件状态产生扭转时(如socket接管到数据),会把文件句柄对应 epitem 对象增加到 eventpoll 对象的就绪队列 rdllist 中。并且把就绪队列的文件列表复制到 epoll_wait() 函数的 events 参数中。
唤醒调用 epoll_wait() 函数被阻塞(睡眠)的过程。