关于linux:write文件一个字节后何时发起写磁盘IO

在前文《read 文件一个字节理论会产生多大的磁盘 IO？》写完之后，原本想着偷个懒，只通过读操作来让大家理解下 Linux IO 栈的各个模块就行了。但很多同学示意再让我写一篇对于写操作的。既然不少人都有这个需要，那我就写一下吧。

Linux 内核真的是太简单了，源代码的行数曾经从 1.0 版本时的几万行，到当初曾经是千万行的一个硕大无朋了。间接钻进去的话，很容易在各种目迷五色的各种调用中迷失了本人，再也钻不进去了。我分享给大家一个我在推敲内核的办法。个别我本人先想一个本人很想搞清楚的问题。不论在代码里咋跳来跳去，时刻都要记得本人的问题，无关的局部尽量少去发散，只有把本人的问题搞清楚了就行了。

当初我想搞明确的问题是，在最罕用的形式下，不开 O_DIRECT、不开 O_SYNC（写文件的办法有很多，有 sync 模式、direct 模式、mmap 内存映射模式），write 是怎么写的。c 的代码示例如下:

#include <fcntl.h>
int main()
{
    char c = 'a';
    int out;

    out = open("out.txt", O_WRONLY | O_CREAT | O_TRUNC);
    write(out,&c,1);
    ...
}

进一步细化我的问题，咱们对关上的问题写入一个字节后

write 函数在内核里是怎么执行的?
数据在什么机会真正能写入到磁盘上？

咱们在探讨的过程中不可避免地要波及到内核代码，我应用的内核版本是 3.10.1。如果有须要，你能够到这里来下载。https://mirrors.edge.kernel.org/pub/linux/kernel/v3.x/。

我花了不短的时候跟踪 write 写到 ext4 文件系统时的各种调用和返回，大抵理进去了一个交互图。当然为了突出重点，我摈弃了不少细节，比方 DIRECT IO、ext4 日志记录啥的都没有体现进去，只抽取进去了一些我认为要害的调用。

在下面的流程图里，所有的写操作最终到哪儿了呢？在最初面的__block_commit_write 中，只是 make dirty。而后大部分状况下你的函数调用就返回了（稍后再说 balance_dirty_pages_ratelimited）。数据当初还在内存中的 PageCache 里，并没有真正写到硬盘。

为什么要这样实现，不间接写硬盘呢？起因就在于硬盘尤其是机械硬盘，性能是在是太慢了。一块服务器级别的万转盘，最坏随机拜访均匀提早都是毫秒级别的，换算成 IOPS 只有 100 多不到 200。构想一下，如果你的后端接口里每个用户来拜访都须要一次随机磁盘 IO，不论你多牛的服务器，每秒 200 的 qps 都将间接打爆你的硬盘，置信作为为百万 / 千万 / 过亿用户提供接口的你，这个是你相对不能忍的。

Linux 这么搞也是有副作用的，如果接下来服务器产生掉电，内存里货色全丢。所以 Linux 还有另外一个“补丁”- 提早写，帮咱们缓解这个问题。留神下，我说的是缓解，并没有彻底解决。

再说下 balance_dirty_pages_ratelimited，尽管绝大部分状况下，都是间接写到 Page Cache 里就返回了。但在一种状况下，用户过程必须得期待写入实现才能够返回，那就是对 balance_dirty_pages_ratelimited 的判断如果超出限度了。该函数判断以后脏页是否曾经超过脏页下限 dirty_bytes、dirty_ratio，超过了就必须得期待。这两个参数只有一个会失效，另外 1 个是 0。拿 dirty_ratio 来说，如果设置的是 30，就阐明如果脏页比例超过内存的 30%，则 write 函数调用就必须期待写入实现能力返回。能够在你的机器下的 /proc/sys/vm/ 目录来查看这两个配置。

# cat /proc/sys/vm/dirty_bytes
0
# cat /proc/sys/vm/dirty_ratio
30

内核是什么时候真正把数据写到硬盘中呢？为了疾速摸清楚全貌，我想到的方法是用 systemtap 工具，找到内核写 IO 过程中的一个要害函数，而后在其中把函数调用堆栈打进去。查了半天材料当前，我决定用 do_writepages 这个函数。

#!/usr/bin/stap
probe kernel.function("do_writepages")
{printf("--------------------------------------------------------\n"); 
    print_backtrace(); 
    printf("--------------------------------------------------------\n"); 
}

systemtab 跟踪当前，打印信息如下:

 0xffffffff8118efe0 : do_writepages+0x0/0x40 [kernel]
 0xffffffff8122d7d0 : __writeback_single_inode+0x40/0x220 [kernel]
 0xffffffff8122e414 : writeback_sb_inodes+0x1c4/0x490 [kernel]
 0xffffffff8122e77f : __writeback_inodes_wb+0x9f/0xd0 [kernel]
 0xffffffff8122efb3 : wb_writeback+0x263/0x2f0 [kernel]
 0xffffffff8122f35c : bdi_writeback_workfn+0x1cc/0x460 [kernel]
 0xffffffff810a881a : process_one_work+0x17a/0x440 [kernel]
 0xffffffff810a94e6 : worker_thread+0x126/0x3c0 [kernel]
 0xffffffff810b098f : kthread+0xcf/0xe0 [kernel]
 0xffffffff816b4f18 : ret_from_fork+0x58/0x90 [kernel]

从下面的输入咱们能够看出，真正的写文件过程操作是由 worker 内核线程收回来的（和咱们本人的应用程序过程没有半毛钱关系，此时咱们的应用程序的 write 函数调用早就返回了）。这个 worker 线程写回是周期性执行的，它的周期取决于内核参数 dirty_writeback_centisecs 的设置，依据参数名也大略能看进去，它的单位是百分之一秒。

# cat /proc/sys/vm/dirty_writeback_centisecs
500

我查看到我的配置是 500，就是说每 5 秒会周期性地来执行一遍。回顾咱们的问题，咱们最关怀的问题的啥时候写入的，围绕这个思路不过多发散。于是沿着这个调用栈一直地跟踪，跳转，终于找到了上面的代码。如下代码里咱们看到，如果是 for_background 模式，且 over_bground_thresh 判断胜利，就会开始回写了。

static long wb_writeback(struct bdi_writeback *wb,
                         struct wb_writeback_work *work)
{
    work->older_than_this = &oldest_jif;
    ...
    if (work->for_background && !over_bground_thresh(wb->bdi))
        break;
    ...

    if (work->for_kupdate) {
        oldest_jif = jiffies -
                msecs_to_jiffies(dirty_expire_interval * 10);
    } else ...
}
static long wb_check_background_flush(struct bdi_writeback *wb)
{if (over_bground_thresh(wb->bdi)) {
           ...
        return wb_writeback(wb, &work);
    }
}

那么 over_bground_thresh 函数判断的是啥呢？其实就是判断以后的脏页是不是超过内核参数里 dirty_background_ratio 或 dirty_background_bytes 的配置，没超过的话就不写了（代码位于 fs/fs-writeback.c：1440，限于篇幅我就不贴了）。这两个参数只有一个会真正失效，其中 dirty_background_ratio 配置的是比例、dirty_background_bytes 配置的是字节。

在我的机器上的这两个参数配置如下，示意脏页比例超过 10% 就开始回写。

# cat /proc/sys/vm/dirty_background_bytes
0
# cat /proc/sys/vm/dirty_background_ratio
10

那如果脏页始终都不超过这个比例怎么办呢，就不写了吗？不是的。在下面的 wb_writeback 函数中咱们看到了，如果是 for_kupdate 模式，会记录一个过期标记到 work->older_than_this，再往后面的代码中把合乎这个条件的页面也写回了。dirty_expire_interval 这个变量是从哪儿来的呢？在 kernel/sysctl.c 里，咱们发现了蛛丝马迹。哦，原来它是来自 /proc/sys/vm/dirty_expire_centisecs 这个配置。

1158         {
1159                 .procname       = "dirty_expire_centisecs",
1160                 .data           = &dirty_expire_interval,
1161                 .maxlen         = sizeof(dirty_expire_interval),
1162                 .mode           = 0644,
1163                 .proc_handler   = proc_dointvec_minmax,
1164                 .extra1         = &zero,
1165         },

在我的机器上，它的值是 3000。单位是百分之一秒，所以就是脏页过了 30 秒就会被内核线程认为须要写回到磁盘了。

# cat /proc/sys/vm/dirty_expire_centisecs
3000

咱们 demo 代码中的写入，其实绝大部分状况都是写入到 PageCache 中就返回了，这时并没有真正写入磁盘。咱们的数据会在如下三个机会下被真正发动写磁盘 IO 申请：

第一种状况，如果 write 零碎调用时，如果发现 PageCache 中脏页占比太多，超过了 dirty_ratio 或 dirty_bytes，write 就必须期待了。
第二种状况，write 写到 PageCache 就曾经返回了。worker 内核线程异步运行的时候，再次判断脏页占比，如果超过了 dirty_background_ratio 或 dirty_background_bytes，也发动写回申请。
第三种状况，这时同样 write 调用曾经返回了。worker 内核线程异步运行的时候，尽管零碎内脏页始终没有超过 dirty_background_ratio 或 dirty_background_bytes，然而脏页在内存中呆的工夫超过 dirty_expire_centisecs 了，也会发动会写。

如果对以上配置不称心，你能够本人通过批改 /etc/sysctl.conf 来调整，批改完了别忘了执行 sysctl -p。

最初咱们要意识到，这套 write pagecache+ 回写的机制第一指标是性能，不是保障不失落咱们写入的数据的。如果这时候掉电，脏页工夫未超过 dirty_expire_centisecs 的就真的丢了。如果你做的是和钱相干十分重要的业务，必须保障落盘实现能力返回，那么你就可能须要思考应用 fsync。

开发内功修炼之硬盘篇专辑：

1. 磁盘开篇：扒开机械硬盘坚挺的外衣！
2. 磁盘分区也是隐含了技术技巧的
3. 咱们怎么解决机械硬盘既慢又容易坏的问题？
4. 拆解固态硬盘构造
5. 新建一个空文件占用多少磁盘空间？
6. 只有 1 个字节的文件理论占用多少磁盘空间
7. 文件过多时 ls 命令为什么会卡住？
8. 了解格式化原理
9.read 文件一个字节理论会产生多大的磁盘 IO？
10.write 文件一个字节后何时发动写磁盘 IO？
11. 机械硬盘随机 IO 慢的超乎你的设想
12. 搭载固态硬盘的服务器到底比搭机械硬盘快多少？

我的公众号是「开发内功修炼」，在这里我不是单纯介绍技术实践，也不只介绍实践经验。而是把实践与实际联合起来，用实际加深对实践的了解、用实践进步你的技术实际能力。欢送你来关注我的公众号，也请分享给你的好友~~~

关于linux:write文件一个字节后何时发起写磁盘IO

write 函数实现分析

内核提早写

论断

Just My Socks（注册教程内含优惠码）

关于linux:write文件一个字节后何时发起写磁盘IO

write 函数实现分析

内核提早写

论断

Just My Socks（注册教程 内含优惠码）

Just My Socks（注册教程内含优惠码）