关于操作系统:Clickhouse-系列-番外-零拷贝

42次阅读

共计 1118 个字符,预计需要花费 3 分钟才能阅读完成。

本文将向读者具体阐明第三章中提到的无序存储时,每次读取须要读取 4k 的底层细节。第三章的附录已将向读者阐明了“这个起因是因为操作系统在读取磁盘时,根据数据局部性原理,会依照页为单位读取,每页的大小默认是 4k。“本番外将向读者由此深刻到一个计算机领域罕用的一个优化——零拷贝技术。

在 linux 零碎中,提供了 3 套 API 供给用执行文件操作:

  1. 零碎调用
  2. 规范 I/O
  3. mmap

第一种零碎调用,是操作系统对外间接提供的文件 API,提供对文件的字节读写操作。操作系统在其外部实现了页缓存机制,对利用端通明,操作系统依据拜访页状况自行调整缓冲区大小。

第二种规范 I/O,也就是赫赫有名的 <stdio.h>。其通过流的形式实现对文件的操作。开发 stdio 的起因是因为零碎调用的页缓存太大(16K~128K), 而一些简略的利用,并不需要这么大的缓存,同时也因为调用零碎调用波及到 CPU 由用户模型向内核模式的切换,工夫耗费比拟大,因而开发了规范 IO,能够看成是对内核的缓冲。

第三种 mmap,就是所谓的零拷贝了。第二章规范 IO 适宜简略的程序应用,然而对于数据库这样的对性能要求高的程序就会有个出名的毛病。规范 IO 实质是对第一种形式的缓冲,是通过在用户空间复制一份数据实现的,规范 IO 会将第一种零碎调用 read() 生成的数据复制到用户空间一份,后续操作都在用户空间上进行操作,期待适合机会写会内核。此时,数据就产生了两次拷贝:即内核零碎调用 read() 将数据复制到内核空间的内存上,和规范 io 将数据复制到用户空间。这也势必带来了性能损耗,幸好内核提供了 mmap,反对利用将文件地址间接映射到以后过程的内存空间,这样利用就能够间接操作内存,由内核负责将内容同步到磁盘。

大部分数据库都应用 mmap 实现零拷贝,防止规范 IO 呈现的两次拷贝的状况。不过 mmap 将文件内容映射到内存,而操作系统的内存治理单元(MMU)治理内存最小单位是页,因而 mmap 必须依照页的整数倍组织映射大小。这就是第三章计算中呈现 4K 的起因。

应用 mmap 还有一个益处就是,除了多数的一些缺页异样,对 mmap 的读写都在用户空间进行。不会产生零碎调用。此外,操作 mmap 还能够通过 madvise() 零碎调用按需管制内核是否应用预读机制从而管制页缓存的大小。

mmap 是古代应用程序利用十分广的一项技术,kafka 的 commitlog、postgresql 的存储引擎…… 这些出名数据库都在大量利用零拷贝技术。但仍然像我之前强调的那样,应用 mmap 也不是没有毛病,次要毛病是必须依照页的整数倍来组织大小,容易呈现空间节约。因而在解决大文件或者文件大小正好是 pagesize 的整数倍时,应用 mmap 会取得很大的性能晋升。

正文完
 0