乐趣区

关于mysql优化:掰扯下Innodb内存架构之BufferPool

jiezi
  1. 咱们都晓得 mysql 中的数据最终都会存到磁盘上, 而咱们又晓得磁盘的读写速度和 cpu 不是在一个数量级上, 所以咱们猜想 mysql 存储引擎里必然有缓冲这一概念, 本节咱们就好好掰扯掰扯 myslq 中的缓存.
  2. 先到官网看看, 存储 innodb 存储引擎的构造

    从上图咱们能够看到,INNODB 架构, 大抵分为内存局部构造和磁盘局部构造,
    而内存局部又有 BufferPool,ChangeBuffer,Adaptive Hash Index,LogBuffer 等
    . 咱们将依照本图内存局部构造一点一点掰扯每一个缓存局部.
    3: 首先来看 BufferPool
  • 说白了就是内存里一个最次要的缓存数据, 并且在专用服务器上(这里能够了解 mysql 的生产环境) 80% 的物理内存都调配给了 buffer pool。可见 buffer 的重要性。

  • 那数据在 buffer 里是怎么存储的呢？在看官网给的架构图

    先不细剖析这个构造, 大抵看了下就是应用了 LRU(least recently used 这个大家都很相熟吧. 不相熟自行补充) 算法. 并且把整个列表分了 new 和 old 两局部. 还有一点就是列表里每一项到底缓存数据的维度是什么？所以上面将分 3 个局部介绍 1:buffer pool 缓存的数据维度是什么? 2: 为什么 LRU 算法还有 new 和 old 局部, 为什么会这样设计? 3: 实战看下 buffer pool 相干的配置
    1:buffer pool 缓存的数据维度是什么?
    When room is needed to add a new page to the buffer pool, the least recently used page is evicted and a new page is added to the middle of the list. 从官网这句话, 咱们能够得悉每一项都是 一页数据 . 这个前期写 mysql 索引文章的时候, 会详细分析为什么会是页数据为单位.
    2: 为什么 LRU 算法还有 new 和 old 局部, 为什么会这样设计?

    其实大家想想只有 LRU 算法的毛病就晓得了. 看下图

    就是随着新的数据页进来, 列表中的数据会被大量置换进来. 没有达到缓存的目标. 其实官网也介绍了哪些状况下会呈现这种状况[见下图].

    说白了, 全表扫描, 什么 mysqldump 操作,select 语句没有 where 条件，都会把大量数据放进 buffer bool, 即时这些数据并不是热点数据, 但同时还会把热点数据给排斥进来.
    那减少了 new 和 old 局部, 当呈现下面操作, 又是怎么爱护热点数据呢？

    可从上图看出, 新读入的数据都放在 old 列表, 并且不会替换掉 new 列表中的热点数据. 那问题来了, 什么时候 old 列表中数据会进入 new 列表呢?
    其实是进入 buffer pool 的数据, 能被真正读取到, 并停留肯定工夫窗口, 才会进入 new 列表 [有点像 jvm 内存分代, 多大年龄能够进入老年代].

    其实实在的状况是: 首先 mysql 会预读数据 [局部性原理, 大家能够自行理解] 另外加上下面说的全表扫描 mysqldump 等. 这两种状况, 使进入的 buffer pool 中的数据并不一定被读到, 所以不能间接把热点数据给置换掉, 才弄出来 new 列表和 old 列表, 并且 old 列表的数据被拜访到, 且经验过 T 工夫[工夫窗口] 才会进入 new 列表.

    3: 实战看下 buffer pool 相干的局部

  • 先本能到看下数据库对于 buffer pool 提供了哪些参数

窗口执行 show variables like ‘%buffer_pool%’;

如同看不太懂, 还是从 buffer pool 的数据结构反推应该有哪些配置吧.

  • 首先咱们应该想到的是 一个 mysql 实例容许有几个 buffer pool. 看下面架构图, 如同只有一个, 通过翻查材料, 从 INNODB1.0.X 之后, 容许有多个缓冲池实例. 所以找下必定有缓冲池实例的配置.
    没错 innodb_buffer_pool_instances=1 默认一个.
    另外 忽然扒到 information_schema 里有 INNODB_BUFFER_POOL_STATS 表. 猜想从里能查看缓冲池状态信息. 先看看在说.

能够看到有好多字段, 但有个 POOL_ID=0 可见我本地就一个缓冲池.

  • 其次就是缓冲池大小
    没错 innodb_buffer_pool_size=134217728
  • 有了大小了, 咱们晓得缓冲池别离 new 列表和 old 列表 所以必定有管制宰割比例的配置
    没错 innodb_old_blocks_pct=37 官网给的是 3 / 8 处. 可见这个是个经验值，或者有什么破定律使这个值最合适. 不废话, 去官网看看咋解释的.


innodb_old_blocks_pct 代表 old 列表的大小, 范畴[5,95] 其余本人到官网看吧.

  • 不过从上图又发现工夫窗口的配置了

innodb_old_blocks_time=1000 默认 1s

综合 innodb_old_blocks_pct 和 innodb_old_blocks_time 有两种状况
如果业务中经常出现表扫描, 这时候就该把 innodb_old_blocks_pct 调小, 把 innodb_old_blocks_time 调大, 防止很多预读的数据进入缓冲区.
如果业务中没有大量的表扫描. 这时候就该把 innodb_old_blocks_pct 调大, 把 innodb_old_blocks_time 减小, 让热点数据尽快进入 new 列表. 缩小磁盘 io, 进步性能.

  • 当初咱们宏观看下整个 buffer pool, 咱们能不能对他理解的更多.
    有多少个 buffer pool 咱们曾经晓得. 大小咱们也晓得. new 列表和 old 列表大小咱们也晓得. 当初惟一不晓得的是 buffer pool 里缓存了多少页数据? 从 old 列表跑到 new 列表的量, 频率等?
    还有个疑难点, 下面 POOL_SIZE=8191 和 innodb_buffer_pool_size=134217728 不是一个概念? 那 POOL_SIZE=8191 是什么概念呢？
    终于又从 information_schema 中发现两张表:

INNODB_BUFFER_PAGE
INNODB_BUFFER_PAGE_LRU
先看第一张表:INNODB_BUFFER_PAGE
当初明确了 其实就是缓冲池中的所有的页信息.
在来看第二张表 INNODB_BUFFER_PAGE_LRU

其实是 LRU 列表中的页信息. 从这里咱们能够得出,BUFFER POOL 中不仅仅只有一个 LRU 列表, 还有其余缓存信息.

  • 那 LRU 列表中 old 到 new 这些频率怎么看？命中率怎么看？其实下面有个图曾经有这些信息了, 在来看看.

HIT_RATE: 示意命中率 不用说, 越高越好.
PAGES_MADE_YONG: 这个是从 old 列表到 new 列表的数量。

另外咱们发现: FREE_BUFFERS: 7704

        DATABASE_PAGES: 487
        POOL_SIZE: 8191

7704+487=8191;
可见 buffer_pool 为 2 局部组成 lru[487]+free_buffers[7704]
除来 buffer_pool innodb 内存还有其余局部
这里举荐大家没事多喵喵官网:
14.5.1 Buffer Pool

14.5.2 Change Buffer

14.5.3 Adaptive Hash Index

14.5.4 Log Buffer
其余的缓存咱们下一次在一一剖析.

退出移动版