MySQL 8.0 Buffer Pool:三条链表,一场持续的搬运

上一篇的结论是:checkpoint 推不动,说明脏页刷不出去;脏页刷不出去,redo 就要满。

但脏页到底存在哪、由谁负责刷、什么情况下会刷不动——上一篇没答。答案全在 buffer pool 里,而且只有三条链表。

这一篇只讲一件事:buffer pool 里看起来复杂的所有动作,本质上都是三条链表之间的搬运。

▶ 打开交互动图:看着页被搬走

48 个页槽位,跑的是真的 LRU 逻辑。先点「业务负载」让池子热起来,再点「全表扫描」,数一数 0—7 号热点页还剩几个;然后切到「朴素 LRU」重来一遍,同一个动作,结果完全不同。电脑上打开效果最好。

一、结构:三层,三个数字

Buffer Pool 的三层结构:instance、chunk、16KB 页
图 1 · 三个数字撑起整个结构:16KB 的页、128MB 的 chunk、8 个 instance
  • 页 16KB。innodb_page_size 默认 16KB,buffer pool 缓存的就是页,不是行、不是表。
  • chunk 128MB。innodb_buffer_pool_chunk_size 默认 128MB,是扩容的最小粒度。
  • instance 8 个。innodb_buffer_pool_instances 默认 8,每个 instance 自己一套锁和链表。目的是把一把大锁拆成八把,减少争用。buffer pool 小于 1GB 时会退化成 1 个。

第一个坑就在这儿:innodb_buffer_pool_size 不是设多少就是多少。它会被调整成 chunk_size × instances 的整数倍。比如设了 5GB、chunk 128MB、instance 8,实际会取整到 4GB 或 5.5GB 附近。查实际值别看参数,看 @@innodb_buffer_pool_size 生效后和 Innodb_buffer_pool_pages_total × 16KB 是否一致。

二、三条链表就是全部

free list、LRU list、flush list 三条链表之间的流转
图 2 · 四条边就是全部动作:取页、变脏、刷完、淘汰
链表 装什么 排序依据 谁在动它
free list 还没装数据的空闲页 无序 初始化时灌满;淘汰回收时归还
LRU list 所有已经装了页的内存页 访问热度,分 young / old 每次访问、每次读入新页
flush list 脏页(改过但还没写回磁盘) oldest_modification LSN 升序 页变脏时挂上,刷完摘掉

三个容易记混的地方:

  1. 一个页只要装着数据,就一定在 LRU 里。 它脏了,才额外再挂到 flush list。两个链表不是互斥的两拨页,而是同一个页的两个身份。
  2. 一个页在 flush list 里只会出现一次。 连续改它十次不会挂十次,链表节点记的是它第一次变脏时的 LSN。这正是 checkpoint 需要的那个最小值——所以 checkpoint 只能推进到 flush list 最老节点的 LSN,跟"最近改了哪些页"无关。
  3. 刷完不会离开 LRU。 从 flush list 摘掉只是"不脏了",页还在内存里继续服务读请求。只有当它一路沉到 LRU 尾部被淘汰时,才真正离开。

三、LRU 为什么要切成两段

这是 buffer pool 里设计得最巧的一处,也是面试最常追问的点。

一个朴素的 LRU 有个致命弱点:一次全表扫描就能把热数据全部冲走。 算一笔账:1000 万行的表,每页按 80 行算,大约 12.5 万个页,乘以 16KB 差不多 2GB。如果 buffer pool 是 8GB,一次全表扫描就把 2GB 冷数据灌了进去,而且每个页都"刚被访问过",在朴素 LRU 里全是热的——原本那 8GB 热数据被挤得一个不剩,命中率断崖式下跌。

InnoDB 的解法是把 LRU 切成 young 和 old 两段:

LRU 的 young 段与 old 段,新页插入 midpoint
图 3 · 新页从中间进,不是从头部进;这一条改动挡住了全表扫描
  • 新读入的页插到中点(midpoint),也就是 old 段的头部,而不是 young 段的头部。
  • old 段默认占 37%,由 innodb_old_blocks_pct 控制。
  • 一个页在 old 段里,只有当它待满 innodb_old_blocks_time(默认 1000ms)之后再次被访问,才晋升到 young 头部。

关键在于这两个条件必须同时满足。全表扫描时,一个 16KB 的页里几十行会在几毫秒内被连续读到——如果只看"是否被访问过",这些密集访问会被当成热点,一页接一页地晋升进 young。真正的拦截点是那道时间门槛:1 秒内的重复访问一律不算数,于是一批冷页在 old 段头部进、尾部出,young 区纹丝不动。

所以准确的说法不是"扫描的页只被访问一次",而是"扫描的页在被访问的那一小段时间里没有资格晋升"。这也是为什么 innodb_old_blocks_time=0 危险:门槛一撤,同一次扫描就能把缓冲池洗一遍。

这一条只看静态图不够直观,交互动图里可以自己跑:把 old_blocks_time 调到 0,同样扫 60 个页,8 个热点页一个不剩。

两个参数的实际含义:

  • innodb_old_blocks_pct:old 段占多大。调小更保护热点,但新页存活时间更短、预热更慢。
  • innodb_old_blocks_time:old 段里的页要"活多久"才有资格晋升。设成 0 等于把这道保护关掉,全表扫描立刻能污染整个缓冲池。有人为了"让缓存更快热起来"把它调成 0,等于用稳定性换了几分钟的预热速度。

想验证这道机制在工作,看两个计数器:

SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_pages_made_young';
SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_pages_made_not_young';

后者远大于前者,说明大量页被访问了但没晋升——正是 old 段在拦截短命访问。如果两者接近,说明进来的页几乎都被当成热数据,要警惕是不是有大量重复扫描。

四、一次读页,只有三种结局

读一个页时的三种结局:命中、从空闲页读入、淘汰尾部
图 4 · 前两种是常态,第三种是所有等待的来源
  • 命中:直接在内存里拿,顺带决定要不要在 LRU 里往前挪。这一层决定了命中率。
  • 未命中,但 free list 有空闲页:从磁盘读 16KB 进来,插到中点。实例刚启动时大量发生,之后越来越少。
  • 未命中,且 free list 已经为空:只能从 LRU 尾部回收一个页。尾部是干净页就直接回收;是脏页就必须先刷盘。刷的速度跟不上要页的速度,线程就停在 Innodb_buffer_pool_wait_free 上等。

第三种是唯一会"疼"的路径。所以 Innodb_buffer_pool_wait_free 这个计数器不是"可能有问题",它一旦开始涨,就是已经有线程真的卡在那里了。

顺带说一个反直觉的事实:稳态下 Innodb_buffer_pool_pages_free 接近 0 是正常的,不是"内存快用完了"。buffer pool 的设计就是占满,空闲页留着不用才是浪费。真正要看的是 wait_free 和脏页比例。

五、谁在刷脏页

补上上一篇缺的那一半:脏页由四条路径推动。

  1. 后台周期刷。 page cleaner 线程每秒级地把脏页按比例写下去,维持"脏页不会无限堆积"的基本盘。
  2. LRU 尾部要空间时刷。 每次扫描 LRU 尾部 innodb_lru_scan_depth(默认 1024)个页,遇到脏页就顺手刷掉。
  3. 脏页比例超过阈值时刷。 这是自适应刷脏:innodb_max_dirty_pages_pct 默认 90 是上限,innodb_max_dirty_pages_pct_lwm 默认 10 是起点,超过 lwm 就开始按 redo 生成速率加速刷。innodb_adaptive_flushing 默认开着。
  4. redo 空间紧张时强制刷。 就是上一篇那条链:日志头快追上容量上限,只能强行推进 checkpoint,于是必须把最老的脏页刷出去。

调控刷盘能力的三件套,按优先级:

  • innodb_io_capacity:告诉 InnoDB 这块盘每秒能做多少 IOPS。默认 200,对 SSD/NVMe 严重低估,这是最常见的配置失误。NVMe 上按实际能力设到几千是正常的。
  • innodb_io_capacity_max:突发时允许的上限。
  • innodb_lru_scan_depth:每次扫多少尾部页。调大能找到更多可回收页,但每次扫描的开销也变大。

六、要看哪几个数

SHOW GLOBAL STATUS WHERE Variable_name IN (
  'Innodb_buffer_pool_read_requests',      -- 逻辑读次数
  'Innodb_buffer_pool_reads',              -- 物理读次数(真的走了磁盘)
  'Innodb_buffer_pool_pages_free',
  'Innodb_buffer_pool_pages_dirty',
  'Innodb_buffer_pool_pages_total',
  'Innodb_buffer_pool_wait_free',
  'Innodb_buffer_pool_pages_made_young',
  'Innodb_buffer_pool_pages_made_not_young'
);

命中率公式:

命中率 = 1 - Innodb_buffer_pool_reads / Innodb_buffer_pool_read_requests

阈值判断:

  • 命中率低于 99% 就要看;低于 95% 基本可以确定内存不够或者扫描太多。
  • 脏页比例 = pages_dirty / pages_total,长期高于 70% 说明刷不过来(innodb_max_dirty_pages_pct 默认 90,这个"上限"太高,不能当报警线用)。
  • wait_free 只要在涨,就是已经疼了。

重启后的预热也值得配一下,否则每次重启都要经历一段命中率爬坡:innodb_buffer_pool_dump_at_shutdown 和 innodb_buffer_pool_load_at_startup 默认都是 ON,关机时把热点页的页号存进 ib_buffer_pool 文件,启动时按图索骥重新读进来。innodb_buffer_pool_dump_pct 默认 25 表示只存最热的 25%。

七、五个想当然

  1. “free list 快空了,内存不够了。” 错。稳态下就该接近 0,这恰恰说明 buffer pool 被用满了,是健康的。
  2. “命中率 99.9%,所以不慢。” 错。命中率是全局平均值,会掩盖局部。某张表每次都被全表扫描,它在总请求里占比很小,命中率看起来毫无变化,但那几条 SQL 的延迟可能是别人的一百倍。要看分 SQL 的指标,不是全局命中率。
  3. “命中率低就是内存不够。” 不一定。也可能是 SQL 扫了太多不该扫的页——索引缺失导致的范围扫描放大,先把内存加满也救不回来。判断顺序是先看 SQL 的扫描页数,再看内存。
  4. “脏页多就是有病。” 脏页多本身不是问题,脏页多 + 慢盘才是问题。脏页是写性能的来源(合并写),一味追求"零脏页"等于把随机写退化成同步写。
  5. “buffer pool 调大一定更快。” 不一定。instance 数、chunk 对齐、NUMA 绑核都会影响实际效果;而且如果工作集本来就远小于内存,调大没有任何收益,只是让崩溃恢复和预热变慢。

速记:一页背下来

概念 一句话
三条链表 free(空闲)、LRU(所有页)、flush(脏页按 LSN 排序)
一个页的身份 装着数据就在 LRU;脏了就同时在 flush list
flush list 排序 按第一次变脏的 LSN,所以 checkpoint 只能推进到最老那个
midpoint 新页插到 LRU 中点,不是头部
两个保护参数 old_blocks_pct=37、old_blocks_time=1000ms,设成 0 等于拆掉防线
全表扫描为什么冲不垮 页在 1 秒内被反复读,但那 1 秒内的访问不算"晋升资格"
唯一会疼的路径 free list 空 → 淘汰尾部 → 尾部是脏页 → 等刷盘 → wait_free
free list 接近 0 正常,说明占满了
命中率怎么看 全局平均值会骗人,要看分 SQL
最常配错的参数 innodb_io_capacity 默认 200,对 SSD 严重低估

系列导航:上一篇 ⑥ redo log:落盘开关、LSN 与 checkpoint——本篇的第五节就是它的续集;分层看不清的话回看 ① 体系结构;脏页相关的监控命令在 ④ 常用命令与巡检 里有一套现成的。