MySQL 8.0 Buffer Pool:三条链表,一场持续的搬运
上一篇的结论是:checkpoint 推不动,说明脏页刷不出去;脏页刷不出去,redo 就要满。
但脏页到底存在哪、由谁负责刷、什么情况下会刷不动——上一篇没答。答案全在 buffer pool 里,而且只有三条链表。
这一篇只讲一件事:buffer pool 里看起来复杂的所有动作,本质上都是三条链表之间的搬运。
48 个页槽位,跑的是真的 LRU 逻辑。先点「业务负载」让池子热起来,再点「全表扫描」,数一数 0—7 号热点页还剩几个;然后切到「朴素 LRU」重来一遍,同一个动作,结果完全不同。电脑上打开效果最好。
一、结构:三层,三个数字
- 页 16KB。
innodb_page_size默认 16KB,buffer pool 缓存的就是页,不是行、不是表。 - chunk 128MB。
innodb_buffer_pool_chunk_size默认 128MB,是扩容的最小粒度。 - instance 8 个。
innodb_buffer_pool_instances默认 8,每个 instance 自己一套锁和链表。目的是把一把大锁拆成八把,减少争用。buffer pool 小于 1GB 时会退化成 1 个。
第一个坑就在这儿:innodb_buffer_pool_size 不是设多少就是多少。它会被调整成 chunk_size × instances 的整数倍。比如设了 5GB、chunk 128MB、instance 8,实际会取整到 4GB 或 5.5GB 附近。查实际值别看参数,看 @@innodb_buffer_pool_size 生效后和 Innodb_buffer_pool_pages_total × 16KB 是否一致。
二、三条链表就是全部
| 链表 | 装什么 | 排序依据 | 谁在动它 |
|---|---|---|---|
free list |
还没装数据的空闲页 | 无序 | 初始化时灌满;淘汰回收时归还 |
LRU list |
所有已经装了页的内存页 | 访问热度,分 young / old | 每次访问、每次读入新页 |
flush list |
脏页(改过但还没写回磁盘) | oldest_modification LSN 升序 |
页变脏时挂上,刷完摘掉 |
三个容易记混的地方:
- 一个页只要装着数据,就一定在 LRU 里。 它脏了,才额外再挂到 flush list。两个链表不是互斥的两拨页,而是同一个页的两个身份。
- 一个页在 flush list 里只会出现一次。 连续改它十次不会挂十次,链表节点记的是它第一次变脏时的 LSN。这正是 checkpoint 需要的那个最小值——所以 checkpoint 只能推进到 flush list 最老节点的 LSN,跟"最近改了哪些页"无关。
- 刷完不会离开 LRU。 从 flush list 摘掉只是"不脏了",页还在内存里继续服务读请求。只有当它一路沉到 LRU 尾部被淘汰时,才真正离开。
三、LRU 为什么要切成两段
这是 buffer pool 里设计得最巧的一处,也是面试最常追问的点。
一个朴素的 LRU 有个致命弱点:一次全表扫描就能把热数据全部冲走。 算一笔账:1000 万行的表,每页按 80 行算,大约 12.5 万个页,乘以 16KB 差不多 2GB。如果 buffer pool 是 8GB,一次全表扫描就把 2GB 冷数据灌了进去,而且每个页都"刚被访问过",在朴素 LRU 里全是热的——原本那 8GB 热数据被挤得一个不剩,命中率断崖式下跌。
InnoDB 的解法是把 LRU 切成 young 和 old 两段:
- 新读入的页插到中点(midpoint),也就是 old 段的头部,而不是 young 段的头部。
- old 段默认占 37%,由
innodb_old_blocks_pct控制。 - 一个页在 old 段里,只有当它待满
innodb_old_blocks_time(默认 1000ms)之后再次被访问,才晋升到 young 头部。
关键在于这两个条件必须同时满足。全表扫描时,一个 16KB 的页里几十行会在几毫秒内被连续读到——如果只看"是否被访问过",这些密集访问会被当成热点,一页接一页地晋升进 young。真正的拦截点是那道时间门槛:1 秒内的重复访问一律不算数,于是一批冷页在 old 段头部进、尾部出,young 区纹丝不动。
所以准确的说法不是"扫描的页只被访问一次",而是"扫描的页在被访问的那一小段时间里没有资格晋升"。这也是为什么 innodb_old_blocks_time=0 危险:门槛一撤,同一次扫描就能把缓冲池洗一遍。
这一条只看静态图不够直观,交互动图里可以自己跑:把 old_blocks_time 调到 0,同样扫 60 个页,8 个热点页一个不剩。
两个参数的实际含义:
innodb_old_blocks_pct:old 段占多大。调小更保护热点,但新页存活时间更短、预热更慢。innodb_old_blocks_time:old 段里的页要"活多久"才有资格晋升。设成 0 等于把这道保护关掉,全表扫描立刻能污染整个缓冲池。有人为了"让缓存更快热起来"把它调成 0,等于用稳定性换了几分钟的预热速度。
想验证这道机制在工作,看两个计数器:
SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_pages_made_young';
SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_pages_made_not_young';后者远大于前者,说明大量页被访问了但没晋升——正是 old 段在拦截短命访问。如果两者接近,说明进来的页几乎都被当成热数据,要警惕是不是有大量重复扫描。
四、一次读页,只有三种结局
- 命中:直接在内存里拿,顺带决定要不要在 LRU 里往前挪。这一层决定了命中率。
- 未命中,但 free list 有空闲页:从磁盘读 16KB 进来,插到中点。实例刚启动时大量发生,之后越来越少。
- 未命中,且 free list 已经为空:只能从 LRU 尾部回收一个页。尾部是干净页就直接回收;是脏页就必须先刷盘。刷的速度跟不上要页的速度,线程就停在
Innodb_buffer_pool_wait_free上等。
第三种是唯一会"疼"的路径。所以 Innodb_buffer_pool_wait_free 这个计数器不是"可能有问题",它一旦开始涨,就是已经有线程真的卡在那里了。
顺带说一个反直觉的事实:稳态下 Innodb_buffer_pool_pages_free 接近 0 是正常的,不是"内存快用完了"。buffer pool 的设计就是占满,空闲页留着不用才是浪费。真正要看的是 wait_free 和脏页比例。
五、谁在刷脏页
补上上一篇缺的那一半:脏页由四条路径推动。
- 后台周期刷。 page cleaner 线程每秒级地把脏页按比例写下去,维持"脏页不会无限堆积"的基本盘。
- LRU 尾部要空间时刷。 每次扫描 LRU 尾部
innodb_lru_scan_depth(默认 1024)个页,遇到脏页就顺手刷掉。 - 脏页比例超过阈值时刷。 这是自适应刷脏:
innodb_max_dirty_pages_pct默认 90 是上限,innodb_max_dirty_pages_pct_lwm默认 10 是起点,超过 lwm 就开始按 redo 生成速率加速刷。innodb_adaptive_flushing默认开着。 - redo 空间紧张时强制刷。 就是上一篇那条链:日志头快追上容量上限,只能强行推进 checkpoint,于是必须把最老的脏页刷出去。
调控刷盘能力的三件套,按优先级:
innodb_io_capacity:告诉 InnoDB 这块盘每秒能做多少 IOPS。默认 200,对 SSD/NVMe 严重低估,这是最常见的配置失误。NVMe 上按实际能力设到几千是正常的。innodb_io_capacity_max:突发时允许的上限。innodb_lru_scan_depth:每次扫多少尾部页。调大能找到更多可回收页,但每次扫描的开销也变大。
六、要看哪几个数
SHOW GLOBAL STATUS WHERE Variable_name IN (
'Innodb_buffer_pool_read_requests', -- 逻辑读次数
'Innodb_buffer_pool_reads', -- 物理读次数(真的走了磁盘)
'Innodb_buffer_pool_pages_free',
'Innodb_buffer_pool_pages_dirty',
'Innodb_buffer_pool_pages_total',
'Innodb_buffer_pool_wait_free',
'Innodb_buffer_pool_pages_made_young',
'Innodb_buffer_pool_pages_made_not_young'
);命中率公式:
命中率 = 1 - Innodb_buffer_pool_reads / Innodb_buffer_pool_read_requests阈值判断:
- 命中率低于 99% 就要看;低于 95% 基本可以确定内存不够或者扫描太多。
- 脏页比例 =
pages_dirty / pages_total,长期高于 70% 说明刷不过来(innodb_max_dirty_pages_pct默认 90,这个"上限"太高,不能当报警线用)。 wait_free只要在涨,就是已经疼了。
重启后的预热也值得配一下,否则每次重启都要经历一段命中率爬坡:innodb_buffer_pool_dump_at_shutdown 和 innodb_buffer_pool_load_at_startup 默认都是 ON,关机时把热点页的页号存进 ib_buffer_pool 文件,启动时按图索骥重新读进来。innodb_buffer_pool_dump_pct 默认 25 表示只存最热的 25%。
七、五个想当然
- “free list 快空了,内存不够了。” 错。稳态下就该接近 0,这恰恰说明 buffer pool 被用满了,是健康的。
- “命中率 99.9%,所以不慢。” 错。命中率是全局平均值,会掩盖局部。某张表每次都被全表扫描,它在总请求里占比很小,命中率看起来毫无变化,但那几条 SQL 的延迟可能是别人的一百倍。要看分 SQL 的指标,不是全局命中率。
- “命中率低就是内存不够。” 不一定。也可能是 SQL 扫了太多不该扫的页——索引缺失导致的范围扫描放大,先把内存加满也救不回来。判断顺序是先看 SQL 的扫描页数,再看内存。
- “脏页多就是有病。” 脏页多本身不是问题,脏页多 + 慢盘才是问题。脏页是写性能的来源(合并写),一味追求"零脏页"等于把随机写退化成同步写。
- “buffer pool 调大一定更快。” 不一定。instance 数、chunk 对齐、NUMA 绑核都会影响实际效果;而且如果工作集本来就远小于内存,调大没有任何收益,只是让崩溃恢复和预热变慢。
速记:一页背下来
| 概念 | 一句话 |
|---|---|
| 三条链表 | free(空闲)、LRU(所有页)、flush(脏页按 LSN 排序) |
| 一个页的身份 | 装着数据就在 LRU;脏了就同时在 flush list |
| flush list 排序 | 按第一次变脏的 LSN,所以 checkpoint 只能推进到最老那个 |
| midpoint | 新页插到 LRU 中点,不是头部 |
| 两个保护参数 | old_blocks_pct=37、old_blocks_time=1000ms,设成 0 等于拆掉防线 |
| 全表扫描为什么冲不垮 | 页在 1 秒内被反复读,但那 1 秒内的访问不算"晋升资格" |
| 唯一会疼的路径 | free list 空 → 淘汰尾部 → 尾部是脏页 → 等刷盘 → wait_free |
| free list 接近 0 | 正常,说明占满了 |
| 命中率怎么看 | 全局平均值会骗人,要看分 SQL |
| 最常配错的参数 | innodb_io_capacity 默认 200,对 SSD 严重低估 |
系列导航:上一篇 ⑥ redo log:落盘开关、LSN 与 checkpoint——本篇的第五节就是它的续集;分层看不清的话回看 ① 体系结构;脏页相关的监控命令在 ④ 常用命令与巡检 里有一套现成的。