MySQL 8.0 redo log:落盘开关、LSN 与 checkpoint

前面五篇讲的是"数据存在哪"“两台机器怎么同步"“慢在哪”。这一篇钻到 InnoDB 内部,只回答三个问题:

  • 事务提交的那一刻,日志到底落没落盘? —— innodb_flush_log_at_trx_commit
  • 已经落盘的日志,还有多少没刷进数据文件? —— LSN
  • redo 空间怎么回收,什么时候会被写满? —— checkpoint

这三个不是三块独立知识,是一条链。开关决定持久化的下限,LSN 给这条链装上刻度,checkpoint 决定这条链最多能跑多长。面试里它们经常连着问:先问 =1 还是 =2,再问丢多少,再问 redo 满了怎么办。

一、落盘开关:innodb_flush_log_at_trx_commit

这个参数只干一件事:决定 write() 和 fsync() 这两个动作,是在提交时做,还是交给后台每秒做。

  • =1:提交时 write + fsync,两个都做(默认值)
  • =2:提交时只 write,fsync 交给后台每秒一次
  • =0:提交时什么都不做,write 和 fsync 全由后台每秒一次
innodb_flush_log_at_trx_commit 取 0、1、2 时 redo log 的三条落盘路径
图 1 · 实线=每次提交同步做,虚线=后台每秒做。绿色那一格是真正的持久化边界

记忆锚:1 全落,2 落一半,0 全不落。 这个"一半"指的是落进 OS 页缓存但没进磁盘——也正是 =2 比 =0 安全的原因。

关键在于进程边界:=0 时数据还在 mysqld 自己的 log buffer 里,kill -9 或者 OOM killer 一来就没了;=2 时数据已经越过进程边界进了内核页缓存,进程怎么死都不影响它,只有整机掉电或 OS 崩了才丢。这层区别很多人会漏掉,以为 0 和 2 一样都只丢一秒。

取值 mysqld 崩溃 OS 崩溃 / 断电 单次 commit 延迟 典型用途
0 丢 ~1s(进程内数据随进程消失) 丢 ~1s 最低,只写内存 压测、可从源头重建的日志流
1 不丢 不丢(前提是磁盘真的执行了 flush) 一次 fsync 订单、支付、账户等核心 OLTP
2 不丢(已在页缓存,进程崩溃无关) 丢 ~1s 一次内存拷贝,几乎免费 缓存类、可回源的从库、批量导入

那 =1 到底慢多少

答案是:远没有想象中慢,因为 fsync 会被合并。

组提交把多个并发事务合并成一次 fsync
图 2 · 组提交:N 个事务共用一次 fsync,并发越高摊得越薄

并发提交的事务会被排进同一批,只做一次 fsync。所以 =1 的代价不是"每条事务一次磁盘 IO”,而是"一次 fsync 被 N 条事务分摊"。这也解释了一个常见现象:低并发单线程写入时,=1 的 TPS 被 fsync 延迟直接卡死;高并发时反而几乎看不出来。 如果你的业务是"一次请求写一条"的低并发形态,才需要认真考虑 =2。

参考量级:NVMe 上一次 fsync 大约几十微秒,SATA SSD 在几百微秒,机械盘或带电池保护的 RAID 卡又不一样。同样的参数,换一块盘结论就变了——所以这个参数不能照抄别人的配置。

生产上怎么定

  • 核心交易库:=1,并且必须同时 sync_binlog=1。这两个是两件事,见下面第一个坑。
  • 写多但不值钱的场景:日志采集、埋点、缓存回源表,用 =2。
  • 批量导入、建索引、大事务迁移窗口:临时改成 =2,跑完立刻改回来。这是 GLOBAL 动态参数,不用重启,但改回来之前那段时间的数据确实裸奔。
  • =0 在今天的硬件上收益很小。它省下的只是一次内存到内核的拷贝,换来的却是"连进程崩溃都不安全",性价比很低。

三个真实的坑

坑一:只调了 =1,没调 sync_binlog。 crash 之后 redo 里已经提交的事务、binlog 里却没有,主从数据不一致,从库应用时会因为找不到对应行而报错中断。redo 的持久化不等于 binlog 的持久化。

坑二:磁盘对 flush 说谎。 RAID 卡开了 write-back 却没装 BBU、部分云主机本地盘、某些消费级 SSD 不真正处理 FLUSH 命令——这些情况下 fsync 变成空操作,=1 和 =2 的实际持久化能力一样弱。这是排查"明明设了 1 还是丢数据"时最容易被忽略的一层。

坑三:innodb_flush_log_at_timeout 被调大。 它决定 0 和 2 的后台刷盘间隔,默认 1 秒,最大能到 2700 秒。调大等于把丢失窗口按倍数放大,除了压测几乎不该动。

二、刻度:LSN

LSN(Log Sequence Number)是一个 8 字节、单调递增的字节计数。它表示"从实例诞生至今,一共产生了多少字节的 redo 日志",不是文件里的偏移,也不是文件编号。

这一点在 8.0.30 之后特别值得强调:redo 文件变成了 #innodb_redo 目录下 32 个可以循环复用的文件,文件会换、会重用,但 LSN 一路连续涨上去,永不回退。

LSN 刻度轴上的 checkpoint、已落盘位置与日志头
图 3 · 一条轴四个区段:已进数据文件 / 待重放 / 仅在内存 / 尚未分配

SHOW ENGINE INNODB STATUS 的 LOG 段就是在这条轴上取了几个快照点:

读数 含义 它和别人的差
Log sequence number 已分配到 log buffer 的日志头,即"产生了多少 redo" 减去 Log flushed up to = 还留在内存、会丢的部分
Log flushed up to 已 fsync 到 redo 文件的 LSN 减去 Last checkpoint at = 必须保留、待重放的量
Last checkpoint at 最近一次 checkpoint 的位置,崩溃恢复的起点 这就是 redo 空间占用的左边界
Pages flushed up to 脏页已刷到什么位置 通常略大于等于 Last checkpoint at,两者基本同义

=1 时 Log sequence number 和 Log flushed up to 的差值通常只有几十字节到几 KB;=0 或 =2 时能到一秒的写入量。这个差值本身就是一个"你在丢多少"的实时指示器。

8.0 的 LOG 段还多出几行,把"日志头"拆得更细:Log buffer assigned up to、Log buffer completed up to、Log written up to、Added dirty pages up to。排查卡顿时能定位到底是卡在"写进内核"还是"刷进磁盘"。

LSN 的三个真实用途

  1. 崩溃恢复的起点和判据。 恢复时从 Last checkpoint at 开始往后扫 redo,每条记录带的目标页号 + 页上自己的 LSN 一起判断"这条改过没改过"。页的 LSN 大于等于记录 LSN 就跳过。这就是 redo 可以重复重放而不出错的原因——物理逻辑日志,幂等。
  2. 备份的一致性。 xtrabackup 拷贝数据文件时同步记录 LSN,拷完用 redo 追平到同一个点,xtrabackup_checkpoints 里就是 from_lsn / to_lsn。增量备份直接用 --incremental-lsn 指定起点。
  3. 判断"要不要扩 redo"。 Log sequence number 减去 Last checkpoint at 就是当前占用量,和容量一比就知道水位。

LSN 和 binlog position、GTID 是三套完全独立的坐标,没有换算关系。 一个是引擎内部的物理日志刻度,一个是 Server 层的逻辑日志坐标,混着问是面试里常见的陷阱。

三、水位:checkpoint

checkpoint 的定义只有一句话:LSN 小于等于 checkpoint 位置的修改,都已经写进数据文件了。 所以崩溃恢复不用从头扫,从这里开始就行。

但它有一个绕不过去的硬约束:checkpoint 不能超过 flush list 上最老脏页的 oldest_modification LSN。

因为一旦越过,就意味着有一页的修改既不在 redo 的保留范围里、又还没写进数据文件——那页的修改就彻底没了。所以推论很干脆:

推进 checkpoint,等于把最老的那批脏页刷出去。没有别的办法。

这也解释了为什么 checkpoint 不是"定时任务":它是被脏页刷出进度被动推着走的。没有叫"checkpoint 间隔"的参数可调,想让水位降下来只能提高刷盘能力。

redo 容量被 checkpoint_age 占用的水位示意
图 4 · checkpoint 左边可回收,右边到写头之间被占用,余量见底就要强制刷脏页

redo 写满的完整链条

这是生产上最经典的一类故障,链条是闭合的:

大批量写入 → 脏页生成速度超过刷盘能力 → 最老脏页停在原地 → checkpoint 推不动 → 日志头逼近容量上限 → InnoDB 挂起等待空闲页的线程。

8.0 的表现是写请求卡住而不是报错,外部看到的是周期性 TPS 掉坑、提交延迟尖刺,监控上 Innodb_buffer_pool_wait_free 开始持续增长。新扩容的库、大批量导入、建大索引时最容易撞上。

尖锐检查点与模糊检查点

这是 InnoDB 的老分类,面试会问:

  • 尖锐检查点(Sharp Checkpoint):刷掉所有脏页,Last checkpoint at 直接追平日志头。只在干净关闭时发生(innodb_fast_shutdown=0)。
  • 模糊检查点(Fuzzy Checkpoint):不要求全刷,只推进一部分。正常运行全是这一类,按触发原因又分四种:主线程周期刷、LRU 需要空闲页时刷、redo 快满时强制刷、脏页比例超过 innodb_max_dirty_pages_pct 时刷。

四、8.0 之后有哪些变化

理解机制用老模型没问题,但落到运维细节上这几个变化必须知道:

  • 容量参数合并。 8.0.30 起用 innodb_redo_log_capacity(默认 100MB)统一控制,innodb_log_file_size 和 innodb_log_files_in_group 已废弃。目录变成 #innodb_redo 下的 32 个文件。
  • redo 有了专用后台线程。 log_writer、log_flusher、log_write_notifier、log_flush_notifier,以及单独的 log_checkpointer。checkpoint 推进不再受主线程节奏牵制,这是 8.0 在高并发写入下比 5.7 平稳的重要原因。
  • 主线程不再亲自刷脏页。 改由 page cleaner 协调线程 + innodb_page_cleaners(默认 4)个 worker 并行刷 flush list。

五、要看哪几个数

-- 1) 四个 LSN 读数
SHOW ENGINE INNODB STATUS\G

-- 2) 直接拿占用字节数(若为 0 说明监控项没开)
SET GLOBAL innodb_monitor_enable = 'module_log';
SELECT NAME, COUNT FROM information_schema.INNODB_METRICS
 WHERE NAME IN ('log_lsn_current','log_lsn_last_checkpoint','log_lsn_checkpoint_age');

-- 3) 容量与刷盘能力
SHOW GLOBAL VARIABLES LIKE 'innodb_redo_log_capacity';
SHOW GLOBAL VARIABLES LIKE 'innodb_io_capacity%';

-- 4) 脏页与等页
SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_pages_dirty';
SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_pages_total';
SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_wait_free';

判断阈值:

  • log_lsn_checkpoint_age 除以容量,超过 75% 开始关注,超过 90% 已经在靠强制刷脏页续命。
  • 脏页比例长期高于 70% 就要查(innodb_max_dirty_pages_pct 默认 90 太高,不能拿它当报警线)。
  • Innodb_buffer_pool_wait_free 只要持续增长,说明已经有线程在等空闲页,不再是"可能有问题"而是"已经在疼"。

要动手的话,优先动这三个:innodb_io_capacity(按盘的 IOPS 设,别用默认 200 撑高配盘)、innodb_page_cleaners(并发刷脏页)、innodb_redo_log_capacity(把缓冲空间做大,给刷脏页争取时间)。

六、四个容易混的点

  1. LSN ≠ binlog position ≠ GTID。 三套独立坐标,没有换算关系。备份一致性看 LSN,复制看 position/GTID。
  2. checkpoint 不是定期执行的任务。 它是脏页刷出进度的结果,不是原因。所以没有"调大 checkpoint 间隔"这种解法。
  3. checkpoint 和日志头的间距长期纹丝不动,也是危险信号。 那说明刷脏页速度刚好追平写入速度,任何突发写入都会立刻把它顶到上限。健康状态下这个间距应该有涨有落。
  4. =1 不等于绝对不丢。 它保证的是"走到 fsync 这一层",fsync 之后能不能真正落到介质上,取决于磁盘有没有对 FLUSH 撒谎。

速记:一页背下来

概念 一句话
=1 提交时 write + fsync,默认值,核心库用
=2 提交时只 write,进内核页缓存,进程崩不丢、断电丢 1s
=0 提交什么都不做,进程崩就丢,今天基本不用
组提交 N 个事务共用一次 fsync,并发越高 =1 越不亏
LSN redo 流上的字节刻度,单调递增,与文件位置无关
Last checkpoint at 崩溃恢复起点;小于它的修改都已在数据文件里
checkpoint 的约束 不能超过最老脏页的 LSN,所以推进它=刷脏页
redo 写满 脏页刷不出去 → checkpoint 推不动 → 写请求卡住,不报错

系列导航:上一篇 ⑤ 慢查询日志:从开参数到定位根因;机制不清楚的话回看 ① 体系结构:一条 SQL 的完整旅程;trx_commit 与 sync_binlog 的配合在 ② 主从复制 里有两阶段提交的完整链路。