MySQL 8.0 redo log:落盘开关、LSN 与 checkpoint
前面五篇讲的是"数据存在哪"“两台机器怎么同步"“慢在哪”。这一篇钻到 InnoDB 内部,只回答三个问题:
- 事务提交的那一刻,日志到底落没落盘? ——
innodb_flush_log_at_trx_commit - 已经落盘的日志,还有多少没刷进数据文件? —— LSN
- redo 空间怎么回收,什么时候会被写满? —— checkpoint
这三个不是三块独立知识,是一条链。开关决定持久化的下限,LSN 给这条链装上刻度,checkpoint 决定这条链最多能跑多长。面试里它们经常连着问:先问 =1 还是 =2,再问丢多少,再问 redo 满了怎么办。
一、落盘开关:innodb_flush_log_at_trx_commit
这个参数只干一件事:决定 write() 和 fsync() 这两个动作,是在提交时做,还是交给后台每秒做。
=1:提交时write+fsync,两个都做(默认值)=2:提交时只write,fsync交给后台每秒一次=0:提交时什么都不做,write和fsync全由后台每秒一次
记忆锚:1 全落,2 落一半,0 全不落。 这个"一半"指的是落进 OS 页缓存但没进磁盘——也正是 =2 比 =0 安全的原因。
关键在于进程边界:=0 时数据还在 mysqld 自己的 log buffer 里,kill -9 或者 OOM killer 一来就没了;=2 时数据已经越过进程边界进了内核页缓存,进程怎么死都不影响它,只有整机掉电或 OS 崩了才丢。这层区别很多人会漏掉,以为 0 和 2 一样都只丢一秒。
| 取值 | mysqld 崩溃 | OS 崩溃 / 断电 | 单次 commit 延迟 | 典型用途 |
|---|---|---|---|---|
0 |
丢 ~1s(进程内数据随进程消失) | 丢 ~1s | 最低,只写内存 | 压测、可从源头重建的日志流 |
1 |
不丢 | 不丢(前提是磁盘真的执行了 flush) | 一次 fsync | 订单、支付、账户等核心 OLTP |
2 |
不丢(已在页缓存,进程崩溃无关) | 丢 ~1s | 一次内存拷贝,几乎免费 | 缓存类、可回源的从库、批量导入 |
那 =1 到底慢多少
答案是:远没有想象中慢,因为 fsync 会被合并。
并发提交的事务会被排进同一批,只做一次 fsync。所以 =1 的代价不是"每条事务一次磁盘 IO”,而是"一次 fsync 被 N 条事务分摊"。这也解释了一个常见现象:低并发单线程写入时,=1 的 TPS 被 fsync 延迟直接卡死;高并发时反而几乎看不出来。 如果你的业务是"一次请求写一条"的低并发形态,才需要认真考虑 =2。
参考量级:NVMe 上一次 fsync 大约几十微秒,SATA SSD 在几百微秒,机械盘或带电池保护的 RAID 卡又不一样。同样的参数,换一块盘结论就变了——所以这个参数不能照抄别人的配置。
生产上怎么定
- 核心交易库:
=1,并且必须同时sync_binlog=1。这两个是两件事,见下面第一个坑。 - 写多但不值钱的场景:日志采集、埋点、缓存回源表,用
=2。 - 批量导入、建索引、大事务迁移窗口:临时改成
=2,跑完立刻改回来。这是 GLOBAL 动态参数,不用重启,但改回来之前那段时间的数据确实裸奔。 =0在今天的硬件上收益很小。它省下的只是一次内存到内核的拷贝,换来的却是"连进程崩溃都不安全",性价比很低。
三个真实的坑
坑一:只调了 =1,没调 sync_binlog。 crash 之后 redo 里已经提交的事务、binlog 里却没有,主从数据不一致,从库应用时会因为找不到对应行而报错中断。redo 的持久化不等于 binlog 的持久化。
坑二:磁盘对 flush 说谎。 RAID 卡开了 write-back 却没装 BBU、部分云主机本地盘、某些消费级 SSD 不真正处理 FLUSH 命令——这些情况下 fsync 变成空操作,=1 和 =2 的实际持久化能力一样弱。这是排查"明明设了 1 还是丢数据"时最容易被忽略的一层。
坑三:innodb_flush_log_at_timeout 被调大。 它决定 0 和 2 的后台刷盘间隔,默认 1 秒,最大能到 2700 秒。调大等于把丢失窗口按倍数放大,除了压测几乎不该动。
二、刻度:LSN
LSN(Log Sequence Number)是一个 8 字节、单调递增的字节计数。它表示"从实例诞生至今,一共产生了多少字节的 redo 日志",不是文件里的偏移,也不是文件编号。
这一点在 8.0.30 之后特别值得强调:redo 文件变成了 #innodb_redo 目录下 32 个可以循环复用的文件,文件会换、会重用,但 LSN 一路连续涨上去,永不回退。
SHOW ENGINE INNODB STATUS 的 LOG 段就是在这条轴上取了几个快照点:
| 读数 | 含义 | 它和别人的差 |
|---|---|---|
Log sequence number |
已分配到 log buffer 的日志头,即"产生了多少 redo" | 减去 Log flushed up to = 还留在内存、会丢的部分 |
Log flushed up to |
已 fsync 到 redo 文件的 LSN | 减去 Last checkpoint at = 必须保留、待重放的量 |
Last checkpoint at |
最近一次 checkpoint 的位置,崩溃恢复的起点 | 这就是 redo 空间占用的左边界 |
Pages flushed up to |
脏页已刷到什么位置 | 通常略大于等于 Last checkpoint at,两者基本同义 |
=1 时 Log sequence number 和 Log flushed up to 的差值通常只有几十字节到几 KB;=0 或 =2 时能到一秒的写入量。这个差值本身就是一个"你在丢多少"的实时指示器。
8.0 的 LOG 段还多出几行,把"日志头"拆得更细:Log buffer assigned up to、Log buffer completed up to、Log written up to、Added dirty pages up to。排查卡顿时能定位到底是卡在"写进内核"还是"刷进磁盘"。
LSN 的三个真实用途
- 崩溃恢复的起点和判据。 恢复时从
Last checkpoint at开始往后扫 redo,每条记录带的目标页号 + 页上自己的 LSN 一起判断"这条改过没改过"。页的 LSN 大于等于记录 LSN 就跳过。这就是 redo 可以重复重放而不出错的原因——物理逻辑日志,幂等。 - 备份的一致性。 xtrabackup 拷贝数据文件时同步记录 LSN,拷完用 redo 追平到同一个点,
xtrabackup_checkpoints里就是from_lsn/to_lsn。增量备份直接用--incremental-lsn指定起点。 - 判断"要不要扩 redo"。
Log sequence number减去Last checkpoint at就是当前占用量,和容量一比就知道水位。
LSN 和 binlog position、GTID 是三套完全独立的坐标,没有换算关系。 一个是引擎内部的物理日志刻度,一个是 Server 层的逻辑日志坐标,混着问是面试里常见的陷阱。
三、水位:checkpoint
checkpoint 的定义只有一句话:LSN 小于等于 checkpoint 位置的修改,都已经写进数据文件了。 所以崩溃恢复不用从头扫,从这里开始就行。
但它有一个绕不过去的硬约束:checkpoint 不能超过 flush list 上最老脏页的 oldest_modification LSN。
因为一旦越过,就意味着有一页的修改既不在 redo 的保留范围里、又还没写进数据文件——那页的修改就彻底没了。所以推论很干脆:
推进 checkpoint,等于把最老的那批脏页刷出去。没有别的办法。
这也解释了为什么 checkpoint 不是"定时任务":它是被脏页刷出进度被动推着走的。没有叫"checkpoint 间隔"的参数可调,想让水位降下来只能提高刷盘能力。
redo 写满的完整链条
这是生产上最经典的一类故障,链条是闭合的:
大批量写入 → 脏页生成速度超过刷盘能力 → 最老脏页停在原地 → checkpoint 推不动 → 日志头逼近容量上限 → InnoDB 挂起等待空闲页的线程。
8.0 的表现是写请求卡住而不是报错,外部看到的是周期性 TPS 掉坑、提交延迟尖刺,监控上 Innodb_buffer_pool_wait_free 开始持续增长。新扩容的库、大批量导入、建大索引时最容易撞上。
尖锐检查点与模糊检查点
这是 InnoDB 的老分类,面试会问:
- 尖锐检查点(Sharp Checkpoint):刷掉所有脏页,
Last checkpoint at直接追平日志头。只在干净关闭时发生(innodb_fast_shutdown=0)。 - 模糊检查点(Fuzzy Checkpoint):不要求全刷,只推进一部分。正常运行全是这一类,按触发原因又分四种:主线程周期刷、LRU 需要空闲页时刷、redo 快满时强制刷、脏页比例超过
innodb_max_dirty_pages_pct时刷。
四、8.0 之后有哪些变化
理解机制用老模型没问题,但落到运维细节上这几个变化必须知道:
- 容量参数合并。 8.0.30 起用
innodb_redo_log_capacity(默认 100MB)统一控制,innodb_log_file_size和innodb_log_files_in_group已废弃。目录变成#innodb_redo下的 32 个文件。 - redo 有了专用后台线程。
log_writer、log_flusher、log_write_notifier、log_flush_notifier,以及单独的log_checkpointer。checkpoint 推进不再受主线程节奏牵制,这是 8.0 在高并发写入下比 5.7 平稳的重要原因。 - 主线程不再亲自刷脏页。 改由 page cleaner 协调线程 +
innodb_page_cleaners(默认 4)个 worker 并行刷 flush list。
五、要看哪几个数
-- 1) 四个 LSN 读数
SHOW ENGINE INNODB STATUS\G
-- 2) 直接拿占用字节数(若为 0 说明监控项没开)
SET GLOBAL innodb_monitor_enable = 'module_log';
SELECT NAME, COUNT FROM information_schema.INNODB_METRICS
WHERE NAME IN ('log_lsn_current','log_lsn_last_checkpoint','log_lsn_checkpoint_age');
-- 3) 容量与刷盘能力
SHOW GLOBAL VARIABLES LIKE 'innodb_redo_log_capacity';
SHOW GLOBAL VARIABLES LIKE 'innodb_io_capacity%';
-- 4) 脏页与等页
SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_pages_dirty';
SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_pages_total';
SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_wait_free';判断阈值:
log_lsn_checkpoint_age除以容量,超过 75% 开始关注,超过 90% 已经在靠强制刷脏页续命。- 脏页比例长期高于 70% 就要查(
innodb_max_dirty_pages_pct默认 90 太高,不能拿它当报警线)。 Innodb_buffer_pool_wait_free只要持续增长,说明已经有线程在等空闲页,不再是"可能有问题"而是"已经在疼"。
要动手的话,优先动这三个:innodb_io_capacity(按盘的 IOPS 设,别用默认 200 撑高配盘)、innodb_page_cleaners(并发刷脏页)、innodb_redo_log_capacity(把缓冲空间做大,给刷脏页争取时间)。
六、四个容易混的点
- LSN ≠ binlog position ≠ GTID。 三套独立坐标,没有换算关系。备份一致性看 LSN,复制看 position/GTID。
- checkpoint 不是定期执行的任务。 它是脏页刷出进度的结果,不是原因。所以没有"调大 checkpoint 间隔"这种解法。
- checkpoint 和日志头的间距长期纹丝不动,也是危险信号。 那说明刷脏页速度刚好追平写入速度,任何突发写入都会立刻把它顶到上限。健康状态下这个间距应该有涨有落。
=1不等于绝对不丢。 它保证的是"走到 fsync 这一层",fsync 之后能不能真正落到介质上,取决于磁盘有没有对 FLUSH 撒谎。
速记:一页背下来
| 概念 | 一句话 |
|---|---|
=1 |
提交时 write + fsync,默认值,核心库用 |
=2 |
提交时只 write,进内核页缓存,进程崩不丢、断电丢 1s |
=0 |
提交什么都不做,进程崩就丢,今天基本不用 |
| 组提交 | N 个事务共用一次 fsync,并发越高 =1 越不亏 |
| LSN | redo 流上的字节刻度,单调递增,与文件位置无关 |
Last checkpoint at |
崩溃恢复起点;小于它的修改都已在数据文件里 |
| checkpoint 的约束 | 不能超过最老脏页的 LSN,所以推进它=刷脏页 |
| redo 写满 | 脏页刷不出去 → checkpoint 推不动 → 写请求卡住,不报错 |
系列导航:上一篇 ⑤ 慢查询日志:从开参数到定位根因;机制不清楚的话回看 ① 体系结构:一条 SQL 的完整旅程;trx_commit 与 sync_binlog 的配合在 ② 主从复制 里有两阶段提交的完整链路。