MySQL事务日志
MySQL事务日志
我们知道,MySQL事务有4个特性:隔离性、持久性、原子性、一致性。事务的隔离性是由锁来实现的。原子性、一致性、持久性通过数据库的redo log和undo log来完成。redo log称为重做日志,用来保证事务的原子性和持久性。undo log用来保证事务的一致性。事务要保证 ACID 的完整性必须依靠事务日志做跟踪。
至关重要的三种日志:
binlog 二进制日志
redo log 重做日志
undo log 回滚日志
一、redo log
重做日志用来实现事务的持久性,即事务ACID中的D。
1、作用
redo通常是物理日志,记录的是页的物理修改操作,数据库崩溃则用其重做。
2、组成
其由两部分组成:
1)内存中的重做日志缓冲(redo log buffer),其是易失的
2)重做日志文件(redo log file),其是持久的
3、如何保证事务的持久性?
通过Force Log at Commit 机制,即当事务commit提交时,innodb引擎先将 redo log buffer 写入到 redo log file 进行持久化,待事务的commit操作完成时才算完成。这种做法也被称为 Write-Ahead Log(预先日志持久化),在持久化一个数据页之前,先将内存中相应的日志页持久化。
4、工作流程
1)事务开启时,事务中的操作,都会先写入存储引擎的日志缓冲。
2)在事务提交之前,缓冲的日志都需要提前刷新到磁盘上持久化,这就常说的“日志先行”(Write- Ahead-Logging)。
3)当事务提交之后,在Buffer Pool 中映射的数据文件才会慢慢刷新到磁盘。
4)此时如果数据库崩溃或者宕机,那么当系统重启进行恢复时,就可以根据 redo log 中记录的日志,把数据库恢复到崩溃前的一个状态。
5)未完成的事务,可以继续提交,也可以选择回滚,这基于恢复的策略而定。
说明:在系统启动的时候,就已经为 redo log 分配了一块连续的存储空间,以顺序追加的方式记录 redo log,通过顺序 IO来改善性能。所有的事务共享 redo log 的存储空间,它们的 Redo Log 按语句的执行顺序,依次交替的记录在一起。
5、持久化策略
为了确保每次日志都能写入到重做日志文件中,在每次将 log buffer 中的日志写入日志文件的过程中都会调用一次操作系统的 fsync 操作。
6、重做日志文件写入流程
先写重做日志文件1,当文件1被顺序写满时,会切换到重做日志文件2,再当重做日志文件2也被写满时,会再切换到重做日志文件1中,依次循环; 所以说重做日志文件是循环覆盖写入的 。
因为重做日志是循环覆盖写入的,所以不能使用其进行整个数据库的数据恢复,它只能保证数据库宕机时的事务的完整性数据;如果想要恢复全部数据的话,只能使用 binlog 二进制日志(归档日志)进行恢复。
注意:大家可以手动修改重做日志文件组下的文件数量,并可以指定每个重做日志文件的大小,通过下面的参数:
1)innodb_log_file_size 指定重做日志文件的大小
2)innodb_log_files_in_group 重做日志文件组下的文件数量
二、undo log
1、作用
undo log有两个作用:提供回滚和多个行版本控制(MVCC)。
2、工作流程
1)逻辑日志
undo log 和 redo log 记录物理日志不一样,它是逻辑日志,根据每行记录进行记录,因此只是将数据库逻辑得恢复到原来的样子。
undo log 是逻辑日志,可以理解为:
当 delete 一条记录时,undo log 中会记录一条对应的 Insert 记录
当 insert 一条记录时,undo log 中会记录一条对应的 delete 记录
当 update 一条记录时,它记录一条对应相反的 update 记录
2)举例
假设有 2 个数值,分别为 A=1 和 B=2, 然后将 A 修改为 3, B 修改为 4。
下面是事务的整个工作流程:
步骤1. start transaction
步骤2. 记录 A=1 到 undo log;
步骤3. Update A=3
步骤4. 记录 A=3 到 redo log
步骤5. 记录 B=2 到 undo log
步骤6. Update B=4
步骤7. 记录 B=4 到 redo log
步骤8. 将 redo log 刷新到磁盘
步骤9. Commit
在 1-8 步骤的任意一步系统宕机,事务未提交,该事务就不会对磁盘上的数据做任何影响。
如果在 8-9 之间宕机,恢复之后可以选择回滚,也可以选择继续完成事务提交,因为此时 redo log 已经持久化。
若在 9 之后系统岩机,内存映射中变更的数据还来不及刷回磁盘,那么系统恢复之后,可以根据 redo log 把数据刷回磁盘
所以,redo log 其实保障的是事务的持久性和原子性,而 undo log,则保障了事务的一致性。
三、binlog
binlog 二进制日志(归档日志),这个日志是由MySql的 server层进行维护的;不管当前MySql使用的是什么存储引擎,binlog归档日志都是支持的.
1、作用
1)用于复制,在主从复制中,从库利用主库上的binlog进行重播,实现主从同步。
2)数据恢复,用于数据库的基于时间点的还原。
2、binlog的格式
binlog 共有三种存储格式: row, statement 和混合模式。
1)row: 记录哪行数据被修改的
数据记录方式比较简单,但是可能会产生大量的数据废弃日志(如 更新一个全表)。
2)statement: 记录修改数据的 SQL ,不记录修改的数据
记录数据的过程,日志量比较小,IO 读写少。缺点是 有些函数并不支持,为了保证能够一致性,必须还需要有一些上下文的信息。
3)混合模式: 是以上两种模式的混合使用,MySQL 会根据执行的每一条具体的 sql 语句来区分对待记录的日志形式。
一般的语句修改使用 statment 格式保存 binlog ,如一些函数,statement 无法完成主从复制的操作,则采用 row 格式保存 binlog。
3、与 redo 日志的区别
1)redo 是 Innodb 存储引擎独有的,binlog 是所有引擎都可以使用的
2)redo 是物理日志,记录的是在某个数据页上做了什么修改,binlog 是逻辑日志,记录的是这个语句的原始逻辑。
3)redo 是循环写的,空间会用完,binlog 是可以追加写的,不会覆盖之前的日志信息。
4)Binlog 中会记录所有的逻辑,并且采用追加写的方式
注意:
binlog二进制日志文件在默认情况下并没有启动,需要手动进行开启的。根据MySql的官网手册了解到,开启此日志会使性能下降1%左右,这个损失大体上是可以接受的。
参考链接:
https://cloud.tencent.com/developer/article/1780893
https://segmentfault.com/a/1190000039715378