前面的文章中,我们依次介绍了MySQL的slow query log、binlog、relaylog,如果对这三种log仍然有疑问的话,可以向前翻一翻文章查看。今天我们来聊一聊MySQL中的另外一个重要的日志,它就是redolog。

什么是redolog

redolog,我们经常翻译为重做日志。

redolog是InnoDB存储引擎所特有的一种日志,其他存储引擎没有这个日志功能,例如像之前我们用过的MyISAM存储引擎就没有这种redolog的功能。我们知道MySQL从宏观上看,可以分为两次: server服务层 store engine存储引擎层 。而我们的redolog就是属于存储引擎层特有的日志。像 binlog、relaylog 他们是属于服务层日志,所有的存储引擎都会生成这种日志,并且这种日志是先于redolog之前写的,写成功binlog之后才会写redolog。

reldolog的作用

redolog是用来做崩溃恢复使用的,这种崩溃恢复不需要我们人为的参与,MySQL自己内部自己实现了这种崩溃恢复的功能,我们只管享受这种功能给我们带来的服务即可,这种服务给我们的感受就是:MySQL数据库异常宕机的时候,重启服务之后,数据库中之前提交的记录都不会丢失数据仍然可以正常恢复,不管这种提交的记录是否已经更新到具体的表所对应的磁盘page也中。

那么MySQL内部在实现崩溃恢复的功能时,到底是如何实现的呢? 举例来说,当有一条记录需要更新的时候,InnoDB 引擎就会先把记录写到redo log里面(redolog日志是循环追加写的,属于顺序IO,记录的速度在某些程度上可以和内存相媲美),并更新内存,这个时候更新就算完成了。MySQL在崩溃恢复的时候,会从记下来的redolog中找到已经提交的更改内容,所以不会担心MySQL异常重启后,数据的丢失。

InnoDB 引擎会在适当的时候,将这redolog中记录的操作更新到表中数据对应的page页所在的物理磁盘上,而这个更新往往是在MySQL服务比较空闲的时候去刷新到磁盘,此时才是真正的把更新的数据内容刷新到对应的page页中。而这个更新redolog日志中的内容到真正的表数据对应的page页的刷盘操作通常比费时的,需要从磁盘中找到对应的page页,还涉及到分页或合并的各种操作,属于随机IO写入性能太差,所以MySQL在执行更新操作的时候,并没有直接去更新真正的数据页中的内容,而只是更新了缓存和记录了redolog日志。 先写日志,再写磁盘 ,这就是很多软件在提高写的性能的时候所使用的 WAL(write ahead logging) 预写日志的功能。

MySQL的这种崩溃恢复的功能,这就是我们经常所说的 crash-safe ,而实现这个 crash-safe 功能的主要组件就是redolog。因为只有innodb存储引擎才有这个特有的日志,所有只有innodb才支持这种崩溃恢复数据不丢失的特性,这也是为什么innodb存储引擎替代myiasm存储引擎成为主流默认的存储引擎的原因之一。

在最早的时候MySQL里并没有InnoDB引擎。MySQL自带的引擎是MyISAM,但是MyISAM没有 crash-safe 的能力,binlog日志只能用于归档。而InnoDB是另一个公司以插件形式引入MySQL的,既然只依靠binlog是没有 crash-safe 能力的,所以InnoDB使用另外一套日志系统,也就是redo log来实现 crash-safe 能力。这就是为什么会有relaylog日志产生的原因。

物理日志VS逻辑日志

redolog从另外一个维度上来讲,它属于一种物理日志。

那么什么是物理日志呢?物理日志记录的是每一个 page 页中具体存储的值是多少,在这个数据页上做了什么修改。与物理日志对应的是逻辑日志,逻辑日志是记录的每一个 page 页面中具体数据是怎么变动的,它会记录一个变动的过程,比如把 ID=3 的行的 age 字段改为``30 。像 undolog、binlog、relaylog`这些日志,它们就属于逻辑日志,记录的是数据变化的一个过程、或SQL语句的逻辑。这样可能比较抽象,不容易理解,我们下面举例说明一下。

例如我们把一个 page 页中的一个数据从 1 改为 2 ,再从 2 改为 3 ,再从 3 改为 4 ,再从 4 改为 5 。这是这个数据在page页中变换的过程。在物理日志中,它只会记录最后的一个值 5 ,表示这个 page 页中的数据的值为 5 。而逻辑日志会记录 1->2,2->3,3->4,4->5 这个数据变化的过程。

redolog的组成

只要是使用的innodb存储引擎,那么redolog就一定是存在的。它们在磁盘上会落实成固定个数固定大小的日志文件。一般有2个或4个,这可以在初始化MySQL实例的时候,可以进行配置。如下是我自己的一个MySQL实例的redolog配置,配置了2个redolog日志文件:

root@test:/var/lib/mysql# pwd
/var/lib/mysql
root@test:/var/lib/mysql# ls -lstr ib_logfile*
49152 -rw-r----- 1 mysql mysql 50331648 Dec 28 15:45 ib_logfile1
49152 -rw-r----- 1 mysql mysql 50331648 Jan  3 12:53 ib_logfile0
root@test:/var/lib/mysql# du -sh ib_logfile*
48M	ib_logfile0
48M	ib_logfile1
root@test:/var/lib/mysql#

决定redolog日志文件的个数的参数是innodb_log_files_in_group,日志文件的个数建议设置为3或4。决定每一个日志文件大小的值为innodb_log_file_size,单个日志文件最大值建议设置为1GB,如下是查看我自己的一个MySQL示例的redolog的参数配置信息:

mysql> show variables like 'innodb_log_files_in_group';
+---------------------------+-------+
| Variable_name             | Value |
+---------------------------+-------+
| innodb_log_files_in_group | 2     |
+---------------------------+-------+
1 row in set (0.00 sec)
mysql> show variables like 'innodb_log_file_size';
+----------------------+----------+
| Variable_name        | Value    |
+----------------------+----------+
| innodb_log_file_size | 50331648 |
+----------------------+----------+
1 row in set (0.00 sec)
mysql> select 50331648/1024/1024;
+--------------------+
| 50331648/1024/1024 |
+--------------------+
|        48.00000000 |
+--------------------+
1 row in set (0.00 sec)

注意:如果要修改这个参数的值,需要停止MySQL服务才可以。一般在初始化完成之后,不建议修改这个值的大小。

redo log是循环写的,空间固定会用完。它一般是由2个或4个日志文件组成,当写完1个后,会写第2个,当第2个页写完后,会再去写第1个,如此往复循环,当然在写覆盖写第1个文件之前,需要把里面的日志内容,刷新到磁盘,然后再去覆盖写。binlog是可以追加写入的。"追加写"是指binlog文件写到一定大小后会切换到下一个,并不会覆盖以前的日志。

redolog循环写的方式向下面这个图片所示,write poscheck point 之间的部分是 redo log 空着的部分,用于记录新的记录;check pointwrite pos 之间是 redo log 待落盘的数据页更改记录。当 write pos追上check point 时,会先推动 check point 向前移动,空出位置再记录新的日志。启动 innodb 的时候,不管上次是正常关闭还是异常关闭,总是会进行恢复操作。因为 redo log记录的是数据页的物理变化,因此恢复的时候速度比逻辑日志(如 binlog )要快很多。

redolog的两阶段提交

什么是redolog的两阶段提交呢?就是在写redolog日志的时候,并不是直接把redolog标记为完成状态。而是中间会有一个prepare状态。为了更好理解这个概念,这里我们参考下面这个SQL语句执行流程图来分析一些这个两阶段提交的含义。

从图中,我们可以看出,一条更新语句的大致执行流程是这样的:

  1. server服务层的执行器,调用存储引擎层的API接口,去查询数据。
  2. innodb存储引擎层查询buffer pool缓存中的数据。
  3. 如果查询缓存中包含待查询的数据,则直接返回给server服务层的执行器。
  4. 如果缓存中没有结果则从磁盘中去读取数据,读取数据后,再返回给server服务层,同时把查询到的数据更新到buffer pool中的数据内容。
  5. server层的执行器收到查询后的数据后,执行更新操作。
  6. server层调用innodb存储引擎层的API接口更新数据。
  7. innodb存储引擎层更新数据到change buffer缓存池中。
  8. innddb存储引擎层记录redolog,并把其状态设置为prepare状态。
  9. innodb存储引擎层通知server的执行器,change buffer已经更新,redolog已经进入prepare待提交的就绪状态,可以记录binlog日志的。
  10. server层的执行器记录binlog到binlog的缓冲池中。(这里缓冲池中的日志何时刷盘就是通过参数sync_binlog来控制的,下面会详细介绍。)
  11. server层的执行器在记录完binlog之后,通知innodb存储引擎层,binlog已经记录完成。
  12. innodb存储引擎层收到server记录完binlog的通知后,更新redolog buffer中的redolog为commit状态。(此时redolog buffer中的日志何时刷盘就是通过参数innodb_flush_log_at_trx_commit来控制的,下面会详细介绍。)

至此,整个更新语句才真正的执行完成。通过上面的过程可以看出,在记录redolog的时候,有两个过程一个是记录redolog日志,把它的状态标记为prepare待提交状态,然后等待server层的binlog日志记录完成后,才会把redolog的日志更新为commit状态。这个过程就是redolog的两阶段提交操作。我们把上面的图简化为如下的一个图,你更能看明白:
在这里插入图片描述

思考问题:为什么redolog要两阶段提交?

redolog的两阶段提交是实现innodb存储引擎crash-safe功能核心。它的重要性,我们可以使用反正法来解读。试想一下:如果redolog在记录的时候不是两阶段提交。那么会有什么样的后果呢?只能有以下2种情况:

  1. 先写redolog,再写binlog:在一个更新操作的提交后,如果在redolog写成功之后,还没有来得及写binlog,此时发生了异常重启。由于redolog已经记录成功,所以在异常重启之后,MySQL可以根据redolog中的内容恢复到异常重启之前数据更新后的结果,但是由于binlog没有记录这个更新操作。如果日后你拿着这个binlog还原一个新库的时候,被还原的数据库中的数据就不会有这个更新操作。此时的新库和原库数据是不一致的。
  2. 先写binlog,再写redolog:在一个更新操作的提交后,如果在记录完成binlog之后,还没有来记得写redolog,此时发生了异常重启。由于binlog已经记录了修改操作,所以日后在使用这个binlog还原新库的时候,被还原的库中会包含这个更新操作,但是由于redolog没有被记录,数据库在异常重启后,并不能恢复到这个更新操作之后的数据内容。此时被还原的新库和原库中的数据也是不一致的。

综上两点可以看出,不管我们先记录哪个日志,都不能够做到数据的一致性。所以,innodb存储引擎在实现的崩溃恢复crash-safe功能的时候,就巧妙的使用了这样一个所谓的两阶段提交的方式来保证数据和日志的一致性。

你可能会有这样的疑问:在redolog两阶段提交的前提下,如果在redolog记录为prepare状态之后,binlog记录完成之后,redolog还没有来得及改为commit状态的时候,也就是上面图中②和③都执行完了,但是没有执行,此时MySQL异常重启了,会怎么样?针对这种情况,MySQL在异常重启做恢复的时候,会去比较redolog中的内容和binlog中的内容。如果发现像上面这种情况,也会认为是成功的,因为binlog已经记录,只是差redolog中的一个commit状态没有修改成功。此时在后恢复的时候,也会从redolog中恢复出来这个数据的。这样binlog中有这个修改记录,崩溃恢复后的库中也从redolog中恢复了这个修改记录。以后用binlog还原的库和原库是一致的。从业务上看,就是虽然MySQL异常重启了,但是,我们的提交成功了。

也许你又有新的疑问:在redolog两阶段提交的前提下,如果是redolog记录并且标记为prepare状态了,后续binlog没有记录,也没有修改redolog为commit状态,也就是上面图中的执行成功了,③和④都没有成功,此时MySQL异常重启了,会怎么样?这个时候,MySQL在重启恢复的时候,也是会比较redolog和binlog中的内容,发现只有redolog的prepare状态的日志,而binlog中没有日志。此时会把这条记录视为无效的redolog日志,也就不会恢复这样的一条修改记录。从业务上看,就是MySQL的异常重启,导致了我们的提交没有成功,我们只要重新提交一次就可以了,但是这并不会影响数据的一致性。

reldolog日志的刷盘

我们知道,在很多软件设计的时候,为了提高写数据的效率,并不是直接把数据写到磁盘上,而是先写在一个缓存池buffer中。然后从buffer中再刷新到磁盘上。relaylog在写的时候也是采用类似的方式,它有一个叫做redolog buffer的缓冲池,用于存储数据,然后再从这个缓冲池中刷新数据到磁盘中。具体什么时候把数据刷新到磁盘,是有参数innodb_flush_log_at_trx_commit来控制的,该参数的默认值为1,表示每个事务在提交之后,都会立即把这个事务的redolog持久化到磁盘上的ib_logfile文件中。

参数innodb_flush_log_at_trx_commit的取值范围[0,1,2]。而每一个值所代表的刷盘的方式是不一样的,具体如下:
在这里插入图片描述

  • innodb_flush_log_at_trx_commit=0:表示每秒钟都会把redolog写入到buffer中,然后接着会调用fsync()方法,把数据持久化到磁盘上。但是考虑到在一秒内提交的事务可能不止一个,对于一个繁忙的业务系统来说,一秒钟几十个上百个事务也是很正常的。所以如果以每秒为单位去刷新redolog到磁盘,可能会丢失一秒内已提交但是未持久化到磁盘的事务的数据。
  • innodb_flush_log_at_trx_commit=1:表示每个事务提交之后就会把它的redolog写入到buffer中,然后调用fsync()方法,把事务所对应的数据持久化到磁盘上。这样可以保证在MySQL异常重启后,我们提交的事务数据不会丢失。建议这个参数的值设置为1
  • innodb_flush_log_at_trx_commit=2:表示每个事务提交之后就会把它的redolog写入到buffer中,但是不是马上就持久化该事务的redolog到磁盘上,而是每秒调用一次fsync()方法,从buffer向磁盘持久化数据到磁盘上。这样对于那些已经提交且写入到buffer中,但是还没有持久化到磁盘的事务的数据可能会丢失。

*注意:*对于上面提到的参数innodb_flush_log_at_trx_commit设置为0或者2的时候,每秒钟调用一次fsync()方法,从buffer中持久化数据到磁盘的操作,并不是100%的保证每一秒就会持久化一次。有可能大于一秒钟,也有可能一秒钟持久化多次。当有一些DDL操作或者innodb内部的一些活动的时候,此时并不会因为innodb_flush_log_at_trx_commit的值为0或者1,就按照参数设置的方式去持久化数据到磁盘,这时候可能导致一秒钟持久化了多次数据到磁盘。Anyway,在参数innodb_flush_log_at_trx_commit不是1的情况下,是有丢失数据的风险的。

更为详细的信息,请参考MySQL的官方文档:innodb_flush_log_at_trx_commit

提到innodb_flush_log_at_trx_commit,就不得不提一句sync_binlog这个参数。其实这个参数控制着binlog日志刷新到磁盘的方式,它和innodb_flush_log_at_trx_commit参数控制着redolog刷新到磁盘的方式差不多。上面提到建议将innodb_flush_log_at_trx_commit设置为1,同理,对于sync_binlog也建议设置为1,这样就可以避免MySQL数据库在异常重启之后数据丢失的问题发生。这也是大家经常所说的双1设置的来源。

redolog对事物的支持

事物的四大特性之一:持久性 ,在MySQL的innodb存储引擎底层来说就是靠redolog来实现的。具体来说就是只要事务提交成功,那么对数据库做的修改就被永久保存下来了,不可能因为任何原因再回到原来的状态,通过前面的介绍,我们可以知道在崩溃恢复的时候,对已经提交成功事物,就是从redolog日志文件中恢复的。所以redolog是支持事务的innodb存储引擎实现事务的持久性的方式。

redolog和binlog的区别

redolog和binlog这两个日志经常被拿出来对比,下面我们简单列出他们之间的区别和联系。

对比维度redologbinlog
文件的大小文件大小是固定的。文件大小是固定的,但是并不是严格等于定义的大小。
文件的数目文件数目是固定的。文件数目不固定,达到单个文件的最大值之后会切分为一个新的日志文件。
写的方式追加写,顺序I/O,循环覆盖写。追加写,顺序I/O。
日志类型物理日志,记录的是物理页面上的具体的值。逻辑日志,记录的是SQL语句的逻辑。
实现方式innodb存储引擎层特有的日志,并不是所有的存储引擎都有。server层日志,所有引擎都会生成这种日志。
使用场景适用于数据库崩溃恢复,支持crash-safe的根源所在。适用于主从同步,数据恢复。

redolog其他的几个参数

redolog还有以下几个参数,这里简单介绍一下。

  • innodb_log_group_home_dir:表示我们的redolog日志文件存放在磁盘的哪个目录下。一般情况下该值为./,表示放在当前数据目录下,即datadir参数所指向的目录。
  • innodb_log_buffer_size:写redolog日志文件的时候使用的缓冲池的大小。默认为16MB。一个大的日志缓冲区允许大量的事务在提交之前不写日志到磁盘。因此,如果你有很多事务的更新,插入或删除很频繁,通过这个参数会大量的节省了磁盘I / O。

关于redolog的分析就先到这里了,如果你有什么疑问可以给我留言。我看到会及时回复你。后续我会再分析MySQL中的其他日志,敬请期待。

微信搜索『coder-home』,或者扫一扫右侧的二维码,关注『程序猿集锦』。
了解更多干货分享,还有各类视频教程。
扫描它,带走我。
微信搜索『coder-home』,或者扫一扫右侧的二维码,关注『程序猿集锦』。了解更多干货分享,还有各类视频教程。扫描它,带走我。文章目录前言什么是redologrelaylog的作用物理日志VS逻辑日志redolog的组成redolog的两阶段提交reldolog日志的刷盘redolog对事物的支持redolog和binlog的区别redolog其他的几个参数最后前言前面的文章中,我们依次介绍了MySQL的slow query log、binlog、relaylog,如果对...
1、什么是数据库事务? 「数据库事务」: 是数据库管理系统执行过程中的一个逻辑单位,由一个有限的数据库操作序列构成,这些操作要么全部执行,要么全部不执行,是一个不可分割的工作单位。 2、事务的四大特性是什么? o「原子性」:事务作为一个整体被执行,包含在其中的对数据库的操作要么全部被执行,要么都不执行。 o「一致性」:指在事务开始之前和事务结束以后,数据不会被破坏,假如A账户给B账户转10块钱,不管成功与否,A和B的总金额是不变的。 o「隔离性」:多个事务并发访问时,事务之间是相互隔离的,即一个事务不影响其它事务运行效果。 o「持久性」:表示事务完成以后,该事务对数据库所作的操作更改,将持久地保存在数据库之中。 3、事务ACID特性的实现原理? o「原子性」:是使用 undo log 来实现的,如果事务执行过程中出错或者用户执行了rollback,系统通过undo log日志返回事务开始的状态。 o「持久性」:使用 redo log 来实现,只要redo log日志持久化了,当系统崩溃,即可通过redo log把数据恢复。 o「隔离性」:通过锁以及 MVCC,使事务相互隔离开。
如果要对innodb的redo日志文件的大小与个数进行调整可以采用如下步骤: 1、关闭mysql mysqladmin -h127.0.0.1 -P3306 -uroot -p shutdown 2、修改配置文件中的innodb_log_file_size 、innodb_log_files_in_group 3、启动mysql service mysqld start 按官方文档上的说明是mysql会在完成恢复操作后下一个checkpoint,所以把老的日志文件都删除,从新根据新的配置文件 生成redo文件 以上这篇innodb引擎redo文件维护方法就是小编分享给大家的全部内容了,希望能给
介绍mysql b+树 、索引、日志、锁、事务等内容。 索引:为什么使用索引。索引什么时候失效、什么是覆盖索引和索引下推。 日子:redolog 、binlogmysql日志两阶段提交 、write ahead log 锁: mysql 支持的锁类型,幻读,间隙锁。
datadir=/home/mysql/data log-bin=/home/mysql/mysql-bin log-error=/home/mysql/log/mysqld.log pid-file =/home/mysql/mysqld.pid bind-address = 0.0.0.0 server-id = 1 #表示是本机的序号为1,一般来讲就是master的意思 skip-grant-tables skip-name-resolve # 禁止MySQL对外部连接进行DNS解析,使用这一选项可以消除MySQL进行DNS解析的时间。但需要注意,如果开启该选项, # 则所有远程主机连接授权都要使用IP地址方式,否则MySQL将无法正常处理连接请求 #skip-networking back_log = 600 # MySQL能有的连接数量。当主要MySQL线程在一个很短时间内得到非常多的连接请求,这就起作用, # 然后主线程花些时间(尽管很短)检查连接并且启动一个新线程。back_log值指出在MySQL暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中。 # 如果期望在一个短时间内有很多连接,你需要增加它。也就是说,如果MySQL的连接数据达到max_connections时,新来的请求将会被存在堆栈中, # 以等待某一连接释放资源,该堆栈的数量即back_log,如果等待连接的数量超过back_log,将不被授予连接资源。 # 另外,这值(back_log)限于您的操作系统对到来的TCP/IP连接的侦听队列的大小。 # 你的操作系统在这个队列大小上有它自己的限制(可以检查你的OS文档找出这个变量的最大值),试图设定back_log高于你的操作系统的限制将是无效的。 max_connections = 500 # MySQL的最大连接数,如果服务器的并发连接请求量比较大,建议调高此值,以增加并行连接数量,当然这建立在机器能支撑的情况下,因为如果连接数越多,介于MySQL会为每个连接提供连接缓冲区,就会开销越多的内存,所以要适当调整该值,不能盲目提高设值。可以过'conn%'通配符查看当前状态的连接数量,以定夺该值的大小。 max_connect_errors = 6000 # 对于同一主机,如果有超出该参数值个数的中断错误连接,则该主机将被禁止连接。如需对该主机进行解禁,执行:FLUSH HOST。 open_files_limit = 65535 # MySQL打开的文件描述符限制,默认最小1024;当open_files_limit没有被配置的时候,比较max_connections*5和ulimit -n的值,哪个大用哪个, # 当open_file_limit被配置的时候,比较open_files_limit和max_connections*5的值,哪个大用哪个. table_open_cache = 128 # MySQL每打开一个表,都会读入一些数据到table_open_cache缓存中,当MySQL在这个缓存中找不到相应信息时,才会去磁盘上读取。默认值64 # 假定系统有200个并发连接,则需将此参数设置为200*N(N为每个连接所需的文件描述符数目); # 当把table_open_cache设置为很大时,如果系统处理不了那么多文件描述符,那么就会出现客户端失效,连接不上 max_allowed_packet = 1000000000 # 接受的数据包大小;增加该变量的值十分安全,这是因为仅当需要时才会分配额外内存。例如,仅当你发出长查询或MySQLd必须返回大的结果行时MySQLd才会分配更多内存。 # 该变量之所以取较小默认值是一种预防措施,以捕获客户端和服务器之间的错误信息包,并确保不会因偶然使用大的信息包而导致内存溢出。 binlog_cache_size = 1M # 一个事务,在没有提交的时候,产生的日志,记录到Cache中;等到事务提交需要提交的时候,则把日志持久化到磁盘。默认binlog_cache_size大小32K max_heap_table_size = 67108864 # 定义了用户可以创建的内存表(memory table)的大小。这个值用来计算内存表的最大行数值。这个变量支持动态改变 tmp_table_size = 67108864 # MySQL的heap(堆积)表缓冲大小。所有联合在一个DML指令内完成,并且大多数联合甚至可以不用临时表即可以完成。 # 大多数临时表是基于内存的(HEAP)表。具有大的记录长度的临时表 (所有列的长度的和)或包含BLOB列的表存储在硬盘上。 # 如果某个内部heap(堆积)表大小超过tmp_table_size,MySQL可以根据需要自动将内存中的heap表改为基于硬盘的MyISAM表。还可以通过设置tmp_table_size选项来增加临时表的大小。也就是说,如果调高该值,MySQL同时将增加heap表的大小,可达到提高联接查询速度的效果 read_buffer_size = 4194304 # MySQL读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区,MySQL会为它分配一段内存缓冲区。read_buffer_size变量控制这一缓冲区的大小。 # 如果对表的顺序扫描请求非常频繁,并且你认为频繁扫描进行得太慢,可以通过增加该变量值以及内存缓冲区大小提高其性能 read_rnd_buffer_size = 4194304 # MySQL的随机读缓冲区大小。当按任意顺序读取行时(例如,按照排序顺序),将分配一个随机读缓存区。进行排序查询时, # MySQL会首先扫描一遍该缓冲,以避免磁盘搜索,提高查询速度,如果需要排序大量数据,可适当调高该值。但MySQL会为每个客户连接发放该缓冲空间,所以应尽量适当设置该值,以避免内存开销过大 sort_buffer_size = 4194304 # MySQL执行排序使用的缓冲大小。如果想要增加ORDER BY的速度,首先看是否可以让MySQL使用索引而不是额外的排序阶段。 # 如果不能,可以尝试增加sort_buffer_size变量的大小 join_buffer_size = 8388608 # 联合查询操作所能使用的缓冲区大小,和sort_buffer_size一样,该参数对应的分配内存也是每连接独享 thread_cache_size = 8 # 这个值(默认8)表示可以重新利用保存在缓存中线程的数量,当断开连接时如果缓存中还有空间,那么客户端的线程将被放到缓存中, # 如果线程重新被请求,那么请求将从缓存中读取,如果缓存中是空的或者是新的请求,那么这个线程将被重新创建,如果有很多新的线程, # 增加这个值可以改善系统性能.通过比较Connections和Threads_created状态的变量,可以看到这个变量的作用。(–>表示要调整的值) # 根据物理内存设置规则如下: # 1G —> 8 # 2G —> 16 # 3G —> 32 # 大于3G —> 64 #query_cache_size = 8M #MySQL的查询缓冲大小(从4.0.1开始,MySQL提供了查询缓冲机制)使用查询缓冲,MySQL将SELECT语句和查询结果存放在缓冲区中, # 今后对于同样的SELECT语句(区分大小写),将直接从缓冲区中读取结果。根据MySQL用户手册,使用查询缓冲最多可以达到238%的效率。 # 通过检查状态值'Qcache_%',可以知道query_cache_size设置是否合理:如果Qcache_lowmem_prunes的值非常大,则表明经常出现缓冲不够的情况, # 如果Qcache_hits的值也非常大,则表明查询缓冲使用非常频繁,此时需要增加缓冲大小;如果Qcache_hits的值不大,则表明你的查询重复率很低, # 这种情况下使用查询缓冲反而会影响效率,那么可以考虑不用查询缓冲。此外,在SELECT语句中加入SQL_NO_CACHE可以明确表示不使用查询缓冲 #query_cache_limit = 2M #指定单个查询能够使用的缓冲区大小,默认1M key_buffer_size = 1048576 #指定用于索引的缓冲区大小,增加它可得到更好处理的索引(对所有读和多重写),到你能负担得起那样多。如果你使它太大, # 系统将开始换页并且真的变慢了。对于内存在4GB左右的服务器该参数可设置为384M或512M。通过检查状态值Key_read_requests和Key_reads, # 可以知道key_buffer_size设置是否合理。比例key_reads/key_read_requests应该尽可能的低, # 至少是1:100,1:1000更好(上述状态值可以使用SHOW STATUS LIKE 'key_read%'获得)。注意:该参数值设置的过大反而会是服务器整体效率降低 ft_min_word_len = 4 # 分词词汇最小长度,默认4 transaction_isolation = REPEATABLE-READ # MySQL支持4种事务隔离级别,他们分别是: # READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE. # 如没有指定,MySQL默认采用的是REPEATABLE-READ,ORACLE默认的是READ-COMMITTED log_bin = mysql-bin binlog_format = mixed expire_logs_days = 30 #超过30天的binlog删除 slow_query_log = 1 long_query_time = 1 #慢查询时间 超过1秒则为慢查询 slow_query_log_file = /home/mysql/data/mysql-slow.log performance_schema = 0 explicit_defaults_for_timestamp #lower_case_table_names = 1 #不区分大小写 skip-external-locking #MySQL选项以避免外部锁定。该选项默认开启 default-storage-engine = InnoDB #默认存储引擎 innodb_file_per_table = 1 # InnoDB为独立表空间模式,每个数据库的每个表都会生成一个数据空间 # 独立表空间优点: # 1.每个表都有自已独立的表空间。 # 2.每个表的数据和索引都会存在自已的表空间中。 # 3.可以实现单表在不同的数据库中移动。 # 4.空间可以回收(除drop table操作处,表空不能自已回收) # 缺点: # 单表增加过大,如超过100G # 结论: # 共享表空间在Insert操作上少有优势。其它都没独立表空间表现好。当启用独立表空间时,请合理调整:innodb_open_files innodb_open_files = 500 # 限制Innodb能打开的表的数据,如果库里的表特别多的情况,请增加这个。这个值默认是300 innodb_buffer_pool_size = 1048576 # InnoDB使用一个缓冲池来保存索引和原始数据, 不像MyISAM. # 这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少. # 在一个独立使用的数据库服务器上,你可以设置这个变量到服务器物理内存大小的80% # 不要设置过大,否则,由于物理内存的竞争可能导致操作系统的换页颠簸. # 注意在32位系统上你每个进程可能被限制在 2-3.5G 用户层面内存限制, # 所以不要设置的太高. innodb_write_io_threads = 4 innodb_read_io_threads = 4 # innodb使用后台线程处理数据页上的读写 I/O(输入输出)请求,根据你的 CPU 核数来更改,默认是4 # 注:这两个参数不支持动态改变,需要把该参数加入到my.cnf里,修改完后重启MySQL服务,允许值的范围从 1-64 innodb_thread_concurrency = 0 # 默认设置为 0,表示不限制并发数,这里推荐设置为0,更好去发挥CPU多核处理能力,提高并发量 innodb_purge_threads = 1 # InnoDB中的清除操作是一类定期回收无用数据的操作。在之前的几个版本中,清除操作是主线程的一部分,这意味着运行时它可能会堵塞其它的数据库操作。 # 从MySQL5.5.X版本开始,该操作运行于独立的线程中,并支持更多的并发数。用户可通过设置innodb_purge_threads配置参数来选择清除操作是否使用单 # 独线程,默认情况下参数设置为0(不使用单独线程),设置为 1 时表示使用单独的清除线程。建议为1 innodb_flush_log_at_trx_commit = 2 # 0:如果innodb_flush_log_at_trx_commit的值为0,log buffer每秒就会被刷写日志文件到磁盘,提交事务的时候不做任何操作(执行是由mysql的master thread线程来执行的。 # 主线程中每秒会将重做日志缓冲写入磁盘的重做日志文件(REDO LOG)中。不论事务是否已经提交)默认的日志文件是ib_logfile0,ib_logfile1 # 1:当设为默认值1的时候,每次提交事务的时候,都会将log buffer刷写到日志。 # 2:如果设为2,每次提交事务都会写日志,但并不会执行刷的操作。每秒定时会刷到日志文件。要注意的是,并不能保证100%每秒一定都会刷到磁盘,这要取决于进程的调度。 # 每次事务提交的时候将数据写入事务日志,而这里的写入仅是调用了文件系统的写入操作,而文件系统是有 缓存的,所以这个写入并不能保证数据已经写入到物理磁盘 # 默认值1是为了保证完整的ACID。当然,你可以将这个配置项设为1以外的值来换取更高的性能,但是在系统崩溃的时候,你将会丢失1秒的数据。 # 设为0的话,mysqld进程崩溃的时候,就会丢失最后1秒的事务。设为2,只有在操作系统崩溃或者断电的时候才会丢失最后1秒的数据。InnoDB在做恢复的时候会忽略这个值。 # 设为1当然是最安全的,但性能页是最差的(相对其他两个参数而言,但不是不能接受)。如果对数据一致性和完整性要求不高,完全可以设为2,如果只最求性能,例如高并发写的日志服务器,设为0来获得更高性能 innodb-buffer-pool-size = 128M innodb_log_buffer_size = 4194304 # 此参数确定些日志文件所用的内存大小,以M为单位。缓冲区更大能提高性能,但意外的故障将会丢失数据。MySQL开发人员建议设置为1-8M之间 innodb_log_file_size = 268435456 # 此参数确定数据日志文件的大小,更大的设置可以提高性能,但也会增加恢复故障数据库所需的时间 innodb_log_files_in_group = 3 # 为提高性能,MySQL可以以循环方式将日志文件写到多个文件。推荐设置为3 innodb_max_dirty_pages_pct = 90 # innodb主线程刷新缓存池中的数据,使脏数据比例小于90% innodb_lock_wait_timeout = 120 # InnoDB事务在被回滚之前可以等待一个锁定的超时秒数。InnoDB在它自己的锁定表中自动检测事务死锁并且回滚事务。InnoDB用LOCK TABLES语句注意到锁定设置。默认值是50秒 bulk_insert_buffer_size = 1024M # 批量插入缓存大小, 这个参数是针对MyISAM存储引擎来说的。适用于在一次性插入100-1000+条记录时, 提高效率。默认值是8M。可以针对数据量的大小,翻倍增加。 myisam_sort_buffer_size = 1024M # MyISAM设置恢复表之时使用的缓冲区的尺寸,当在REPAIR TABLE或用CREATE INDEX创建索引或ALTER TABLE过程中排序 MyISAM索引分配的缓冲区 myisam_max_sort_file_size = 10G # 如果临时文件会变得超过索引,不要使用快速排序索引方法来创建一个索引。注释:这个参数以字节的形式给出 myisam_repair_threads = 1 # 如果该值大于1,在Repair by sorting过程中并行创建MyISAM表索引(每个索引在自己的线程内) interactive_timeout = 28800 # 服务器关闭交互式连接前等待活动的秒数。交互式客户端定义为在mysql_real_connect()中使用CLIENT_INTERACTIVE选项的客户端。默认值:28800秒(8小时) wait_timeout = 28800 # 服务器关闭非交互连接之前等待活动的秒数。在线程启动时,根据全局wait_timeout值或全局interactive_timeout值初始化会话wait_timeout值, # 取决于客户端类型(由mysql_real_connect()的连接选项CLIENT_INTERACTIVE定义)。参数默认值:28800秒(8小时) # MySQL服务器所支持的最大连接数是有上限的,因为每个连接的建立都会消耗内存,因此我们希望客户端在连接到MySQL Server处理完相应的操作后, # 应该断开连接并释放占用的内存。如果你的MySQL Server有大量的闲置连接,他们不仅会白白消耗内存,而且如果连接一直在累加而不断开, # 最终肯定会达到MySQL Server的连接上限数,这会报'too many connections'的错误。对于wait_timeout的值设定,应该根据系统的运行情况来判断。 # 在系统运行一段时间后,可以通过show processlist命令查看当前系统的连接状态,如果发现有大量的sleep状态的连接进程,则说明该参数设置的过大, # 可以进行适当的调整小些。要同时设置interactive_timeout和wait_timeout才会生效。 [mysqldump] quick max_allowed_packet = 16M #服务器发送和接受的最大包长度 [myisamchk] key_buffer_size = 8M sort_buffer_size = 8M read_buffer = 4M write_buffer = 4M 在写redo log日志的时候,其实是不停的在一个日志文件末尾追加日志的,这就是磁盘顺序写。 磁盘顺序写的性能其实是很高的,某种程度上来说,几乎可以跟内存随机读写的性能差不多,尤其是在数据库里其实也用了os cache机制,就是redo log顺序写磁盘之前,先进入os cache,就是操作系统管理的内存缓存里。 对于表空间磁盘文... 日志文件是MySQL数据库的重要组成部分。MySQL有几种不同的日志文件,通常包括错误日志文件,二进制日志,通用日志,慢查询日志,等等。这些日志可以帮助我们定位mysqld内部发生的事件,数据库性能故障,记录数据的变更历史,用户恢复数据库等等。本文主要描述MySQL的各种日志文件。 MySQL日志文件分类 1.错误日志(Error Log) 2.二进制日志(Binary Log & Binary Log Index) 3.通用查询日志(query log) 4.慢查询日志(slow query log) 5.Innodb的在线 redo 日志(innodb redo log) 6.更新日
数据的一致性和完整性对于在线业务的重要性不言而喻,如何保证数据不丢呢?今天我们就探讨下关于数据的完整性和强一致性,MySQL做了哪些改进。 一. MySQL的二阶段提交     在Oracle和MySQL这种关系型数据库中,讲究日志先行策略(Write-Ahead Logging),只要日志持久化到磁盘,就能保证MySQL异常重启后,数据不丢失。在MySQL中,提到日志不得不提的就是redo log和binlog。 1. redo log redo log又称重做日志文件,详细的记录了对每一个数据页里面的数据行的修改,记录的是数据修改之后的值。Redo log是用来做数据库crash reco
1、MySQL的主要适用场景 web网站系统,日志记录系统,数据仓库系统,嵌入式系统 2、物理文件 2.1、 日志文件含 错误日志,二进制日志,更新日志(5.0后不支持),查询日志,慢查询日志redo日志 2.2、数据文件含 .frm文件(表结构信息),.myd文件(), 2.3、Replication相关文件含 master.info文件,relay log和relay log index, 2.4、其它文件含 master.info文件,relay log和relay log index, 3.1、逻辑备份,mysqldump生成insert语句,或者生成指定分隔符格式的纯文本文件 3.2、物理备份,备份物理文件 4.1、 统计类去除实时查询,定时执行保存到表,读取数据 4.2、大文本数据,多媒体数据不存储 4.3、常用查询冗余字段,争取不用关联表能取到数据 4.4、先优化执行频率最高的,再优化频率低的 4.5、mysql用的是b+树,所有数据都在叶子节点,索引会比较小,常用查询字段建立索引,所有查询尽量在索引中完成 4.6、唯一性太差的字段,不适合建立索引(如状态字段、类型字段),当一条Query返回的数据超过了全表的15%时 不应该用索引,更新频繁字段不适合索引 4.7、一般情况只会用一个索引,所以可以建组合索引 4.8、不支持索引函数,! =或者,join字段类型不一致,like的
MySQL 中有六种日志文件, 分别是:重做日志redo log)、回滚日志(undo log)、二进制日志(binlog)、错误日志(errorlog)、慢查询日志(slow query log)、一般查询日志(general log),中继日志(relay log)。 重做日志和回滚日志与事务操作息息相关, 二进制日志也与中继日志通常用于主从复制 错误日志是记录数据库故常 慢查询日志经常用于数据库性能调优 一、主从复制的过程 1.在每个事务更新数据完成之前,master 在二进制日志记录这些改变。写入二进制日志完成后,master 通知存储引擎提交事务。 2.Slave 将 mas
问题1:如何解决事务提交时flush redo log带来的性能损失 WAL是实现事务持久性(D)的一个常用技术,基本原理是将事务的修改记录redo logredo log顺序追加写入。事务提交时,只需要保证事务的redo log落盘即可,通过redo log的顺序写代替页面的随机写提升数据库系统的性能。但是,该方案必须要求每个事务提交时都将其生成的redo log进行一次刷盘,效率不高。 问题2:binlog和引擎层事务提交的顺序问题 对于单个事务而言,日志写入顺序是先redo log再binlog,只要维持该顺序即可维持正确性。但对于一个高并发的数据库系统而言,每时每刻可能都会存在
Mysql中的redo log 1、什么是redo log redo log叫做重做日志,目的是为了保证事务持久性的一种机制。保证在mysql服务器意味崩溃或者宕机后,保证对已经提交的事务,可以确定持久化到磁盘中的一种措施。 2、为什么需要redo log innodb是以页为单位来管理存储空间的,任何的增删改差操作最终都会操作完整的一个页,会将整个页加载到buffer pool中,然后对需要修改的记录进行修改,修改完毕不会立即刷新到磁盘,因为此时的刷新是一个随机io,而且仅仅修改了一条记录,刷新一个完整的
redo log 什么是redo log文件?如下: -rw-r-----. 1 mysql mysql 50331648 2月 8 05:07 ib_logfile0 -rw-r-----. 1 mysql mysql 50331648 12月 2 2017 ib_logfile1 redo log又称重做日志文件,用于记录事物操作的变化,记录的是数据修改之后的值,不管事物是否是否提交都...
haiki66: 通过上面的表格我们可以看出,当我们定义的字段长度超过255之后,它在底层存储的时候就会占用2个byte,因为一个8位的tinyint,可以表示的无符号数值的范围是,0-255,当超过255之后,就要升级为smallint占用2个byte了。255刚好是smallint的最大存储值。 这段话和表格啥关系啊?前面在讲varchar,怎么突然跳到int了? MySQL的日志 - redo log 燃烧阳光: undo log是什么时候写的啊? 这三个日记的写入时机有些乱,分不清楚 MySQL中的当前读 清晰明白 受教了 MySQL的日志 - redo log 程序猿集锦: 1. redo log写之前,bin log此时也没有写。MySQL重启,根据日志记录情况,判断这个事务无效。业务端核实后重新发起一个新的事务请求即可。 2. 这种情况下,在重启之后MySQL会检查redo log的状态是否完整,发现这个事务在redo log中缺少一个commit的动作,那么这个事务也会被视为无效的事务,会回滚这个事务。就像客户端在这个时间点与服务端的网络断开了一样。那MySQL任务你的这个事务并没有执行提交操作,所以回滚这个事务。