MySQL中日志大致包括为以下几种:
事务日志: transaction log
中继日志: reley log
错误日志: error log
通用日志: general log
慢查询日志: slow query log
二进制日志: binary log
1.事务日志:
事务日志属于预写式日志,所谓预写式日志即写日志先于些数据,也就是说对于数据库的更改会先写入日志然后在写入数据库,日志记录对数据库的更改过程。
事务日志基于追加机制,对日志文件进行追加。由于只对一个文件进行读写操作,在某些情况下,写入日志的效率要高于直接对磁盘上数据库进行操作。
事务日志由事务型存储引擎自行管理和使用,即我们通常并不需要对此类日志进行操作,需要使用的时候系统会自动进行操作,主要包括以下两个动作
redo:由于数据库在实际的存储过程中,即便已经提交了事务,相关数据也可能并不会立即存储到磁盘上而是先存储在事物日志,如果出现某种不可控的意外,导致服务器离线,则系统会根据日志将已经完成的事物进行再次提交,即进行实际的存储操作。这个过程叫做redo。
undo:还是以上的情况,如果有未完成也就是还没有提交的事务,系统会将未完成的事务回滚这个过程即undo操作。
注:redo和undo都系统自动进行的,这两个特性基于事务这个特性。是否支持事务由存储引擎决定
Innodb事务日志相关常用配置(变量):
使用一下命令查看相关的变量设定:
show variables like '%innodb_log%';
建议将以下在/etc/my.cnf中进行修改
innodb_log_file_size 5242880 每个日志文件大小,字节为单位(建议增大)
innodb_log_files_in_group 2 日志组成员个数(建议增大)
innodb_log_group_home_dir ./ 事务文件路径,建议和数据库文件分开存放
2.错误日志
mysqld启动和关闭过程中输出的事件信息
mysqld运行中产生的错误信息
event scheduler运行一个event时产生的日志信息
在主从复制架构中的从服务器上启动从服务器线程时产生的信息
错误日志相关配置
SHOW GLOBAL VARIABLES LIKE 'log_error'
log_error=/PATH/TO/LOG_ERROR_FILE
查看当前错误日志文件配置的路径
log_warnings=1|0 默认值1(不止这两项设定,可以参考官方文档)
在MySQL 5.7.2之后添加了一下变量,将会用来替代此变量(mariadb没有此选项)
log_error_verbosity
是否记录警告信息至错误日志文件(运行时的警报信息)
3.通用日志:记录对数据库的通用操作
通用日志可以存储在文件中,或者存储在表中,默认的设定是存储在文件中。
通用日志相关设置
general_log=ON|OFF
general_log_file=HOSTNAME.log
log_output="TABLE"|"FILE"|"NONE"
以上三项分别用来设定是否开启通用日志,默认是处于关闭状态。第二条用来指定记录日志的文件名,第三条用来指定记录日志使用文件记录还是使用表来记录,默认使用文件记录日志。
如果是表中则记录位于mysql数据库general_log表中
4.慢查询日志
慢查询日志用来记录执行查询时长超出指定时长的操作,此日志对于我们分析优化MySQL的数据结构有极大的用处,甚是重要。
慢查询相关设定:
slow_query_log=ON|OFF 开启或关闭慢查询
long_query_time=N 慢查询的阀值,单位秒
slow_query_log_file=HOSTNAME-slow.log 慢查询日志文件
log_queries_not_using_indexes=ON
log_slow_rate_limit = 1 多少次查询才记录,mariadb特有
log_slow_verbosity= Query_plan,explain 记录内容
log_slow_queries = OFF 同slow_query_log新版已废弃
和其他设定相同,都很容易理解,第四项是比较特别的,它的含义是对于没有使用索引但是查询也没有达到慢查询定义的时间的查询是否记录,根据情况可以开启,以便用来判定是否可以更好的优化数据库的性能。
其他一些分析工具:
set profiling=on|1; 分析查询过程功能
show profiles; 查看SQL历史语句
show profile for query n. 查看某次查询的详细过程
这个功能有些类似shell中history,不同的是可以使用此工具查看具体某个的SQL语句的详细执行过程,以此来分析影响SQL性能的具体问题。注意,show profiles命令需要将profiling变量设定为on或1,默认情况下此项是关闭的。
5.二进制日志
二进制日志是相当重要的一类日志,之所以如此是因为此类日志记录了对某个数据的详细变动过程,可以用来恢复数据库。
记录导致数据改变或潜在导致数据改变的SQL语句
记录已经提交的日志
不依赖于存储引擎类型
功能:通过“重放”日志文件中的事件来生成数据副本
注意:建议二进制日志和数据文件分开存放
二进制日志相关配置
查看mariadb自行管理使用中的二进制日志文件列表
SHOW {BINARY | MASTER} LOGS
如果要查看当前正在使用的日志文件,使用下面的命令。
SHOW MASTER STATUS
查看二进制文件中的指定内容
二进制文件中的内容并不可以被直接查看,需要借助下面的工具,使用格式如下:
SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count]
如果省略所有选项,则默认查看第一个日志文件中的内容。
其中:
IN ‘log_name’用来指定查看哪个日志文件中的内容
FROM pos 查看指定文件中指定pos之后的日志内容
LIMIT offset,row_count比如查看从第4条日志之后的3条日志可以写为limit 4,3
FROM pos和LIMIT offset,row_count可以同时使用。
pos是系统给每一条日志添加的一个编号。
二进制日志记录格式
基于“语句”记录:statement,记录语句,默认模式
基于“行”记录:row,记录数据,日志量较大(建议使用此种方式)
混合模式:mixed, 让系统自行判定该基于哪种方式进行
可以使用以下命令进行查看配置
show variables like '%binlog_format%';
statement模式:此模式下每一条SQL语句都会被记录,默认使用此种模式。
row模式:由于一条语句对数据库的改动不止一行,此种模式会记录数据库语句对每一行进行的改动,但日志量比较大。(推荐使用此中模式)
mixed模式:由系统判断使用statement模式还是row模式,此种模式更加灵活,也是不错的选择
完整的二进制日志包含了两种文件,第一种格式日志本身,第二种是索引文件,用来记录当前系统中的二进制文件列表。
日志文件:mysql|mariadb-bin.文件名后缀,二进制格式
如: mysql-bin.000001
索引文件:mysql|mariadb-bin.index,文本格式
二进制日志相关的服务器变量:
sql_log_bin=ON|OFF
log_bin=/PATH/BIN_LOG_FILE
以上两项用来配置是否启用二进制日志功能,并且需要同时开启,其中第一项可以在线修改,第二个修改之后需要重启服务,可以通过修改第一个的设定来临时禁用二进制日志的记录。请注意log_bin的配置方法略微不同,如下:
如果只是启用的话,在/etc/my.cnf文件中添加log_bin即可,不用指定值。
当需要日志文件放到自定义路径的时候给log_bin一个路径的值,注意系统会默认在设定的文件名后添加序列后缀如log_bin=mysql_log.bin则生成的日志文件名为mysql_log.bin.000001
binlog_format=STATEMENT|ROW|MIXED
二进制日志记录的格式,默认STATEMENT,根据自身的需要更改为对应的值
max_binlog_size=1073741824
单个二进制日志文件的最大体积,到达最大值会自动滚动,默认为1G。说明:文件达到上限时的大小未必为指定的精确值。即:即使未达到最大值,也可能会生成新的日志文件,如重启服务即会生成新的的日志文件。
sync_binlog=1|0
设定是否启动二进制日志即时同步磁盘功能,默认0,由操作系统负责同步日志到磁盘,通常不用更改如果数据安全性要求极其严格,可以考虑开启
expire_logs_days=N
二进制日志可以自动删除的天数。 默认为0,即不自动删除
注:当MySQL服务重启之后会自动生成一个新的二进制日志文件。
mysqlbinlog:二进制日志的客户端命令工具
命令格式:
mysqlbinlog [OPTIONS] log_file…
--start-position=# 指定开始位置
--stop-position=# 指定结束位置
--start-datetime= 指定开始时间
--stop-datetime= 指定结束时间
时间格式:YYYY-MM-DD hh:mm:ss
–base64-output[=name]
示例:
mysqlbinlog --start-position=6787 --stop-position=7527 mariadb-bin.000003
mysqlbinlog --start-datetime="2018-01-30 20:30:10"
>--stop-datetime="2018-01-30 20:35:22" mariadb-bin.000003;
二进制日志事件的格式:
# at 328
#151105 16:31:40 server id 1 end_log_pos 431 Query thread_id=1 exec_time=0
error_code=0
use `mydb`/*!*/;
SET TIMESTAMP=1446712300/*!*/;
CREATE TABLE tb1 (id int, name char(30))
/*!*/;
事件发生的日期和时间:151105 16:31:40
事件发生的服务器标识:server id 1
事件的结束位置:end_log_pos 431
事件的类型:Query
事件发生时所在服务器执行此事件的线程的ID:thread_id=1
语句的时间戳与将其写入二进制文件中的时间差:exec_time=0
错误代码:error_code=0
事件内容:
GTID:Global Transaction ID,mysql5.6以mariadb10以上版本专属属性:GTID
清除指定二进制日志:
PURGE { BINARY | MASTER } LOGS { TO 'log_name' | BEFORE datetime_expr }
示例:
PURGE BINARY LOGS TO 'mariadb-bin.000003';删除3前日志,不包括3
PURGE BINARY LOGS BEFORE '2017-01-23';
PURGE BINARY LOGS BEFORE '2017-03-22 09:25:30';
删除所有二进制日志,index文件重新记数
RESET MASTER [TO #];
日志文件从#开始记数,默认从1开始,一般是master第一次启动时执行,MariaDB10.1.6开始支持TO#
切换日志文件:
FLUSH LOGS;