MySQL-Cheatsheet

MySQL CheatSheet | MySQL配置与性能优化实践清单

MySQL is a full-featured open-source relational database management system (RDBMS) that was originally built by MySQL AB and currently owned by Oracle Corporation. It stores data in tables that are grouped into a database, uses Structured Query Language (SQL) to access data and such commands as ‘SELECT’, ‘UPDATE’, ‘INSERT’ and ‘DELETE’ to manage it. Related information can be stored in different tables, but the usage of JOIN operation allows you to correlate it, perform queries across various tables and minimize the chance of data duplication.

MySQL is compatible with nearly all operating systems, namely Windows, Linux, Unix, Apple, FreeBSD and many others. It supports various storage engines, like InnoDB (it is the default one), Federated, MyISAM, Memory, CSV, Archive, Blackhole and Merge.

本清单参考了 MySQL Command Line Cheatsheet、MySQL 5.7 Reference Manual，更多MySQL的学习资料参考 MySQL学习与资料索引。此外，本文中涉及的SQL语句可以前往 SQLFiddle 查看完整的SQL语句，也可以前往 SQL Teaching 进行交互式基础语法学习。

对于SQL方面的知识，请参阅 SQL CheatSheet。

# 启动本地的 MySQL 实例
$ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag

# 将 MySQL 端口映射出来
$ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -p 3306:3306 -d mysql:tag

# 允许启动的其他容器中使用 MySQL
$ docker run --name some-app --link some-mysql:mysql -d application-that-uses-mysql

# 启动本地 MySQL 客户端并且连接到目标
$ docker run -it --link some-mysql:mysql --rm mysql sh -c 'exec mysql -h"$MYSQL_PORT_3306_TCP_ADDR" -P"$MYSQL_PORT_3306_TCP_PORT" -uroot -p"$MYSQL_ENV_MYSQL_ROOT_PASSWORD"'

# 将 MySQL 镜像作为客户端使用，连接到远端的数据库
$ docker run -it --rm mysql mysql -hsome.mysql.host -usome-mysql-user -p

--- 老版本中更新 Root 用户信息
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;
 FLUSH PRIVILEGES;

--- 5.7 之后版本
update user set authentication_string=password('YOURSUPERSECRETPASSWORD') where user='root';

配置与管理

权限管理

MySQL的安装过程不在此赘述，其自带了命令行工具进行管理：

# Prompt for password / 交互式登录
$ mysql -u [username] -p

$ mysql -u [username] -p [database]

登录完毕后可以查看并操作数据库：

# 展示所有数据库
mysql> show databases;

# 创建新的数据库
mysql> create database [database];

# 选择数据库
mysql> use [database];

# 创建用户并且分配权限
mysql> CREATE USER 'finley'@'%' IDENTIFIED BY 'some_pass';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'finley'@'%'
    ->     WITH GRANT OPTION;

# 修改用户密码
use mysql;
update user set password=PASSWORD("mynewpassword") where User='root';
flush privileges;

信息检索

SELECT
  TABLE_NAME, table_rows, data_length, index_length,
  round(((data_length + index_length) / 1024 / 1024),2) 'Size in MB'
FROM information_schema.TABLES
WHERE TABLE_NAME = 'r_case_info' and TABLE_TYPE='BASE TABLE'
ORDER BY data_length DESC;

数据查询与操作

数据类型

时间与日期

MySQL中支持date和datetime、timestamp等时间类型，其中date与datetime都是时区无关，timestamp会跟随设置的时区变化而变化，而datetime保存的是绝对值不会变化。占用存储空间不同。timestamp储存占用4个字节，datetime储存占用8个字节。

可表示的时间范围不同。timestamp可表示范围:1970-01-01 00:00:00~2038-01-09 03:14:07，datetime支持的范围更宽1000-01-01 00:00:00 ~ 9999-12-31 23:59:59
索引速度不同。timestamp更轻量，索引相对datetime更快。

MySQL仅允许插入无时区的时间格式字符串，当我们插入到DATETIME类型时，其会保存字面信息了；如果插入到TIMESTAMP类型，MySQL首先会将其根据当前时区转化为UTC时间戳存储，在用户查询的时候则会再从UTC时区转化为数据库当前时区。DATETIME与TIMESTAMP在使用上并无太大差异，仅当数据库时区发生变化时，其读取值会发生变化。MySQL也提供了丰富的时间与日期函数，sysdate()和now()都可以使用当前时间值，其中sysdate表示实时的系统时间，不过其有可能导致主库和从库执行时返回值不一样，导致主从数据库不一致。

mysql> select now(), curdate(), sysdate(), curtime() \G;
*************************** 1. row ***********************
    now(): 2013-01-17 13:07:53
curdate(): 2013-01-17
sysdate(): 2013-01-17 13:07:53
curtime(): 13:07:53

// 获取事件的年与月
GROUP BY YEAR(record_date), MONTH(record_date)

// 根据固定的时间格式排序
GROUP BY DATE_FORMAT(record_date, '%Y%m')

// 获取 Unix_Stamp
SELECT UNIX_TIMESTAMP('1970-01-01 12:00:00');

我们可以使用TIMESTAMPDIFF与DATEDIFF计算两个日期时间的差：

--- FRAC_SECOND、SECOND、MINUTE、HOUR、DAY、WEEK、MONTH、QUARTER或 YEAR
SELECT TIMESTAMPDIFF(DAY,'2012-10-01','2013-01-13');

--- 传入两个日期函数，比较的DAY天数
SELECT DATEDIFF('2013-01-13','2012-10-01');

Tuning |性能调优

MySQL中常见的性能问题，可能是有如下类型：

CPU过载，慢查询，OPTIMZE TABLE
内存使用问题，内存相关参数配置不合理
磁盘IO，Buffer pool命中率；慢查询；redo, undo, data分开存放
网络问题，非专有网络，网络路由
表及查询语句问题，主要的查询性能问题：全表扫描临时表排序FileSort

常用定位问题的方法则有：

分析状态变量
MySQL Slow query log
EXPLAIN命令查看执行计划
profiling查看执行过耗时
show full processlist
show engine innodb status
查看innodb系统表

配置

innodb_buffer_pool_size,一般设置为机器内存的50%左右(实践经验)
innodb_buffer_pool_instances, 5.6及5.7，可设置为8-16个
innodb_log_file_size 一般设置为25%的buffer pool size大小
innodb_flush_log_at_trx_commit 要求高可靠性，设置为1。不要求高可靠性，可设置为0或2.
sync_binlog Binlog的可靠性设置，高可靠性设置为1，但对于性能影响比较大。如果已经配置了Slave，这个参数可设置为0
innodb_flush_method Linux下设置为O_DIRECT
innodb_thread_concurrency (Cores * 2) + (# Disks)
skip_name_resolve 使用直接IP方式，避免DNS解析
innodb_io_capacity，innodb_io_capacity_max 需要根据你的磁盘的IOPS处理能力进行相应设置。 innodb_io_capacity~= IOPS
query_cache_type 是否使用Query Cache，对于读/写，80%+/20%-的应用可考虑打开。写入请求过多的应用，需要关闭，不然反而影响性能。
tmp_table_size/ max_heap_table_size 通过查看状态变量Created_tmp_disk_tables及Created_tmp_tables，决定是否合适

explain |分析

在日常工作中，我们会有时会开慢查询去记录一些执行时间比较久的SQL语句，找出这些SQL语句并不意味着完事了，些时我们常常用到explain这个命令来查看一个这些SQL语句的执行计划，查看该SQL语句有没有使用上了索引，有没有做全表扫描，这都可以通过explain命令来查看。

mysql> explain select * from (select * from ( select * from t1 where id=2602) a) b;
+----+-------------+------------+--------+-------------------+---------+---------+------+------+-------+
| id | select_type | table      | type   | possible_keys     | key     | key_len | ref  | rows | Extra |
+----+-------------+------------+--------+-------------------+---------+---------+------+------+-------+
|  1 | PRIMARY     | <derived2> | system | NULL              | NULL    | NULL    | NULL |    1 |       |
|  2 | DERIVED     | <derived3> | system | NULL              | NULL    | NULL    | NULL |    1 |       |
|  3 | DERIVED     | t1         | const  | PRIMARY,idx_t1_id | PRIMARY | 4       |      |    1 |       |
+----+-------------+------------+--------+-------------------+---------+---------+------+------+-------+

当我们的查询语句包含了多个Select语句时，explain会依次返回每个子查询的信息，其中select_type就是表示每个select子句的类型：

SIMPLE:简单SELECT,不使用UNION或子查询等
PRIMARY:查询中若包含任何复杂的子部分,最外层的select被标记为PRIMARY
UNION: UNION中的第二个或后面的SELECT语句
DEPENDENT UNION: UNION中的第二个或后面的SELECT语句，取决于外面的查询
UNION RESULT: UNION的结果
SUBQUERY:子查询中的第一个SELECT
DEPENDENT SUBQUERY:子查询中的第一个SELECT，取决于外面的查询
DERIVED:派生表的SELECT, FROM子句的子查询
UNCACHEABLE SUBQUERY:一个子查询的结果不能被缓存，必须重新评估外链接的第一行

type表示MySQL在表中找到所需行的方式，又称“访问类型”。常用的类型有：ALL, index, range, ref, eq_ref, const, system, NULL（从左到右，性能从差到好）：

ALL：Full Table Scan，MySQL将遍历全表以找到匹配的行
index: Full Index Scan，index与ALL区别为index类型只遍历索引树
range:只检索给定范围的行，使用一个索引来选择行
ref:表示上述表的连接匹配条件，即哪些列或常量被用于查找索引列上的值
eq_ref:类似ref，区别就在使用的索引是唯一索引，对于每个索引键值，表中只有一条记录匹配，简单来说，就是多表连接中使用primary key或者unique key作为关联条件
const, system:当MySQL对查询某部分进行优化，并转换为一个常量时，使用这些类型访问。如将主键置于where列表中，MySQL就能将该查询转换为一个常量,system是const类型的特例，当查询的表只有一行的情况下，使用system
NULL: MySQL在优化过程中分解语句，执行时甚至不用访问表或索引，例如从一个索引列里选取最小值可以通过单独索引查找完成。

possible_keys,指出MySQL能使用哪个索引在表中找到记录，查询涉及到的字段上若存在索引，则该索引将被列出，但不一定被查询使用。key列显示MySQL实际决定使用的键（索引），如果没有选择索引，键是NULL。要想强制MySQL使用或忽视possible_keys列中的索引，在查询中使用FORCE INDEX、USE INDEX或者IGNORE INDEX。key_len表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度（key_len显示的值为索引字段的最大可能长度，并非实际使用长度，即key_len是根据表定义计算而得，不是通过表内检索出的）；不损失精确性的情况下，长度越短越好。

最后的Extra列包含MySQL解决查询的详细信息,有以下几种情况：

Using where:列数据是从仅仅使用了索引中的信息而没有读取实际的行动的表返回的，这发生在对表的全部的请求列都是同一个索引的部分的时候，表示mysql服务器将在存储引擎检索行后再进行过滤
Using temporary:表示MySQL需要使用临时表来存储结果集，常见于排序和分组查询
Using filesort: MySQL中无法利用索引完成的排序操作称为“文件排序”
Using join buffer：改值强调了在获取连接条件时没有使用索引，并且需要连接缓冲区来存储中间结果。如果出现了这个值，那应该注意，根据查询的具体情况可能需要添加索引来改进性能。
Impossible where：这个值强调了where语句会导致没有符合条件的行。
Select tables optimized away：这个值意味着仅通过使用索引，优化器可能仅从聚合函数结果中返回一行