MySQL 性能优化方案

mysql的优化同sql server相比,更为麻烦与复杂,同样的设置,在不同的环境下 ,由于内存,访问量,读写频率,数据差异等等情况,可能会出现不同的结果,因此简单地根据某个给出方案来配置mysql是行不通的,最好能使用 status信息对mysql进行具体的优化。

1
2
3
4
5
mysql> show global status;

  可以列出mysql服务器运行各种状态值,另外,查询mysql服务器配置信息语句:

mysql> show variables;

慢查询
连接数
key_buffer_size
临时表
open table情况
进程使用情况
查询缓存(query cache)
排序使用情况
文件打开数(open_files)
表锁情况
表扫描情况
以下数据均是本站点初始数据,系统设置都是默认值,目前看来可能对有些默认数值偏大,仅供参考。

一、慢查询

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
mysql> show variables like ‘slow%’;
+———————+———————————+
| Variable_name | Value |
+———————+———————————+
| slow_launch_time | 2 |
| slow_query_log | ON |
| slow_query_log_file | /www/server/data/mysql-slow.log |
+———————+———————————+
3 rows in set (0.00 sec)

mysql> show global status like ‘slow%’;
+———————+——-+
| Variable_name | Value |
+———————+——-+
| Slow_launch_threads | 0 |
| Slow_queries | 134 |
+———————+——-+
2 rows in set (0.00 sec)

配 置中打开了记录慢查询,执行时间超过2秒的即为慢查询,系统显示有134个慢查询,你可以分析慢查询日志,找出有问题的sql语句,慢查询时间不宜设置过长,否则意义不大,最好在5秒以内,如果你需要微秒级别的慢查询,可以考虑给mysql打补丁:http://www.percona.com /docs/wiki/release:start,记得找对应的版本。

打开慢查询日志可能会对系统性能有一点点影响,如果你的mysql是主-从结构,可以考虑打开其中一台从服务器的慢查询日志,这样既可以监控慢查询,对系统性能影响又小。

二、连接数

经 常会遇见”mysql: error 1040: too many connections”的情况,一种是访问量确实很高,mysql服务器抗不住,这个时候就要考虑增加从服务器分散读压力,另外一种情况是mysql配 置文件中max_connections值过小:

1
2
3
4
5
6
7
mysql> show variables like ‘max_connections’;
+—————–+——-+
| Variable_name | Value |
+—————–+——-+
| max_connections | 500 |
+—————–+——-+
1 row in set (0.00 sec)

这台mysql服务器最大连接数是500,然后查询一下服务器响应的最大连接数:

1
2
3
4
5
6
7
mysql> show global status like ‘max_used_connections’;
+———————-+——-+
| Variable_name | Value |
+———————-+——-+
| Max_used_connections | 8 |
+———————-+——-+
1 row in set (0.00 sec)

mysql服务器过去的最大连接数是8,没有达到服务器连接数上限500,应该没有出现1040错误,比较理想的设置是

max_used_connections / max_connections * 100% ≈ 85%

最大连接数占上限连接数的85%左右,如果发现比例在10%以下,mysql服务器连接数上限设置的过高了。目前本数据库的连接数上限就过高了。

三、key_buffer_size

key_buffer_size是对MyISAM表性能影响最大的一个参数,下面一台以MyISAM为主要存储引擎服务器的配置:

1
2
3
4
5
6
7
show variables like ‘key_buffer_size’;
+—————–+———-+
| Variable_name | Value |
+—————–+———-+
| key_buffer_size | 33554432 |
+—————–+———-+
1 row in set (0.00 sec)

分配了300MB内存给key_buffer_size,我们再看一下key_buffer_size的使用情况:

1
2
3
4
5
6
7
8
mysql> show global status like ‘key_read%’;
+——————-+——-+
| Variable_name | Value |
+——————-+——-+
| Key_read_requests | 54081 |
| Key_reads | 4 |
+——————-+——-+
2 rows in set (0.00 sec)

一共有54081个索引读取请求,有4个请求在内存中没有找到直接从硬盘读取索引,计算索引未命中缓存的概率:

key_cache_miss_rate = key_reads / key_read_requests * 100%

比 如上面的数据,key_cache_miss_rate为0.007396%,13000个索引读取请求才有一个直接读硬盘,已经很好 了,key_cache_miss_rate在0.1%以下都很好(每1000个请求有一个直接读硬盘),如果key_cache_miss_rate在 0.01%以下的话,key_buffer_size分配的过多,可以适当减少。目前本数据库的key_buffer_size分配的过多。

mysql服务器还提供了key_blocks_*参数:

1
2
3
4
5
6
7
8
mysql> show global status like ‘key_blocks_u%’;
+——————-+——-+
| Variable_name | Value |
+——————-+——-+
| Key_blocks_unused | 26720 |
| Key_blocks_used | 72 |
+——————-+——-+
2 rows in set (0.00 sec)

key_blocks_unused 表示未使用的缓存簇(blocks)数,key_blocks_used表示曾经用到的最大的blocks数,当所有缓存都用到s3hi,要么 增加key_buffer_size,要么就是过渡索引了,把缓存占满了。比较理想的设置:

key_blocks_used / (key_blocks_unused + key_blocks_used) * 100% ≈ 80%

四、临时表

1
2
3
4
5
6
7
8
9
show global status like ‘created_tmp%’;
+————————-+——-+
| Variable_name | Value |
+————————-+——-+
| Created_tmp_disk_tables | 576 |
| Created_tmp_files | 5 |
| Created_tmp_tables | 770 |
+————————-+——-+
3 rows in set (0.00 sec)

每次创建临时表,created_tmp_tables增加,如果是在磁盘上创建临时表,created_tmp_disk_tables也增加,created_tmp_files表示mysql服务创建的临时文件文件数,比较理想的配置是:

created_tmp_disk_tables/created_tmp_tables * 100% <= 25%比如上面的服务器created_tmp_disk_tables / created_tmp_tables * 100% = 74.8%,在这一点上本数据库需要优化。我们再看一下mysql服务器对临时表的配置:

1
2
3
4
5
6
7
8
mysql> show variables where variable_name in (‘tmp_table_size’, ‘max_heap_table_size’);
+———————+———-+
| Variable_name | Value |
+———————+———-+
| max_heap_table_size | 16777216 |
| tmp_table_size | 33554432 |
+———————+———-+
2 rows in set (0.00 sec)

只有16MB以下的临时表才能全部放内存,超过的就会用到硬盘临时表。

五、open table情况

1
2
3
4
5
6
7
8
show global status like ‘open%tables%’;
+—————+——-+
| Variable_name | Value |
+—————+——-+
| Open_tables | 36 |
| Opened_tables | 90 |
+—————+——-+
2 rows in set (0.00 sec)

open_tables 表示打开表的数量,opened_tables表示打开过的表数量,如果opened_tables数量过大,说明配置中 table_open_cache(5.1.3之前这个值叫做table_cache)值可能太小,我们查询一下服务器table_cache值:

1
2
3
4
5
6
7
mysql> show variables like ‘table_open_cache’;
+——————+——-+
| Variable_name | Value |
+——————+——-+
| table_open_cache | 128 |
+——————+——-+
1 row in set (0.00 sec)

比较合适的值为:

open_tables/opened_tables * 100% >= 85%

open_tables/table_cache * 100% <= 95%

六、进程使用情况

1
2
3
4
5
6
7
8
9
10
mysql> show global status like ‘thread%’;
+——————-+——-+
| Variable_name | Value |
+——————-+——-+
| Threads_cached | 4 |
| Threads_connected | 4 |
| Threads_created | 8 |
| Threads_running | 1 |
+——————-+——-+
4 rows in set (0.00 sec)

如 果我们在MySQL服务器配置文件中设置了thread_cache_size,当客户端断开之后,服务器处理此客户的线程将会缓存起来以响应下一个客户而不是销毁(前提是缓存数未达上限)。threads_created表示创建过的线程数,如果发现threads_created值过大的话,表明 MySQL服务器一直在创建线程,这也是比较耗资源,可以适当增加配置文件中thread_cache_size值,查询服务器 thread_cache_size配置:

1
2
3
4
5
6
7
mysql> show variables like ‘thread_cache_size’;
+——————-+——-+
| Variable_name | Value |
+——————-+——-+
| thread_cache_size | 16 |
+——————-+——-+
1 row in set (0.00 sec)

本服务器还是挺健康的。

七、查询缓存(query cache)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
mysql> show global status like ‘qcache%’;
+————————-+———-+
| Variable_name | Value |
+————————-+———-+
| Qcache_free_blocks | 31 |
| Qcache_free_memory | 16500528 |
| Qcache_hits | 19957 |
| Qcache_inserts | 5633 |
| Qcache_lowmem_prunes | 0 |
| Qcache_not_cached | 1263 |
| Qcache_queries_in_cache | 52 |
| Qcache_total_blocks | 151 |
+————————-+———-+
8 rows in set (0.00 sec)

mysql查询缓存变量解释:

qcache_free_blocks:缓存中相邻内存块的个数。数目大说明可能有碎片。flush query cache会对缓存中的碎片进行整理,从而得到一个空闲块。

qcache_free_memory:缓存中的空闲内存。

qcache_hits:每次查询在缓存中命中时就增大

qcache_inserts:每次插入一个查询时就增大。命中次数除以插入次数就是不中比率。

qcache_lowmem_prunes: 缓存出现内存不足并且必须要进行清理以便为更多查询提供空间的次数。这个数字最好长时间来看;如果这个数字在不断增长,就表示可能碎片非常严重,或者内存 很少。(上面的 free_blocks和free_memory可以告诉您属于哪种情况)

qcache_not_cached:不适合进行缓存的查询的数量,通常是由于这些查询不是 select 语句或者用了now()之类的函数。

qcache_queries_in_cache:当前缓存的查询(和响应)的数量。

qcache_total_blocks:缓存中块的数量。

我们再查询一下服务器关于query_cache的配置:

1
2
3
4
5
6
7
8
9
10
11
mysql> show variables like ‘query_cache%’;
+——————————+———-+
| Variable_name | Value |
+——————————+———-+
| query_cache_limit | 1048576 |
| query_cache_min_res_unit | 4096 |
| query_cache_size | 16777216 |
| query_cache_type | ON |
| query_cache_wlock_invalidate | OFF |
+——————————+———-+
5 rows in set (0.00 sec)

各字段的解释:

query_cache_limit:超过此大小的查询将不缓存

query_cache_min_res_unit:缓存块的最小大小

query_cache_size:查询缓存大小

query_cache_type:缓存类型,决定缓存什么样的查询,示例中表示缓存 select sql_no_cache 查询

query_cache_wlock_invalidate:当有其他客户端正在对MYISAM表进行写操作时,如果查询在query cache中,是否返回cache结果还是等写操作完成再读表获取结果。

query_cache_min_res_unit的配置是一柄”双刃剑”,默认是4KB,设置值大对大数据查询有好处,但如果你的查询都是小数据查询,就容易造成内存碎片和浪费。

查询缓存碎片率 = qcache_free_blocks / qcache_total_blocks * 100%

如果查询缓存碎片率超过20%,可以用flush query cache整理缓存碎片,或者试试减小query_cache_min_res_unit,如果你的查询都是小数据量的话。

查询缓存利用率 = (query_cache_size – qcache_free_memory) / query_cache_size * 100%

查询缓存利用率在25%以下的话说明query_cache_size设置的过大,可适当减小;查询缓存利用率在80%以上而且qcache_lowmem_prunes > 50的话说明query_cache_size可能有点小,要不就是碎片太多。

查询缓存命中率 = (qcache_hits – qcache_inserts) / qcache_hits * 100%

示例服务器 查询缓存碎片率 = 20.46%,查询缓存利用率 = 62.26%,查询缓存命中率 = 1.94%,命中率很差,可能写操作比较频繁吧,而且可能有些碎片。

八、排序使用情况

1
2
3
4
5
6
7
8
9
10
mysql> show global status like ‘sort%’;
+——————-+——-+
| Variable_name | Value |
+——————-+——-+
| Sort_merge_passes | 0 |
| Sort_range | 1654 |
| Sort_rows | 8293 |
| Sort_scan | 273 |
+——————-+——-+
4 rows in set (0.00 sec)

sort_merge_passes 包括两步。MySQL 首先会尝试在内存中做排序,使用的内存大小由系统变量 sort_buffer_size 决定,如果它的大小不够把所有的记录都读到内存中,mysql 就会把每次在内存中排序的结果存到临时文件中,等 MySQL 找到所有记录之后,再把临时文件中的记录做一次排序。这再次排序就会增加 sort_merge_passes。实际上,mysql 会用另一个临时文件来存再次排序的结果,所以通常会看到 sort_merge_passes 增加的数值是建临时文件数的两倍。因为用到了临时文件,所以速度可能会比较慢,增加 sort_buffer_size 会减少 sort_merge_passes 和 创建临时文件的次数。但盲目的增加 sort_buffer_size 并不一定能提高速度。

另外,增加read_rnd_buffer_size(3.2.3是record_rnd_buffer_size)的值对排序的操作也有一点的好处,参见:http://www.mysqlperformanceblog.com/2007/07/24/what-exactly-is-read_rnd_buffer_size/

九、文件打开数(open_files)

1
2
3
4
5
6
7
mysql> show global status like ‘open_files’;
+—————+——-+
| Variable_name | Value |
+—————+——-+
| Open_files | 74 |
+—————+——-+
1 row in set (0.00 sec)
1
2
3
4
5
6
7
mysql> show variables like ‘open_files_limit’;
+——————+——-+
| Variable_name | Value |
+——————+——-+
| open_files_limit | 65535 |
+——————+——-+
1 row in set (0.00 sec)

比较合适的设置:open_files / open_files_limit * 100% <= 75%

十、表锁情况

1
2
3
4
5
6
7
8
mysql> show global status like ‘table_locks%’;
+———————–+——-+
| Variable_name | Value |
+———————–+——-+
| Table_locks_immediate | 7929 |
| Table_locks_waited | 0 |
+———————–+——-+
2 rows in set (0.00 sec)

table_locks_immediate表示立即释放表锁数,table_locks_waited表示需要等待的表锁数,如果 table_locks_immediate / table_locks_waited > 5000,最好采用innodb引擎,因为innodb是行锁而myisam是表锁,对于高并发写入的应用innodb效果会好些。

十一、表扫描情况

1
2
3
4
5
6
7
8
9
10
11
12
mysql> show global status like ‘handler_read%’;
+———————–+——-+
| Variable_name | Value |
+———————–+——-+
| Handler_read_first | 142 |
| Handler_read_key | 8120 |
| Handler_read_next | 8273 |
| Handler_read_prev | 227 |
| Handler_read_rnd | 8149 |
| Handler_read_rnd_next | 38681 |
+———————–+——-+
6 rows in set (0.00 sec)

分析这几个值,我们可以查看当前索引的使用情况:
Handler_read_first:索引中第一条被读的次数。如果较高,它表示服务器正执行大量全索引扫描;例如,SELECT col1 FROM foo,假定col1有索引(这个值越低越好)。
Handler_read_key:如果索引正在工作,这个值代表一个行被索引值读的次数,如果值越低,表示索引得到的性能改善不高,因为索引不经常使用(这个值越高越好)。
Handler_read_next :按照键顺序读下一行的请求数。如果你用范围约束或如果执行索引扫描来查询索引列,该值增加。
Handler_read_prev:按照键顺序读前一行的请求数。该读方法主要用于优化ORDER BY … DESC。
Handler_read_rnd :根据固定位置读一行的请求数。如果你正执行大量查询并需要对结果进行排序该值较高。你可能使用了大量需要MySQL扫描整个表的查询或你的连接没有正确使用键。这个值较高,意味着运行效率低,应该建立索引来补救。

Handler_read_rnd_next:在数据文件中读下一行的请求数。如果你正进行大量的表扫描,该值较高。通常说明你的表索引不正确或写入的查询没有利用索引。

调出服务器完成的查询请求次数:

1
2
3
4
5
6
7
mysql> show global status like ‘com_select’;
+—————+——-+
| Variable_name | Value |
+—————+——-+
| Com_select | 7298 |
+—————+——-+
1 row in set (0.00 sec)

计算表扫描率:

表扫描率 = handler_read_rnd_next/com_select

如果表扫描率超过4000,说明进行了太多表扫描,很有可能索引没有建好,增加read_buffer_size值会有一些好处,但最好不要超过8MB。

作者

sunct

发布于

2019-03-08

更新于

2020-12-24

许可协议


评论