您好,欢迎访问一九零五行业门户网

浅谈mysql配置优化和sql语句优化

做优化,我在这里引用淘宝系统分析师蒋江伟的一句话:只有勇于承担,才能让人有勇气,有承担自己的错误的勇气。有承担错误的勇气,就有去做事得勇气。无论做什么
    做优化,我在这里引用淘宝系统分析师蒋江伟的一句话:只有勇于承担,才能让人有勇气,有承担自己的错误的勇气。有承担错误的勇气,就有去做事得勇气。无论做什么事,只要是对的,就要去做,勇敢去做。出了错误,承担错误,改正错误,这样的人没有人会去责怪。
很久之前就想写一篇关于mysql优化方面的文章了,忙于工作,在着也比较懒散。现在网上mysql优化方面的帖子很多,也不乏精品。很早听一dba前辈说过:mysql的优化,三分配置的优化,七分sql语句的优化。之前不是很理解,但接触到高并发大数据的时候,这句话的含义尤为突出,甚至可以说一分配置的优化,九分语句的优化。
mysql的优化,一般分为配置的优化、sql语句的优化、表结构的优化、索引的优化,这里着重说前两点。
一、配置的优化
    配置的优化其实包含两个方面的:操作系统内核的优化和mysql配置文件的优化
    1、系统内核的优化对专用的mysql服务器来说,无非是内存实用、连接数、超时处理、tcp处理等方面的优化,根据自己的硬件配置来进行优化,这里不多讲;
    2、mysql配置的优化,一般来说包含:io处理的常用参数、最大连接数设置、缓存使用参数的设置、慢日志的参数的设置、innodb相关参数的设置等,如果有主从关系在设置主从同步的相关参数即可,网上的相关配置文件很多,大同小异,常用的设置大多修改这些差不多就够用了。
以下是我的一个mysql配置文件,仅供参考:
###############################################
[mysqld]
skip-name-resolve
server-id = 1
bind-address = 0.0.0.0
port = 3306
datadir = /home/mysql
tmpdir = /tmp
default_storage_engine = innodb
character_set_server = utf8
innodb_file_per_table = 1
innodb_log_file_size = 512m
innodb_log_files_in_group = 4
innodb_rollback_on_timeout = 1
slow_query_log = 1
slow_query_log_file =/var/log/mysql/mysql-slow.log
long_query_time = 1
#log-queries-not-using-indexes#这个参数不安全,说是记录没有用到索引的语句,其实记录的全部的日志,占用大量的io,建议不要打开
#relay_log_recovery=1#这个参数在丛库上一定要加上
query_cache_type = off
query_cache_size = 0
#这两项是禁用缓存,这个使服务器用途而定:写比较多的数据库最好禁用,因为没写一次他要修改缓存中的数据,给数据库带来额外的开销,读比较的可以开启,可以提高查询效率
#一下4个参数是mysql5.6上的新特性
innodb_buffer_pool_dump_at_shutdown = 1 #解释:在关闭时把热数据dump到本地磁盘。
innodb_buffer_pool_dump_now = 1 #解释:采用手工方式把热数据dump到本地磁盘。
innodb_buffer_pool_load_at_startup = 1 #解释:在启动时把热数据加载到内存。
innodb_buffer_pool_load_now = 1 #解释:采用手工方式把热数据加载到内存。
read_buffer_size = 2m
sort_buffer_size = 2m
join_buffer_size = 1m
key_buffer_size = 2g
thread_cache_size = 2048
open_files_limit=65535
innodb_open_files = 8192
max_allowed_packet = 64m
thread_stack = 512k
max_length_for_sort_data = 16k
tmp_table_size = 1g
max_heap_table_size = 1g
max_connections = 4000      
max_connect_errors = 30000
innodb_read_io_threads = 8
innodb_write_io_threads = 16
innodb_flush_method = o_direct
innodb_io_capacity = 20000#根据硬盘的情况修改,stat的用100,sas的200,sas做riad10的为400fision-io的可以设置为20000
innodb_buffer_pool_size = 72g#内存的80%
innodb_buffer_pool_instances=18
thread_concurrency=0
innodb_thread_concurrency = 0
innodb_log_buffer_size = 16m
innodb_flush_log_at_trx_commit = 2
innodb_lock_wait_timeout = 60
innodb_old_blocks_time=1000
innodb_use_native_aio = 1
innodb_purge_threads=1
innodb_change_buffering=inserts
##############################################
二、sql语句的优化
    前期的配置优化做完,其实在很长的一段时间内,基本上不用在去优化了。而一条sql使用不当,致使整个数据库故障的情况相信做dba的经常遇到。所以,sql语句的优化和审核才是每个dba的重中之重。
sql语句的优化,一般的基本原则有以下几个方面:
1、  尽量稍作计算
mysql的作用是用来存取数据的,不是做计算的,做计算的话可以用其他方法去实现,mysql做计算是很耗资源的。
2.尽量少 join
mysql 的优势在于简单,但这在某些方面其实也是其劣势。mysql 优化器效率高,但是由于其统计信息的量有限,优化器工作过程出现偏差的可能性也就更多。对于复杂的多表 join,一方面由于其优化器受限,,再者在 join 这方面所下的功夫还不够,所以性能表现离 oracle 等关系型数据库前辈还是有一定距离。但如果是简单的单表查询,这一差距就会极小甚至在有些场景下要优于这些数据库前辈。
3.尽量少排序
排序操作会消耗较多的 cpu 资源,所以减少排序可以在缓存命中率高等 io 能力足够的场景下会较大影响 sql 的响应时间。
对于mysql来说,减少排序有多种办法,比如:
通过利用索引来排序的方式进行优化
减少参与排序的记录条数
非必要不对数据进行排序
4.尽量避免 select *
其它类似信息

推荐信息