mysql建表规范与常见问题 一、 表设计 库名、表名、字段名必须使用小写字母,“_”分割。 库名、表名、字段名必须不超过12个字符。 库名、表名、字段名见名知意,建议使用名词而不是动词。 建议使用innodb存储引擎。 存储精确浮点数必须使用decimal替代float和
mysql建表规范与常见问题
一、 表设计
库名、表名、字段名必须使用小写字母,“_”分割。库名、表名、字段名必须不超过12个字符。库名、表名、字段名见名知意,建议使用名词而不是动词。建议使用innodb存储引擎。存储精确浮点数必须使用decimal替代float和double。建议使用unsigned存储非负数值。建议使用int unsigned存储ipv4。整形定义中不添加长度,比如使用int,而不是int(4)。使用短数据类型,比如取值范围为0-80时,使用tinyint unsigned。不建议使用enum类型,使用tinyint来代替。尽可能不使用text、blob类型。varchar(n),n表示的是字符数不是字节数,比如varchar(255),可以最大可存储255个汉字,需要根据实际的宽度来选择n。varchar(n),n尽可能小,因为mysql一个表中所有的varchar字段最大长度是65535个字节,进行排序和创建临时表一类的内存操作时,会使用n的长度申请内存。表字符集选择utf8。使用varbinary存储变长字符串。存储年使用year类型。存储日期使用date类型。存储时间(精确到秒)建议使用timestamp类型,因为timestamp使用4字节,datetime使用8个字节。建议字段定义为not null。将过大字段拆分到其他表中。禁止在数据库中使用varbinary、blob存储图片、文件等。表结构变更需要通知dba审核。二、 索引
非唯一索引必须按照“idx_字段名称_字段名称[_字段名]”进行命名。唯一索引必须按照“uniq_字段名称_字段名称[_字段名]”进行命名。索引名称必须使用小写。索引中的字段数建议不超过5个。单张表的索引数量控制在5个以内。唯一键由3个以下字段组成,并且字段都是整形时,使用唯一键作为主键。没有唯一键或者唯一键不符合5中的条件时,使用自增(或者通过发号器获取)id作为主键。唯一键不和主键重复。索引字段的顺序需要考虑字段值去重之后的个数,个数多的放在前面。order by,group by,distinct的字段需要添加在索引的后面。使用explain判断sql语句是否合理使用索引,尽量避免extra列出现:using file sort,usingtemporary。update、delete语句需要根据where条件添加索引。不建议使用%前缀模糊查询,例如like “%weibo”。对长度过长的varchar字段建立索引时,添加crc32或者md5 hash字段,对hash字段建立索引。合理创建联合索引(避免冗余),(a,b,c) 相当于 (a) 、(a,b) 、(a,b,c)。合理利用覆盖索引。sql变更需要确认索引是否需要变更并通知dba。三、 sql语句
使用prepared statement,可以提供性能并且避免sql注入。sql语句中in包含的值不应过多。update、delete语句不使用limit。where条件中必须使用合适的类型,避免mysql进行隐式类型转化。select语句只获取需要的字段。select、insert语句必须显式的指明字段名称,不使用select *,不使用insertinto table()。使 用select column_name1, column_name2 from table where[condition]而不是select column_name1 from table where[condition]和select column_name2 from table where [condition]。where条件中的非等值条件(in、between、、>=)会导致后面的条件使用不了索引。避免在sql语句进行数学运算或者函数运算,容易将业务逻辑和db耦合在一起。insert语句使用batch提交(insert into tablevalues(),(),()……),values的个数不应过多。避免使用存储过程、触发器、函数等,容易将业务逻辑和db耦合在一起,并且mysql的存储过程、触发器、函数中存在一定的bug。避免使用join。使用合理的sql语句减少与数据库的交互次数。不使用order by rand(),使用其他方法替换。建议使用合理的分页方式以提高分页的效率。统计表中记录数时使用count(*),而不是count(primary_key)和count(1)。禁止在从库上执行后台管理和统计类型功能的query。四、 散表
每张表数据量建议控制在5000w以下。可以结合使用hash、range、lookup table进行散表。散表如果使用md5(或者类似的hash算法)进行散表,表名后缀使用16进制,比如user_ff。推荐使用crc32求余(或者类似的算术算法)进行散表,表名后缀使用数字,数字必须从0开始并等宽,比如散100张表,后缀从00-99。使用时间散表,表名后缀必须使用特定格式,比如按日散表user_20110209、按月散表user_201102。五、 其他
批量导入、导出数据需要dba进行审查,并在执行过程中观察服务。批量更新数据,如update,delete 操作,需要dba进行审查,并在执行过程中观察服务。产品出现非数据库平台运维导致的问题和故障时,如前端被抓站,请及时通知dba,便于维护服务稳定。业务部门程序出现bug等影响数据库服务的问题,请及时通知dba,便于维护服务稳定。业务部门推广活动,请提前通知dba进行服务和访问评估。如果出现业务部门人为误操作导致数据丢失,需要恢复数据,请在第一时间通知dba,并提供准确时间,误操作语句等重要线索。?
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
faq
1-1.库名、表名、字段名必须使用小写字母,“_”分割。
a)mysql有配置参数lower_case_table_names,不可动态更改,linux系统默认为0,即库表名以实际情况存储,大小写敏感。如果是1,以小写存储,大小写不敏感。如果是2,以实际情况存储,但以小写比较。
b) 如果大小写混合用,可能存在abc,abc,abc等多个表共存,容易导致混乱。
c) 字段名显示区分大小写,但实际使用不区分,即不可以建立两个名字一样但大小写不一样的字段。
d) 为了统一规范, 库名、表名、字段名使用小写字母。
?
1-2.库名、表名、字段名必须不超过12个字符。
库名、表名、字段名支持最多64个字符,但为了统一规范、易于辨识以及减少传输量,必须不超过12字符。
?
1-3.库名、表名、字段名见名知意,建议使用名词而不是动词。
a) 用户评论可用表名usercomment或者comment。
b) 库表是一种客观存在的事物,一种对象,所以建议使用名词。
?
1-4.建议使用innodb存储引擎。
a) 5.5以后的默认引擘,支持事务,行级锁,更好的恢复性,高并发下性能更好,对多核,大内存,ssd等硬件支持更好。
b) 具体比较可见附件的官方白皮书。
?
1-5.存储精确浮点数必须使用decimal替代float和double。
a) mysql中的数值类型(不包括整型):
????ieee754浮点数:float??(单精度) , double??或real??(双精度)
????定点数: decimal或 numeric
???单精度浮点数的有效数字二进制是24位,按十进制来说,是8位;双精度浮点数的有效数字二进制是53位,按十进制来说,是16 位
???一个实数的有效数字超过8位,用单精度浮点数来表示的话,就会产生误差!同样,如果一个实数的有效数字超过16位,用双精度浮点数来表示,也会产生误差
b)ieee754标准的计算机浮点数,在内部是用二进制表示的,但在将一个十进制数转换为二进制浮点数时,也会造成误差,原因是不是所有的数都能转换成有限长度的二进制数。
???即一个二进制可以准确转换成十进制,但一个带小数的十进制不一定能够准确地用二进制来表示。
实例:
drop table if exists t;
create table t(value float(10,2));
insert into t values(131072.67),(131072.68);
select??value??from t;
+-----------+
|value????|
+-----------+
| 131072.67 |
| 131072.69 |
+-----------+
?
1-6.建议使用unsigned存储非负数值。
同样的字节数,存储的数值范围更大。如tinyint 有符号为 -128-127,无符号为0-255
?
1-7. 如何使用int unsigned存储ip?
使用intunsigned而不是char(15)来存储ipv4地址,通过mysql函数inet_ntoa和inet_aton来进行转化。ipv6地址目前没有转化函数,需要使用decimal或者两个bigint来存储。例如:
select inet_aton('209.207.224.40');
3520061480
select inet_ntoa(3520061480);
209.207.224.40
?
1-8. int[m],m值代表什么含义?
注意数值类型括号后面的数字只是表示宽度而跟存储范围没有关系,比如int(3)默认显示3位,空格补齐,超出时正常显示,python、java客户端等不具备这个功能。
?
1-10.不建议使用enum、set类型,使用tinyint来代替。
a)enum,有三个问题:添加新的值要做ddl,默认值问题(将一个非法值插入enum(也就是说,允许的值列之外的字符串),将插入空字符串以作为特殊错误值),索引值问题(插入数字实际是插入索引对应的值)
实例:
drop table if exists t;
create table t(sex enum('0','1'));
insert into t values(1);
insert into t values('3');
select * from t;
+------+
| sex??|
+------+
| 0????|
|?????|
+------+
2 rows in set (0.00 sec)
?
1-11.尽可能不使用text、blob类型。
a) 索引排序问题,只能使用max_sort_length的长度或者手工指定order by substring(column,length)的长度来排序
b) memory引擘不支持text,blog类型,会在磁盘上生成临时表
c) 可能浪费更多的空间
d) 可能无法使用adaptive hash index
e) 导致使用where没有索引的语句变慢
?
1-13. varchar中会产生额外存储吗?
varchar(m),如果m=256则使用两个字节来存储长度。
?
1-14.表字符集选择utf8。
a) 使用utf8字符集,如果是汉字,占3个字节,但ascii码字符还是1个字节。
b) 统一,不会有转换产生乱码风险
c) 其他地区的用户(美国、印度、台湾)无需安装简体中文支持,就能正常看您的文字,并且不会出现乱码
d)iso-8859-1编码(latin1)使用了单字节内的所有空间,在支持iso-8859-1的系统中传输和存储其他任何编码的字节流都不会被抛弃。即把其他任何编码的字节流当作iso-8859-1编码看待都没有问题,保存的是原封不动的字节流。
?
1-15.使用varbinary存储变长字符串。
二进制字节流,不存在编码问题
?
1-18. 为什么建议使用timestamp来存储时间而不是datetime?
datetime和timestamp都是精确到秒,优先选择timestamp,因为timestamp只有4个字节,而datetime8个字节。同时timestamp具有自动赋值以及自动更新的特性。
如何使用timestamp的自动赋值属性?
a)??将当前时间作为ts的默认值:ts timestamp defaultcurrent_timestamp。
b)??当行更新时,更新ts的值:ts timestamp default 0 onupdate current_timestamp。
c)??可以将1和2结合起来:ts timestamp defaultcurrent_timestamp on update current_timestamp。
?
1-19.建议字段定义为not null。
a)如果null字段被索引,需要额外的1字节
b)使索引,索引统计,值的比较变得更复杂
c)可用0,''代替
d)如果是索引字段,一定要定义为not null
?
1-21.禁止在数据库中使用varbinary、blob存储图片、文件等。
采用分布式文件系统更高效
?
2. 为什么mysql的性能依赖于索引?
mysql的查询速度依赖良好的索引设计,因此索引对于高性能至关重要。合理的索引会加快查询速度(包括update和delete的速度,mysql会将包含该行的page加载到内存中,然后进行update或者delete操作),不合理的索引会降低速度。
mysql索引查找类似于新华字典的拼音和部首查找,当拼音和部首索引不存在时,只能通过一页一页的翻页来查找。当mysql查询不能使用索引时,mysql会进行全表扫描,会消耗大量的io。
?
2-5. 为什么一张表中不能存在过多的索引?
innodb的secondaryindex使用b+tree来存储,因此在update、delete、insert的时候需要对b+tree进行调整,过多的索引会减慢更新的速度。
?
2-11. explain语句
explain语句(在mysql客户端中执行)可以获得mysql如何执行select语句的信息。通过对select语句执行explain,可以知晓mysql执行该select语句时是否使用了索引、全表扫描、临时表、排序等信息。尽量避免mysql进行全表扫描、使用临时表、排序等。详见官方文档。
?
2-13.不建议使用%前缀模糊查询,例如like “%weibo”。
会导致全表扫描
2-14. 如何对长度大于50的varchar字段建立索引?
下面的表增加一列url_crc32,然后对url_crc32建立索引,减少索引字段的长度,提高效率。
create table url(???????……
???????url varchar(255) not null default 0,
???????url_crc32int unsigned not null default 0,
???????……
???????index idx_url(url_crc32)
????)
?
2-16. 什么是覆盖索引?
innodb 存储引擎中,secondaryindex(非主键索引)中没有直接存储行地址,存储主键值。如果用户需要查询secondaryindex中所不包含的数据列时,需要先通过secondaryindex查找到主键值,然后再通过主键查询到其他数据列,因此需要查询两次。
覆盖索引的概念就是查询可以通过在一个索引中完成,覆盖索引效率会比较高,主键查询是天然的覆盖索引。
合理的创建索引以及合理的使用查询语句,当使用到覆盖索引时可以获得性能提升。
比如select email,uid from user_email whereuid=xx,如果uid不是主键,适当时候可以将索引添加为index(uid,email),以获得性能提升。
?
3-3.update、delete语句不使用limit。
a) 可能导致主从数据不一致
b) 会记录到错误日志,导致日志占用大量空间
3-4. 为什么需要避免mysql进行隐式类型转化?
因为mysql进行隐式类型转化之后,可能会将索引字段类型转化成=号右边值的类型,导致使用不到索引,原因和避免在索引字段中使用函数是类似的。
?
3-6. 为什么不建议使用select *?
增加很多不必要的消耗(cpu、io、内存、网络带宽);增加了使用覆盖索引的可能性;当表结构发生改变时,前段也需要更新。
?
3-13. 如何减少与数据库的交互次数?
使用下面的语句来减少和db的交互次数:
insert ... on duplicate key update
replace
insert ignore
insert into values(),()如何结合使用多个纬度进行散表散库?
例如微博message,先按照crc32(message_id)将message散到16个库中,然后针对每个库中的表,一天生成一张新表。
?
3-14. 为什么不能使用order by rand()?
因为order byrand()会将数据从磁盘中读取,进行排序,会消耗大量的io和cpu,可以在程序中获取一个rand值,然后通过在从数据库中获取对应的值。
?
3-15. mysql中如何进行分页?
假如有类似下面分页语句:
select * from table order by time desc limit 10000,10;
这种分页方式会导致大量的io,因为mysql使用的是提前读取策略。
推荐分页方式:
select * from table where time
select * from table inner join(select id from table order bytime limit 10000,10) as t using(id)
?
?3-17.为什么避免使用复杂的sql?
拒绝使用复杂的sql,将大的sql拆分成多条简单sql分步执行。原因:简单的sql容易使用到mysql的querycache;减少锁表时间特别是myisam;可以使用多核cpu。
?
?
2. innodb存储引擎为什么避免使用count(*)?
innodb表避免使用count(*)操作,计数统计实时要求较强可以使用memcache或者redis,非实时统计可以使用单独统计表,定时更新。