SQL性能治理经验谈

背景

SQL数据类型

数值

这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL 和 NUMERIC)，以及近似数值数据类型(FLOAT、REAL 和 DOUBLE PRECISION)。

字符串

字符串类型指CHAR、VARCHAR、BINARY、VARBINARY、BLOB、TEXT、ENUM和SET

时间

表示时间值的日期和时间类型为DATETIME、DATE、TIMESTAMP、TIME和YEAR。

SQL治理的几条特殊建议

【建议】表中的自增列（auto_increment属性），推荐使用bigint类型。

因为无符号int存储范围为-2147483648~2147483647（大约21亿左右），溢出后会导致报错。

真实项目运维会复杂一点：

• 主键溢出问题暴露，往往意味着生产环境已经有脏数据产生，需要考虑数据回滚恢复

• 对大表而言，修改表结构意味着大量binlog产生，要考虑主从同步延迟，带来的影响

• 生产环境和灰度环境的代码兼容问题

【建议】业务中IP地址字段推荐使用int类型，不推荐用char(15)。

因为int只占4字节，可以用如下函数相互转换，而char(15)占用至少15字节。

一旦表数据行数到了1亿，那么要多用1.1G存储空间。

举例子，通过SQL的内置函数：inet_aton 和 inet_ntoa，完成数值到ip地址，以及ip地址到数值的转换。

原理：ip地址的数字总是按照网络字节顺序存储，那么我们可以按照二进制规律去进行数值转换。

如ip地址（209.207.224.40），是按照 209×2^24 + 207×2^16 + 224×2^8 + 40 进行计算得出结果。

【建议】不推荐使用blob，text等类型，且文本数据尽量用varchar存储。

它们都比较浪费硬盘和内存空间。在加载表数据时，会读取大字段到内存里从而浪费内存空间，影响系统性能。建议和PM、RD沟通，是否真的需要这么大字段。

另外，因为varchar是变长存储，比char更省空间。MySQL server层规定一行所有文本最多存65535字符（实际上InnoDB并不支持65535长度的VARCHAR，因为还有别的开销，实际测试是能存放最大长度是65532字符），因此在utf8字符集下最多存21844个字符，超过会自动转换为mediumtext字段。

而text在utf8字符集下最多存21844个字符，一般建议用varchar类型，字符数不要超过2700。

注意：char(n) 和 varchar(n) 中括号中 n 代表字符的个数，并不代表字节个数，比如 CHAR(30) 就可以存储 30 个字符。

行记录格式概念

Compact行记录格式

是Mysql5.0+引入的，设计目的是高效存储数据，一个页存放行数据越多，性能越好。

变长字段长度列表 + NULL标志位 + 记录头信息 + 列1数据 + 列2数据 + ...

Innodb中当一行记录超过8098字节时，会将该记录中选取最长的一个字段将其768字节放在原始page里，该字段余下内容放在overflow-page里。在compact行格式下，原始page和overflow-page都会加载。

上面讲的blob或变长大字段类型包括blob、text、varchar，其中varchar列值长度大于某数N时也会存溢出页；如果有TEXT、BLOB、VARCHAR列，Compact格式会存放768个前缀字节的列数据，行溢出数据则存放到overflow-page；

Dynamic行记录格式

对blob采用完全行溢出，即聚集索引记录（数据页）只保留20字节的指针，指向真实存放它的溢出段地址：

dynamic行格式，列存储是否放到off-page页，主要取决于行大小，它会把行中最长的那一列放到off-page，直到数据页能存放下两行。TEXT/BLOB列 <=40 bytes 时总是存放于数据页。可以避免compact那样把太多的大列值放到 B-tree Node，因为dynamic格式认为，只要大列值有部分数据放在off-page，那把整个值放入都放入off-page更有效。

【建议】时间类型尽量选取timestamp。

因为datetime占用8字节，timestamp仅占用4字节，但是范围为1970-01-01 00:00:01到2038-01-01 00:00:00。

更为高阶的方法，选用int来存储时间，使用SQL函数unix_timestamp()和from_unixtime()来进行转换。

CREATE TABLE `test` (`id` bigint NOT NULL AUTO_INCREMENT,`name` varchar(30) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '名字',`desc` text COLLATE utf8mb4_unicode_ci,`birthday` timestamp NULL DEFAULT CURRENT_TIMESTAMP,`birthday_time` int DEFAULT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

【建议】存储金钱的字段，建议用int，程序端乘以100和除以100进行存取。因为int占用4字节，而double占用8字节，空间浪费。

举例子，101.11元，数据库用double存储，要消耗8字节；

如果改为int存储，101.11 * 100 = 10111，恰好可以用int存储到位，这样写入数据库没有问题；

同样，读出数据，10111 / 100 = 101.11，即可还原数据。

其他文章

亿级大表垂直拆分的工程实践

亿级大表冷热分级的工程实践