当前位置：首页 > Mysql教程 > 列表

mysql数据库分表性能优化分析

发布:smiling　来源: PHP粉丝网 　添加日期：2014-10-12 13:47:47　浏览: 评论：0　

在mysql使用时到超大千万级数据量时我们大多会考虑到分表查询,分库查询,下面我们来介绍一下关于分表查询时的优化.

我们的项目中有好多不等于的情况,今天写这篇文章简单的分析一下怎么个优化法,这里的分表逻辑是根据t_group表的user_name组的个数来分的.

因为这种情况单独user_name字段上的索引就属于烂索引,起不了啥名明显的效果.

1、试验PROCEDURE,代码如下:

  1. DELIMITER $$ 
  2. DROP PROCEDURE `t_girl`.`sp_split_table`$$ 
  3. CREATE  PROCEDURE `t_girl`.`sp_split_table`() 
  4. BEGIN 
  5.   declare done int default 0; 
  6.   declare v_user_name varchar(20) default ''; 
  7.   declare v_table_name varchar(64) default ''; 
  8.   -- Get all users' name. 
  9.   declare cur1 cursor for select user_name from t_group group by user_name; 
  10.   -- Deal with error or warnings. 
  11.   declare continue handler for 1329 set done = 1; 
  12.   -- Open cursor. 
  13.   open cur1; 
  14.   while done <> 1 
  15.   do  
  16.     fetch cur1 into v_user_name; 
  17.     if not done then 
  18.       -- Get table name. 
  19.       set v_table_name = concat('t_group_',v_user_name); 
  20.       -- Create new extra table. 
  21.       set @stmt = concat('create table ',v_table_name,' like t_group'); 
  22.       prepare s1 from @stmt; 
  23.       execute s1; 
  24.       drop prepare s1; 
  25.       -- Load data into it. 
  26.       set @stmt = concat('insert into ',v_table_name,' select * from t_group where user_name = ''',v_user_name,''''); 
  27.       prepare s1 from @stmt; 
  28.       execute s1; 
  29.       drop prepare s1; 
  30.     end if; 
  31.   end while; 
  32.   -- Close cursor. 
  33.   close cur1; 
  34.   -- Free variable from memory. 
  35.   set @stmt = NULL; 
  36. END$$ 
  37. DELIMITER ; 

2、试验表,我们用一个有一千万条记录的表来做测试,代码如下:

  1. mysql> select count(*) from t_group; 
  2. +----------+ 
  3. | count(*) | 
  4. +----------+ 
  5. | 10388608 |  
  6. +----------+ 
  7. 1 row in set (0.00 sec) 

表结构,代码如下:

  1. mysql> desc t_group; 
  2. +-------------+------------------+------+-----+-------------------+----------------+ 
  3. | Field       | Type             | Null | Key | Default           | Extra          | 
  4. +-------------+------------------+------+-----+-------------------+----------------+ 
  5. | id          | int(10) unsigned | NO   | PRI | NULL              | auto_increment |  
  6. | money       | decimal(10,2)    | NO   |     |                   |                |  
  7. | user_name   | varchar(20)      | NO   | MUL |                   |                |  
  8. | create_time | timestamp        | NO   |     | CURRENT_TIMESTAMP |                |  
  9. +-------------+------------------+------+-----+-------------------+----------------+ 
  10. 4 rows in set (0.00 sec) 

索引情况.

  1. mysql> show index from t_group; 
  2. +---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+ 
  3. | Table   | Non_unique | Key_name         | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | 
  4. +---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+ 
  5. | t_group |          0 | PRIMARY          |            1 | id          | A         |    10388608 |     NULL | NULL   |      | BTREE      |         |  
  6. | t_group |          1 | idx_user_name    |            1 | user_name   | A         |           8 |     NULL | NULL   |      | BTREE      |         |  
  7. | t_group |          1 | idx_combination1 |            1 | user_name   | A         |           8 |     NULL | NULL   |      | BTREE      |         |  
  8. | t_group |          1 | idx_combination1 |            2 | money       | A         |        3776 |     NULL | NULL   |      | BTREE      |         |  
  9. +---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+ 
  10. 4 rows in set (0.00 sec)  --phpfensi.com 

PS:idx_combination1 这个索引是必须的,因为要对user_name来GROUP BY,此时属于松散索引扫描,当然完了后你可以干掉她.

idx_user_name 这个索引是为了加快单独执行constant这种类型的查询.

我们要根据用户名来分表,代码如下:

  1. mysql> select user_name from t_group where 1 group by user_name; 
  2. +-----------+ 
  3. | user_name | 
  4. +-----------+ 
  5. | david     |  
  6. | leo       |  
  7. | livia     |  
  8. | lucy      |  
  9. | sarah     |  
  10. | simon     |  
  11. | sony      |  
  12. | sunny     |  
  13. +-----------+ 
  14. 8 rows in set (0.00 sec) 

所以结果表应该是这样的,代码如下:

  1. mysql> show tables like 't_group_%'; 
  2. +------------------------------+ 
  3. | Tables_in_t_girl (t_group_%) | 
  4. +------------------------------+ 
  5. | t_group_david                |  
  6. | t_group_leo                  |  
  7. | t_group_livia                |  
  8. | t_group_lucy                 |  
  9. | t_group_sarah                |  
  10. | t_group_simon                |  
  11. | t_group_sony                 |  
  12. | t_group_sunny                |  
  13. +------------------------------+ 
  14. 8 rows in set (0.00 sec) 

3、对比结果,代码如下:

  1. mysql> select count(*) from t_group where user_name = 'david'; 
  2. +----------+ 
  3. | count(*) | 
  4. +----------+ 
  5. |  1298576 |  
  6. +----------+ 
  7. 1 row in set (1.71 sec) 

执行了将近2秒.

  1. mysql> select count(*) from t_group_david; 
  2. +----------+ 
  3. | count(*) | 
  4. +----------+ 
  5. |  1298576 |  
  6. +----------+ 
  7. 1 row in set (0.00 sec) 

几乎是瞬间的.

  1. mysql> select count(*) from t_group where user_name <> 'david'; 
  2. +----------+ 
  3. | count(*) | 
  4. +----------+ 
  5. |  9090032 |  
  6. +----------+ 
  7. 1 row in set (9.26 sec) 

执行了将近10秒,可以想象,这个是实际的项目中是不能忍受的.

  1. mysql> select (select count(*) from t_group) - (select count(*) from t_group_david) as total; 
  2. +---------+ 
  3. | total   | 
  4. +---------+ 
  5. | 9090032 |  
  6. +---------+ 
  7. 1 row in set (0.00 sec) 

几乎是瞬间的.

我们来看看聚集函数,对于原表的操作,代码如下:

  1. mysql> select min(money),max(money) from t_group where user_name = 'david'; 
  2. +------------+------------+ 
  3. | min(money) | max(money) | 
  4. +------------+------------+ 
  5. |      -6.41 |     500.59 |  
  6. +------------+------------+ 
  7. 1 row in set (0.00 sec) 

最小,最大值都是FULL INDEX SCAN,所以是瞬间的.

  1. mysql> select sum(money),avg(money) from t_group where user_name = 'david'; 
  2. +--------------+------------+ 
  3. | sum(money)   | avg(money) | 
  4. +--------------+------------+ 
  5. | 319992383.84 | 246.417910 |  
  6. +--------------+------------+ 
  7. 1 row in set (2.15 sec) 

其他聚集函数的结果就不是FULL INDEX SCAN了,耗时2.15秒,对于小表的操作,代码如下:

  1. mysql> select min(money),max(money) from t_group_david; 
  2. +------------+------------+ 
  3. | min(money) | max(money) | 
  4. +------------+------------+ 
  5. |      -6.41 |     500.59 |  
  6. +------------+------------+ 
  7. 1 row in set (1.50 sec) 

最大最小值完全是FULL TABLE SCAN,耗时1.50秒,不划算,以此看来,代码如下:

  1. mysql> select sum(money),avg(money) from t_group_david; 
  2. +--------------+------------+ 
  3. | sum(money)   | avg(money) | 
  4. +--------------+------------+ 
  5. | 319992383.84 | 246.417910 |  
  6. +--------------+------------+ 
  7. 1 row in set (1.68 sec) 

取得这两个结果也是花了快2秒,快了一点,我们来看看这个小表的结构,代码如下:

  1. mysql> desc t_group_david; 
  2. +-------------+------------------+------+-----+-------------------+----------------+ 
  3. | Field       | Type             | Null | Key | Default           | Extra          | 
  4. +-------------+------------------+------+-----+-------------------+----------------+ 
  5. | id          | int(10) unsigned | NO   | PRI | NULL              | auto_increment |  
  6. | money       | decimal(10,2)    | NO   |     |                   |                |  
  7. | user_name   | varchar(20)      | NO   | MUL |                   |                |  
  8. | create_time | timestamp        | NO   |     | CURRENT_TIMESTAMP |                |  
  9. +-------------+------------------+------+-----+-------------------+----------------+ 
  10. 4 rows in set (0.00 sec) 

明显的user_name属性是多余的,那么就干掉它,代码如下:

  1. mysql> alter table t_group_david drop user_name; 
  2. Query OK, 1298576 rows affected (7.58 sec) 
  3. Records: 1298576  Duplicates: 0  Warnings: 0 

现在来重新对小表运行查询,代码如下:

  1. mysql> select min(money),max(money) from t_group_david; 
  2. +------------+------------+ 
  3. | min(money) | max(money) | 
  4. +------------+------------+ 
  5. |      -6.41 |     500.59 |  
  6. +------------+------------+ 
  7. 1 row in set (0.00 sec) 

此时是瞬间的.

  1. mysql> select sum(money),avg(money) from t_group_david; 
  2. +--------------+------------+ 
  3. | sum(money)   | avg(money) | 
  4. +--------------+------------+ 
  5. | 319992383.84 | 246.417910 |  
  6. +--------------+------------+ 
  7. 1 row in set (0.94 sec) 

这次算是控制在一秒以内了.

mysql> Aborted

小总结一下:分出的小表的属性尽量越少越好,大胆的去干吧.

Tags: mysql分表 mysql性能优化

分享到：

相关文章

推荐文章

热门文章

最新评论文章