场景

进行SQL优化或查问性能测试时,咱们须要大量数据测试来模仿,这个时候引出一个问题:数据的创立

如何疾速创立大量数据

创立数据无非几种操作上面一一列举;
~ 1 手动输出 (可疏忽)
~ 2 应用编写好的存储过程和函数执行 (上面会有介绍)
~ 3 编写代码,通过代码插入数据 (例:应用mybatis的foreach循环插入..步骤多,速度慢)
~ 4 长期数据表形式执行 (强烈推荐,速度快,简略)

筹备操作前提

首先 咱们不论选哪种操作 都要先筹备一张表,这个是毫无疑问的;
那么咱们就简略的创立一个表 如下;

CREATE TABLE `t_user` (  `id` int(11) NOT NULL AUTO_INCREMENT,  `c_user_id` varchar(36) NOT NULL DEFAULT '',  `c_name` varchar(22) NOT NULL DEFAULT '',  `c_province_id` int(11) NOT NULL,  `c_city_id` int(11) NOT NULL,  `create_time` datetime NOT NULL,  PRIMARY KEY (`id`),  KEY `idx_user_id` (`c_user_id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

应用存储过程和内存表

咱们先利用函数和存储过程在内存表中生成数据,再从内存表中插入一般表

1 创立一个内存表

CREATE TABLE `t_user_memory` (  `id` int(11) NOT NULL AUTO_INCREMENT,  `c_user_id` varchar(36) NOT NULL DEFAULT '',  `c_name` varchar(22) NOT NULL DEFAULT '',  `c_province_id` int(11) NOT NULL,  `c_city_id` int(11) NOT NULL,  `create_time` datetime NOT NULL,  PRIMARY KEY (`id`),  KEY `idx_user_id` (`c_user_id`)) ENGINE=MEMORY DEFAULT CHARSET=utf8mb4;

2 创立函数和存储过程

# 创立随机字符串和随机工夫的函数mysql> delimiter $$mysql> CREATE DEFINER=`root`@`%` FUNCTION `randStr`(n INT) RETURNS varchar(255) CHARSET utf8mb4    ->     DETERMINISTIC    -> BEGIN    ->     DECLARE chars_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';    ->     DECLARE return_str varchar(255) DEFAULT '' ;    ->     DECLARE i INT DEFAULT 0;    ->     WHILE i < n DO    ->         SET return_str = concat(return_str, substring(chars_str, FLOOR(1 + RAND() * 62), 1));    ->         SET i = i + 1;    ->     END WHILE;    ->     RETURN return_str;    -> END$$Query OK, 0 rows affected (0.00 sec)mysql> CREATE DEFINER=`root`@`%` FUNCTION `randDataTime`(sd DATETIME,ed DATETIME) RETURNS datetime    ->     DETERMINISTIC    -> BEGIN    ->     DECLARE sub INT DEFAULT 0;    ->     DECLARE ret DATETIME;    ->     SET sub = ABS(UNIX_TIMESTAMP(ed)-UNIX_TIMESTAMP(sd));    ->     SET ret = DATE_ADD(sd,INTERVAL FLOOR(1+RAND()*(sub-1)) SECOND);    ->     RETURN ret;    -> END $$mysql> delimiter ;# 创立插入数据存储过程mysql> CREATE DEFINER=`root`@`%` PROCEDURE `add_t_user_memory`(IN n int)    -> BEGIN    ->     DECLARE i INT DEFAULT 1;    ->     WHILE (i <= n) DO    ->         INSERT INTO t_user_memory (c_user_id, c_name, c_province_id,c_city_id, create_time) VALUES (uuid(), randStr(20), FLOOR(RAND() * 1000), FLOOR(RAND() * 100), NOW());    ->         SET i = i + 1;    ->     END WHILE;    -> END    -> $$Query OK, 0 rows affected (0.01 sec)

调用存储过程

mysql> CALL add_t_user_memory(1000000);   //增加的数据量ERROR 1114 (HY000): The table 't_user_memory' is full

PS:呈现ERROR 1114 (HY000): The table 't_user_memory' is full谬误,示意内存已满

解决形式:批改 max_heap_table_size 参数的大小 默认32M或者64M就好，生产环境不要乱尝试哦.

从内存表插入一般表

mysql> INSERT INTO t_user SELECT * FROM t_user_memory;Query OK, 218953 rows affected (1.70 sec)Records: 218953  Duplicates: 0  Warnings: 0

长期表形式

创立长期数据表tmp_table

CREATE TABLE tmp_table (    id INT,    PRIMARY KEY (id));

python:
python -c "for i in range(1, 1+1000000): print(i)" > base.txt

导入数据到长期表tmp_table中

load data infile '/Users/LJTjintao/temp/base.txt' replace into table tmp_table;
Query OK, 1000000 rows affected (2.55 sec)
Records: 1000000 Deleted: 0 Skipped: 0 Warnings: 0

关注公众号:java宝典