Mysql快速插入千萬條數據的實戰教程

Posted on by

一.創建數據庫

二.創建表

1.創建 dept表

CREATE TABLE `dept` (
 `id` int(11) NOT NULL,
 `deptno` mediumint(9) DEFAULT NULL,
 `dname` varchar(20) DEFAULT NULL,
 `loc` varchar(13) DEFAULT NULL,
 PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

2.創建emp表

CREATE TABLE `emp` (
 `id` int(11) NOT NULL,
 `empon` mediumint(9) DEFAULT NULL COMMENT '編號',
 `ename` varchar(20) DEFAULT NULL,
 `job` varchar(9) DEFAULT NULL,
 `mgr` mediumint(9) DEFAULT NULL COMMENT '上級編號',
 `hirdate` datetime DEFAULT NULL COMMENT '入職時間',
 `sal` decimal(7,2) DEFAULT NULL COMMENT '薪水',
 `comm` decimal(7,2) DEFAULT NULL COMMENT '紅利',
 `deptno` mediumint(9) DEFAULT NULL COMMENT '部門編號',
 PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

三.設置參數

SHOW VARIABLES LIKE ‘log_bin_trust_function_creators’;

默認關閉.  需要設置為1。因為表中設置 mediumint 字段 創建函數可能會報錯

SET GLOBAL log_bin_trust_function_creators=1;

四.創建函數

1.隨機產生字符串

DELIMITER $
CREATE FUNCTION RAND_STR(n INT) RETURNS VARCHAR(255)
BEGIN
 DECLARE chars_str VARCHAR(100) DEFAULT 'abcdefghijklmnopqrstuvwsyzABCDEFGHIJKLMNOPQRSTUVWXYZ'; 
	 DECLARE return_str VARCHAR(255) DEFAULT '';
 DECLARE i INT DEFAULT 0;
	 WHILE i< n DO 
	 SET return_str =COUCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1));
	 SET i= i+1;
 END WHILE;
	 RETURN return_str;
END $

2.隨機產生部門編號

DELIMITER $
CREATE FUNCTION RAND_num() RETURNS INT(5)
BEGIN
 DECLARE i INT DEFAULT 0; 
	 SET i= FLOOR(100+RAND()*10);
	 RETURN i;
END $

五.創建存儲過程

1. emp表存儲過程

DELIMITER $
CREATE PROCEDURE insert_emp(IN START INT(10),IN max_num INT(10))
BEGIN
  DECLARE i INT DEFAULT 0;
		SET autocommit = 0;
		REPEAT #重復
		SET i = i + 1;
		INSERT INTO emp(empon,ename,job,mgr,hiredate,sal,comm,depton) VALUES ((START+i),RAND_STR(6),'SALESMAN',0001,CURDATE(),2000,400,RAND_num());
	 UNTIL i = max_num
 END REPEAT;
	 COMMIT;
END $

2.dept表存儲過程

DELIMITER $
CREATE PROCEDURE insert_dept(IN START INT(10),IN max_num INT(10))
BEGIN
  DECLARE i INT DEFAULT 0;
		SET autocommit = 0;
		REPEAT #重復
		SET i = i + 1;
		INSERT INTO dept(deptno,dname,loc) VALUES ((START+i),RAND_STR(10),RAND_STR(8));
	 UNTIL i = max_num
 END REPEAT;
	 COMMIT;
END $

六.執行

1.先執行十條

這個錯誤是一個小坑 發現瞭嗎 我之前留下的  根據提示 去排查吧 

執行成功！

2.查看數據

重頭戲來嘍！  一次性幹他百萬條數據  賭一把 看看會不會玩崩瞭

3.執行百萬插入

CALL insert_dept(10001,1000000);

400s跑百萬數據  一秒2500條    我這配置太垃圾  以前測試的是一秒一萬 最好50W跑一次

歐克 睡覺 

總結

到此這篇關於Mysql快速插入千萬條數據的文章就介紹到這瞭,更多相關Mysql插入千萬條數據內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：