Mysql調優Explain工具詳解及實戰演練(推薦)
Mysql調優Explain工具詳解以及實戰演練 Explain工具介紹Explain分析示例explain 兩個變種explain中的列 索引最佳實戰索引使用總結:
Mysql安裝文檔參考
Explain工具介紹
使用EXPLAIN關鍵字可以模擬優化器執行SQL語句,分析你的查詢語句或是結構的性能瓶頸
在 select 語句之前增加 explain 關鍵字,MySQL 會在查詢上設置一個標記,執行查詢會返回執行計劃的信息,而不是 執行這條SQL
註意:如果 from 中包含子查詢,仍會執行該子查詢,將結果放入臨時表中
Explain分析示例
參考官方文檔
示例表: DROP TABLE IF EXISTS `actor`; CREATE TABLE `actor` ( `id` int(11) NOT NULL, `name` varchar(45) DEFAULT NULL, `update_time` datetime DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; INSERT INTO `actor` (`id`, `name`, `update_time`) VALUES (1,'a','2017‐12‐22 15:27:18'), (2,'b','2017‐12‐22 15:27:18'), (3,'c','2017‐12‐22 15:27:18'); DROP TABLE IF EXISTS `film`; CREATE TABLE `film` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(10) DEFAULT NULL, PRIMARY KEY (`id`), KEY `idx_name` (`name`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; INSERT INTO `film` (`id`, `name`) VALUES (3,'film0'),(1,'film1'),(2,'film2'); DROP TABLE IF EXISTS `film_actor`; CREATE TABLE `film_actor` ( `id` int(11) NOT NULL, `film_id` int(11) NOT NULL, `actor_id` int(11) NOT NULL, `remark` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`), KEY `idx_film_actor_id` (`film_id`,`actor_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; INSERT INTO `film_actor` (`id`, `film_id`, `actor_id`) VALUES (1,1,1),(2,1,2),(3,2,1);
mysql> explain select * from actor;
在查詢中的每個表會輸出一行,如果有兩個表通過 join 連接查詢,那麼會輸出兩行
explain 兩個變種
1)explain extended:會在 explain 的基礎上額外提供一些查詢優化的信息。緊隨其後通過 show warnings 命令可
以得到優化後的查詢語句,從而看出優化器優化瞭什麼。額外還有 filtered 列,是一個半分比的值,rows * filtered/100 可以估算出將要和 explain 中前一個表進行連接的行數(前一個表指 explain 中的id值比當前表id值小的 表)。
2)explain partitions:相比 explain 多瞭個 partitions 字段,如果查詢是基於分區表的話,會顯示查詢將訪問的分 區。
在新版版比如Mysql5.7以上的版本,並不需要攜帶extended就可以查詢出來額外的信息,在mysql8.0以上已經廢除瞭explain extended這條命令,我們隻需要使用explain就可以瞭。
explain中的列
接下來我們將展示 explain 中每個列的信息。
id列
id列的編號是 select 的序列號,有幾個 select 就有幾個id,並且id的順序是按 select 出現的順序增長的。 id列越大執行優先級越高,id相同則從上往下執行,id為NULL最後執行。
如果查詢有連接查詢,id出現瞭多個。比如說1,2,3,那麼id為3的這條sql最先執行,如果查詢出來的id為1,1,2,3,那麼兩個id都為1,則在上面的sql先執行。
select_type列
select_type 表示對應行是簡單還是復雜的查詢。
1).simple:簡單查詢。查詢不包含子查詢和union
mysql> explain select * from film where id = 2;
2).primary:復雜查詢中最外層的 select
3).subquery:包含在 select 中的子查詢(不在 from 子句中)
4).derived:包含在 from 子句中的子查詢。MySQL會將結果存放在一個臨時表中,也稱為派生表(derived的英文含 義)
用這個例子來瞭解 primary、subquery 和 derived 類型
mysql> set session optimizer_switch='derived_merge=off'; #關閉mysql5.7新特性對衍生表的合 並優化 2 explain select (select 1 from actor where id = 1) from (select * from film where id = 1) der;
解釋一下上面的select_type查詢到的圖,
首先說一下id為3的sql優先執行,因為它是在from後面的子查詢,所以對應的select_type為derived,id為2後sql後執行,因為它包含在 select 中的子查詢(不在 from 子句中),所以對應的select_type為subquery,
id為1 的sql最後執行,它是復雜查詢中最外層的 select,所以對應的select_type為primary。
最後別忘瞭把前面修改的配置還原:
mysql> set session optimizer_switch='derived_merge=on'; #還原默認配置
5).union:在 union 中的第二個和隨後的 select
mysql> explain select 1 union all select 1;
3.table列
這一列表示 explain 的一行正在訪問哪個表。
當 from 子句中有子查詢時,table列是 格式,表示當前查詢依賴 id=N 的查詢,於是先執行 id=N 的查 詢。
當有 union 時,UNION RESULT 的 table 列的值為<union1,2>,1和2表示參與 union 的 select 行id。
deriven3,就表示先查詢id為3的sql,表示當前查詢依賴 id=3 的查詢
4.type列(比較重要)
這一列表示關聯類型或訪問類型,即MySQL決定如何查找表中的行,查找數據行記錄的大概范圍。 依次從最優到最差分別為:system > const > eq_ref > ref > range > index > ALL
一般來說,得保證查詢達到range級別,最好達到ref
NULL: mysql能夠在優化階段分解查詢語句,在執行階段用不著再訪問表或索引。例如:在索引列中選取最小值,可 以單獨查找索引來完成,不需要在執行時訪問表。
mysql> explain select min(id) from film;
在這裡解釋一下,因為MySQL底層索引數據結構式B+樹,在上一篇文章中已經重要解釋過。在B+樹最下面的葉子節點所以是按照順序排列的,從左到右依次遞增,這個也就是最左前綴原則,那麼查詢最小的數值,直接可以到索引最左邊拿到就可以,不需要查詢,這樣的效率是非常高的。
const, system: mysql能對查詢的某部分進行優化並將其轉化成一個常量(可以看show warnings 的結果)。用於 primary key 或 unique key 的所有列與常數比較時,所以表最多有一個匹配行,讀取1次,速度比較快。system是 const的特例,表裡隻有一條元組匹配時為system。
mysql> explain extended select * from (select * from film where id = 1) tmp;
mysql> show warnings;
eq_ref:primary key 或 unique key 索引的所有部分被連接使用 ,最多隻會返回一條符合條件的記錄。這可能是在 const 之外最好的聯接類型瞭,簡單的 select 查詢不會出現這種 type。
explain select * from film_actor left join film on film_actor.film_id = film.id;
解釋一下,上面的film_actor字段film_id為聯合索引,所以根據二級索引對應另一張表的聚集索引查詢是非常快的
ref: 相比 eq_ref,不使用唯一索引,而是使用普通索引或者唯一性索引的部分前綴,索引要和某個值相比較,可能會 找到多個符合條件的行。
1.簡單 select 查詢,name是普通索引(非唯一索引)
mysql> explain select * from film where name = 'film1';
2. 關聯表查詢,idx_film_actor_id是film_id和actor_id的聯合索引,這裡使用到瞭film_actor的左邊前綴film_id部分。
mysql>explain select film_id from film left join film_actor on film.id = film_actor.film_id;
range:范圍掃描通常出現在 in(), between ,> ,<, >= 等操作中。使用一個索引來檢索給定范圍的行
mysql> explain select * from actor where id > 1;
index:掃描全索引就能拿到結果,一般是掃描某個二級索引,這種掃描不會從索引樹根節點開始快速查找,而是直接 對二級索引的葉子節點遍歷和掃描,速度還是比較慢的,這種查詢一般為使用覆蓋索引,二級索引一般比較小,所以這 種通常比ALL快一些。
mysql> explain select * from film;
解釋一下為什麼說二級索引比聚集索引要小,因為二級索引隻保存瞭當前索引的數據,而聚集索引保存的是全部表數據。
ALL:即全表掃描,掃描你的聚簇索引的所有葉子節點。通常情況下這需要增加索引來進行優化瞭
5.possible_keys列
這一列顯示查詢可能使用哪些索引來查找。
explain 時可能出現 possible_keys 有列,而 key 顯示 NULL 的情況,這種情況是因為表中數據不多,mysql認為索引 對此查詢幫助不大,選擇瞭全表查詢。
如果該列是NULL,則沒有相關的索引。在這種情況下,可以通過檢查 where 子句看是否可以創造一個適當的索引來提 高查詢性能,然後用 explain 查看效果。
6.key列
這一列顯示mysql實際采用哪個索引來優化對該表的訪問。
如果沒有使用索引,則該列是 NULL。如果想強制mysql使用或忽視possible_keys列中的索引,在查詢中使用 force index、ignore index。
7.key_len列
這一列顯示瞭mysql在索引裡使用的字節數,通過這個值可以算出具體使用瞭索引中的哪些列。 舉例來說,film_actor的聯合索引 idx_film_actor_id 由 film_id 和 actor_id 兩個int列組成,並且每個int是4字節。通 過結果中的key_len=4可推斷出查詢使用瞭第一個列:film_id列來執行索引查找。
mysql> explain select * from film_actor where film_id = 2;
key_len計算規則如下:
- 字符串,char(n)和varchar(n),5.0.3以後版本中,n均代表字符數,而不是字節數,如果是utf-8,一個數字
- 或字母占1個字節,一個漢字占3個字節 char(n):如果存漢字長度就是 3n 字節
- varchar(n):如果存漢字則長度是 3n + 2 字節,加的2字節用來存儲字符串長度,因為 varchar是變長字符串
- 數值類型 tinyint:1字節
- smallint:2字節
- int:4字節
- bigint:8字節
- 時間類型
- date:3字節
- timestamp:4字節
- datetime:8字節
- 如果字段允許為 NULL,需要1字節記錄是否為 NULL
- 索引最大長度是768字節,當字符串過長時,mysql會做一個類似左前綴索引的處理,將前半部分的字符提取出來做索 引。
8.ref列
這一列顯示瞭在key列記錄的索引中,表查找值所用到的列或常量,常見的有:const(常量),字段名(例:film.id)
9.rows列
這一列是mysql估計要讀取並檢測的行數,註意這個不是結果集裡的行數。
10Extra列
這一列展示的是額外信息。常見的重要值如下:
1)Using index:使用覆蓋索引
覆蓋索引定義:mysql執行計劃explain結果裡的key有使用索引,如果select後面查詢的字段都可以從這個索引的樹中 獲取,這種情況一般可以說是用到瞭覆蓋索引,extra裡一般都有using index;覆蓋索引一般針對的是輔助索引,整個 查詢結果隻通過輔助索引就能拿到結果,不需要通過輔助索引樹找到主鍵,再通過主鍵去主鍵索引樹裡獲取其它字段值。
簡單點說就是不用回表,通過二級索引也就是聯合索引就可以拿到想要的結果集,
mysql> explain select film_id from film_actor where film_id = 1;
2)Using where:使用 where 語句來處理結果,並且查詢的列未被索引覆蓋
mysql> explain select * from actor where name = 'a';
這裡的actor表的name是沒有添加索引的。
3)Using index condition:查詢的列不完全被索引覆蓋,where條件中是一個前導列的范圍;
4)Using temporary:mysql需要創建一張臨時表來處理查詢。出現這種情況一般是要進行優化的,首先是想到用索 引來優化。
其實還有很多,就不一一介紹瞭,有興趣的可以自己查看Mysql官方文檔。
索引最佳實戰
示例表: CREATE TABLE `employees` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(24) NOT NULL DEFAULT '' COMMENT '姓名', `age` int(11) NOT NULL DEFAULT '0' COMMENT '年齡', `position` varchar(20) NOT NULL DEFAULT '' COMMENT '職位', `hire_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '入職時間', PRIMARY KEY (`id`), KEY `idx_name_age_position` (`name`,`age`,`position`) USING BTREE ) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8 COMMENT='員工記錄表'; INSERT INTO employees(name,age,position,hire_time) VALUES('LiLei',22,'manager',NOW()); INSERT INTO employees(name,age,position,hire_time) VALUES('HanMeimei', 23,'dev',NOW()); INSERT INTO employees(name,age,position,hire_time) VALUES('Lucy',23,'dev',NOW());
全值匹配
EXPLAIN SELECT * FROM employees WHERE name= 'LiLei';
EXPLAIN SELECT * FROM employees WHERE name= 'LiLei' AND age = 22;
EXPLAIN SELECT * FROM employees WHERE name= 'LiLei' AND age = 22 AND position ='manage r';
2. 最左前綴法則
如果索引瞭多列,要遵守最左前綴法則。指的是查詢從索引的最左前列開始並且不跳過索引中的列。
EXPLAIN SELECT * FROM employees WHERE name = 'Bill' and age = 31; EXPLAIN SELECT * FROM employees WHERE age = 30 AND position = 'dev'; EXPLAIN SELECT * FROM employees WHERE position = 'manager';
上面會有三個結果集,隻有第一條sql遵循瞭最左前綴原則,使用瞭索引進行查詢,另外兩條sql都是違背瞭最左前綴原則,就是沒有從name字段開始查詢,所以沒有使用索引,導致索引失效。
3. 不在索引列上做任何操作(計算、函數、(自動or手動)類型轉換),會導致索引失效而轉向全表掃描
EXPLAIN SELECT * FROM employees WHERE name = 'LiLei'; EXPLAIN SELECT * FROM employees WHERE left(name,3) = 'LiLei';
第一條sql使用索引,第二條sql導致瞭索引失效。
4. 存儲引擎不能使用索引中范圍條件右邊的列
EXPLAIN SELECT * FROM employees WHERE name= 'LiLei' AND age = 22 AND position ='manage r'; 2 EXPLAIN SELECT * FROM employees WHERE name= 'LiLei' AND age > 22 AND position ='manage r';
varchar(n):如果存漢字則長度是 3n + 2 字節,加的2字節用來存儲字符串長度,因為 varchar是變長字符串
name字段所占字節:3*24+2=74
age字段為Int占4個字節
74+4=78
這樣就會導致後面的position索引失效
5. 盡量使用覆蓋索引(隻訪問索引的查詢(索引列包含查詢列)),減少 select * 語句
EXPLAIN SELECT name,age FROM employees WHERE name= 'LiLei' AND age = 23 AND position ='manager';
6. mysql在使用不等於(!=或者<>),not in ,not exists 的時候無法使用索引會導致全表掃描
< 小於、 > 大於、 <=、>= 這些,mysql內部優化器會根據檢索比例、表大小等多個因素整體評估是否使用索引
is null,is not null 一般情況下也無法使用索引
EXPLAIN SELECT * FROM employees WHERE name is null
like以通配符開頭(‘$abc…’)mysql索引失效會變成全表掃描操作
問題:解決like’%字符串%’索引不被使用的方法?
a)使用覆蓋索引,查詢字段必須是建立覆蓋索引字段
EXPLAIN SELECT name,age,position FROM employees WHERE name like '%Lei%';
b)如果不能使用覆蓋索引則可能需要借助搜索引擎
9. 字符串不加單引號索引失效
EXPLAIN SELECT * FROM employees WHERE name = '1000'; EXPLAIN SELECT * FROM employees WHERE name = 1000;
少用or或in,用它查詢時,mysql不一定使用索引,mysql內部優化器會根據檢索比例、表大小等多個因素整體評 估是否使用索引,詳見范圍查詢優化范圍查詢優化
給年齡添加單值索引
ALTER TABLE `employees` ADD INDEX `idx_age` (`age`) USING BTREE ; explain select * from employees where age >=1 and age <=2000;
沒走索引原因:mysql內部優化器會根據檢索比例、表大小等多個因素整體評估是否使用索引。比如這個例子,可能是 由於單次數據量查詢過大導致優化器最終選擇不走索引
優化方法:可以將大的范圍拆分成多個小范圍
explain select * from employees where age >=1 and age <=1000; explain select * from employees where age >=1001 and age <=2000;
還原最初索引狀態
ALTER TABLE `employees` DROP INDEX `idx_age`;
索引使用總結:
到此這篇關於Mysql調優Explain工具詳解及實戰演練的文章就介紹到這瞭,更多相關Mysql調優Explain工具內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!