MySQL 利用frm文件和ibd文件恢復表數據
frm文件和ibd文件簡介
在MySQL中,如果我們使用瞭默認的存儲引擎innodb創建一張表,那麼在文件夾下面就會出現表名.frm和表名.ibd兩個文件,如果我們使用的是Myisam存儲引擎,那麼就會出現三個文件,這裡我們給出例子:
[root@ /data/yeyz]#ll total 580 -rw-rw---- 1 mysql mysql 8586 Apr 3 17:44 a.frm -rw-rw---- 1 mysql mysql 0 Apr 3 17:44 a.MYD -rw-rw---- 1 mysql mysql 1024 Apr 3 17:44 a.MYI -rw-rw---- 1 mysql mysql 8586 Apr 3 17:44 b.frm -rw-rw---- 1 mysql mysql 98304 Apr 3 17:45 b.ibd -rw-rw---- 1 mysql mysql 61 Nov 23 09:54 db.opt -rw-rw---- 1 mysql mysql 8556 Apr 29 21:37 tbl_test_2.frm -rw-rw---- 1 mysql mysql 98304 Apr 29 21:37 tbl_test_2.ibd -rw-rw---- 1 mysql mysql 8556 Apr 29 21:33 tbl_test.frm -rw-rw---- 1 mysql mysql 98304 Apr 29 21:33 tbl_test.ibd -rw-rw---- 1 mysql mysql 8614 Apr 29 21:40 test.frm -rw-rw---- 1 mysql mysql 98304 Apr 29 21:43 test.ibd -rw-rw---- 1 mysql mysql 8666 Apr 2 15:13 unstandard_ins.frm -rw-rw---- 1 mysql mysql 98304 Apr 3 11:46 unstandard_ins.ibd -rw-rw---- 1 mysql mysql 8586 Apr 3 17:44 yeyz.frm -rw-rw---- 1 mysql mysql 28 Apr 3 17:44 yeyz.MYD -rw-rw---- 1 mysql mysql 2048 Apr 3 17:44 yeyz.MYI
其中ibd文件是innodb的表數據文件,而frm文件是innodb的表結構文件,mysiam存儲引擎的表中,frm是表結構,MYI文件是索引文件,而MYD文件是數據文件,從這裡也可以看出,innodb存儲引擎的索引和數據是在一起的,而Myisam存儲引擎索引和數據是分開的。
需要註意的是,這個frm文件和ibd文件都是不能直接打開的。
考慮這樣一種需求,數據庫需要快速恢復一個表中的數據,而這個表所在的庫的數據量非常大,恢復起來可能耗費的時間也比較長,那麼全庫恢復肯定不是最佳的選擇。那這種情況下怎麼辦呢?我們可以使用frm文件盒ibd文件來對數據進行恢復。下面我們分析分析這個過程。
frm文件恢復表結構
當然,表結構需要使用frm文件來恢復。我們第一反應想到的是,可以把這兩個文件直接拷貝到一個新的數據庫實例中,然後直接啟動實例,這樣可以麼?當然是不行的。侄兒要是能行,估計DBA都可以下崗瞭。哈哈,廢話不多說,來看操作過程。
首先,我們創建一個新的實例專門用來恢復數據,如果你使用線上的某一臺機器來執行恢復,那你必須承擔數據庫重啟的風險以及DML阻塞的風險,所以最好的方法還是使用一臺專門的實例來進行恢復。那麼我們如何從frm文件中拿到我們想要的表結構呢?
我拿線上的一個記錄慢日志的表舉個例子,為瞭寫著方便,表名稱我寫成瞭”aaa”,這個表的結構是這樣的:
mysql--root@localhost:test_recover 12:08:43>>show create table aaa\G *************************** 1. row *************************** Table: aaa Create Table: CREATE TABLE `aaa` ( `maintain_id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增列', `slowquery_filename` varchar(50) DEFAULT NULL COMMENT '慢日志文件名', `slowquery_path` varchar(150) DEFAULT NULL COMMENT '慢日志全路徑', `slowquery_process` tinyint(20) unsigned NOT NULL DEFAULT '0' COMMENT '慢日志是否被解析', `slowquery_uploadtime` datetime DEFAULT CURRENT_TIMESTAMP, `slowquery_analyzetime` date DEFAULT NULL COMMENT '慢日志解析時間', `slowquery_starttime` date DEFAULT NULL, `slowquery_endtime` date DEFAULT NULL, `instance_ip` varchar(15) DEFAULT NULL COMMENT '慢日志IP地址', `instance_port` int(11) DEFAULT NULL COMMENT '慢日志端口號地址', PRIMARY KEY (`maintain_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 1 row in set, 1 warning (0.01 sec)
要從frm文件中得到這樣的一個表,我們要做的步驟如下:
1、在實例上創建一個同名的表aaa,由於我們不知道這個表的結構,我們可以給它設定隻有一個字段id,也就是
create table aaa (id int);
我們知道,這個時候會在對應的data目錄下生成新的aaa.frm和aaa.ibd文件,然後我們使用我們備份的aaa.frm來替代之前的aaa.frm,然後重啟數據庫。
是的,你沒有看錯,我們使用備份的表結構文件來替代它生成的表結構文件。
2.看看重啟之後錯誤日志輸出的結果吧,如下:
2019-03-22T03:17:28.652390Z 16 [Warning] InnoDB: Table test_recover/store_goods_price contains 1 user defined columns in InnoDB, but 12 columns in MySQL. Please check INFORMATION_SCHEMA.INNODB_SYS_COLUMNS and http://dev.mysql.com/doc/refman/5.7/en/innodb-troubleshooting.html for how to resolve the issue. 2019-04-02T07:56:31.558461Z 41 [Warning] InnoDB: Table test_recover/dv_control contains 1 user defined columns in InnoDB, but 14 columns in MySQL. Please check INFORMATION_SCHEMA.INNODB_SYS_COLUMNS and http://dev.mysql.com/doc/refman/5.7/en/innodb-troubleshooting.html for how to resolve the issue. 2019-05-23T03:14:10.161122Z 92 [Warning] InnoDB: Table test_recover/aaa contains 1 user defined columns in InnoDB, but 10 columns in MySQL. Please check INFORMATION_SCHEMA.INNODB_SYS_COLUMNS and http://dev.mysql.com/doc/refman/5.7/en/innodb-troubleshooting.html for how to resolve the issue.
可以看到,10-12行的錯誤日志裡面提示我們這個表aaa隻包含1個字段,但是frm中包含10個字段,字段的數量不符。
這和我們預料的結果符合,因為我們在創建表aaa的時候,隻給瞭他1個字段id,而我們要恢復的aaa表有10個字段,肯定是無法從frm中讀取的。此時你可能很容易就能想到,如果我們把這個aaa表的字段調成10個,那麼最終的結果是什麼呢?
3.將aaa表的字段數量升級成10個,然後重新拷貝frm文件,修改配置文件中的參數innodb_force_recovery=6,我們看看最終的結果:
mysql--root:(none) 12:04:20>>use test_recover; Database changed mysql--root:test_recover 12:04:25>>create table aaa (id1 int,id2 int,id3 int,id4 int,id5 int,id6 int,id7 int,id8 int,id9 int,id10 int); Query OK, 0 rows affected (0.03 sec) mysql--root@localhost:test_recover 12:05:08>>show create table aaa\G *************************** 1. row *************************** Table: aaa Create Table: CREATE TABLE `aaa` ( `id1` int(11) DEFAULT NULL, `id2` int(11) DEFAULT NULL, `id3` int(11) DEFAULT NULL, `id4` int(11) DEFAULT NULL, `id5` int(11) DEFAULT NULL, `id6` int(11) DEFAULT NULL, `id7` int(11) DEFAULT NULL, `id8` int(11) DEFAULT NULL, `id9` int(11) DEFAULT NULL, `id10` int(11) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8 1 row in set (0.00 sec)
然後我們重啟實例,再次查看表aaa,可以看到結果如下:
mysql--root:test_recover 12:08:43>>show create table aaa\G *************************** 1. row *************************** Table: aaa Create Table: CREATE TABLE `aaa` ( `maintain_id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增列', `slowquery_filename` varchar(50) DEFAULT NULL COMMENT '慢日志文件名', `slowquery_path` varchar(150) DEFAULT NULL COMMENT '慢日志全路徑', `slowquery_process` tinyint(20) unsigned NOT NULL DEFAULT '0' COMMENT '慢日志是否被解析', `slowquery_uploadtime` datetime DEFAULT CURRENT_TIMESTAMP, `slowquery_analyzetime` date DEFAULT NULL COMMENT '慢日志解析時間', `slowquery_starttime` date DEFAULT NULL, `slowquery_endtime` date DEFAULT NULL, `instance_ip` varchar(15) DEFAULT NULL COMMENT '慢日志IP地址', `instance_port` int(11) DEFAULT NULL COMMENT '慢日志端口號地址', PRIMARY KEY (`maintain_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 1 row in set, 1 warning (0.01 sec)
可以看到,我們想要的表結構已經從frm文件中恢復出來瞭,需要註意的是,這個過程中我們並沒有使用ibd文件。
總結一下利用frm文件恢復表結構的步驟:
1、首先創建一個同名的表,然後啟動實例
2、使用備份的frm文件替代生成的frm文件,重啟實例
3、查看錯誤日志,從錯誤日志中獲取到備份的frm文件中的字段數量m
4、重新創建同名表,保證字段數量為m,與備份表保持一致,然後重新拷貝備份的frm文件到對應目錄
5、修改實例的配置文件中的參數innodb_force_recovery=6,然後重啟數據庫,就可以看到對應的表結構創建語句,我們把它保存下來,下一步恢復數據的時候要用。這一步相當重要
6、將參數innodb_force_recovery=6註釋掉,重新使用默認的值,然後重啟數據庫,準備恢復表數據。
至此,表結構恢復完畢。
解釋一下innodb_force_recovery參數,這個參數的最大值是6,在該等級下,僅支持一部分查詢功能,DML都不支持,從名稱就可以看出來,這是在一些強行恢復的場景下才會使用的參數,一般情況下這個參數可以不要,使用默認值就行。有興趣更深瞭解的同學可以參考官方文檔。
ibd文件恢復表數據
上一步執行完成之後,我們已經獲取瞭對應的表結構,現在我們看看如何恢復表數據。
恢復表數據的方法比較簡單,大體步驟如下:
1、利用我們上一步中獲取的建表語句,重新創建一張表,然後執行:
flush table aaa for export;
這個語法是將表裡面的數據落盤,並獲取該表的鎖,為後面恢復做好準備。
2、然後我們使用如下語句:
alter table aaa discard tablespace;
這個語句會刪除當前的ibd文件。
3、然後我們使用我們之前備份的ibd文件,將其拷貝到對應的實例目錄下面
4、最後在將ibd文件重新加載進來,使用如下語句:
alter table aaa import tablespace;
重啟數據庫,這樣,我們的數據就恢復成功瞭。
簡單總結一下
整個恢復的流程算是介紹完瞭,其中比較巧妙的地方就是從frm文件中獲取表結構信息,我們使用瞭兩次拼湊表創建語句的方法,最終得到瞭待恢復的表的表結構,然後使用alter table discard tablespace和alter table import tablespace的方法來恢復表中的數據。整個過程看著比較復雜,其實完全可以按照步驟抽象出來一個腳本,這樣在下次恢復的時候,隻需要輸入要恢復的表的名稱,就可以快速的恢復表結構和數據,不失為一種應急的數據恢復預案。
以上就是MySQL 利用frm文件和ibd文件恢復表數據的詳細內容,更多關於MySQL 恢復表數據的資料請關註WalkonNet其它相關文章!
推薦閱讀:
- MySQL 字段默認值該如何設置
- Mysql8斷電崩潰解決
- MySQL 8.0新特性之隱藏字段的深入講解
- mysql添加備註信息的實現
- 一文搞清楚MySQL count(*)、count(1)、count(col)區別