MySQL 利用frm文件和ibd文件恢復表數據

frm文件和ibd文件簡介

   在MySQL中,如果我們使用瞭默認的存儲引擎innodb創建一張表,那麼在文件夾下面就會出現表名.frm和表名.ibd兩個文件,如果我們使用的是Myisam存儲引擎,那麼就會出現三個文件,這裡我們給出例子:

[[email protected] /data/yeyz]#ll
total 580
-rw-rw---- 1 mysql mysql 8586 Apr 3 17:44 a.frm
-rw-rw---- 1 mysql mysql  0 Apr 3 17:44 a.MYD
-rw-rw---- 1 mysql mysql 1024 Apr 3 17:44 a.MYI
-rw-rw---- 1 mysql mysql 8586 Apr 3 17:44 b.frm
-rw-rw---- 1 mysql mysql 98304 Apr 3 17:45 b.ibd
-rw-rw---- 1 mysql mysql 61 Nov 23 09:54 db.opt
-rw-rw---- 1 mysql mysql 8556 Apr 29 21:37 tbl_test_2.frm
-rw-rw---- 1 mysql mysql 98304 Apr 29 21:37 tbl_test_2.ibd
-rw-rw---- 1 mysql mysql 8556 Apr 29 21:33 tbl_test.frm
-rw-rw---- 1 mysql mysql 98304 Apr 29 21:33 tbl_test.ibd
-rw-rw---- 1 mysql mysql 8614 Apr 29 21:40 test.frm
-rw-rw---- 1 mysql mysql 98304 Apr 29 21:43 test.ibd
-rw-rw---- 1 mysql mysql 8666 Apr 2 15:13 unstandard_ins.frm
-rw-rw---- 1 mysql mysql 98304 Apr 3 11:46 unstandard_ins.ibd
-rw-rw---- 1 mysql mysql 8586 Apr 3 17:44 yeyz.frm
-rw-rw---- 1 mysql mysql 28 Apr 3 17:44 yeyz.MYD
-rw-rw---- 1 mysql mysql 2048 Apr 3 17:44 yeyz.MYI

其中ibd文件是innodb的表數據文件,而frm文件是innodb的表結構文件,mysiam存儲引擎的表中,frm是表結構,MYI文件是索引文件,而MYD文件是數據文件,從這裡也可以看出,innodb存儲引擎的索引和數據是在一起的,而Myisam存儲引擎索引和數據是分開的。

 需要註意的是,這個frm文件和ibd文件都是不能直接打開的。

 考慮這樣一種需求,數據庫需要快速恢復一個表中的數據,而這個表所在的庫的數據量非常大,恢復起來可能耗費的時間也比較長,那麼全庫恢復肯定不是最佳的選擇。那這種情況下怎麼辦呢?我們可以使用frm文件盒ibd文件來對數據進行恢復。下面我們分析分析這個過程。

frm文件恢復表結構

    當然,表結構需要使用frm文件來恢復。我們第一反應想到的是,可以把這兩個文件直接拷貝到一個新的數據庫實例中,然後直接啟動實例,這樣可以麼?當然是不行的。侄兒要是能行,估計DBA都可以下崗瞭。哈哈,廢話不多說,來看操作過程。

    首先,我們創建一個新的實例專門用來恢復數據,如果你使用線上的某一臺機器來執行恢復,那你必須承擔數據庫重啟的風險以及DML阻塞的風險,所以最好的方法還是使用一臺專門的實例來進行恢復。那麼我們如何從frm文件中拿到我們想要的表結構呢?

   我拿線上的一個記錄慢日志的表舉個例子,為瞭寫著方便,表名稱我寫成瞭”aaa”,這個表的結構是這樣的:

[email protected]:test_recover 12:08:43>>show create table aaa\G
*************************** 1. row ***************************
  Table: aaa
Create Table: CREATE TABLE `aaa` (
 `maintain_id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增列',
 `slowquery_filename` varchar(50) DEFAULT NULL COMMENT '慢日志文件名',
 `slowquery_path` varchar(150) DEFAULT NULL COMMENT '慢日志全路徑',
 `slowquery_process` tinyint(20) unsigned NOT NULL DEFAULT '0' COMMENT '慢日志是否被解析',
 `slowquery_uploadtime` datetime DEFAULT CURRENT_TIMESTAMP,
 `slowquery_analyzetime` date DEFAULT NULL COMMENT '慢日志解析時間',
 `slowquery_starttime` date DEFAULT NULL,
 `slowquery_endtime` date DEFAULT NULL,
 `instance_ip` varchar(15) DEFAULT NULL COMMENT '慢日志IP地址',
 `instance_port` int(11) DEFAULT NULL COMMENT '慢日志端口號地址',
 PRIMARY KEY (`maintain_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
1 row in set, 1 warning (0.01 sec)

   要從frm文件中得到這樣的一個表,我們要做的步驟如下:

1、在實例上創建一個同名的表aaa,由於我們不知道這個表的結構,我們可以給它設定隻有一個字段id,也就是

create table aaa (id int);

我們知道,這個時候會在對應的data目錄下生成新的aaa.frm和aaa.ibd文件,然後我們使用我們備份的aaa.frm來替代之前的aaa.frm,然後重啟數據庫。

是的,你沒有看錯,我們使用備份的表結構文件來替代它生成的表結構文件。

2.看看重啟之後錯誤日志輸出的結果吧,如下:

2019-03-22T03:17:28.652390Z 16 
[Warning] InnoDB: Table test_recover/store_goods_price contains 1 user 
defined columns in InnoDB, but 12 columns in MySQL. Please check 
INFORMATION_SCHEMA.INNODB_SYS_COLUMNS and http://dev.mysql.com/doc/refman/5.7/en/innodb-troubleshooting.html for how to resolve the issue.
2019-04-02T07:56:31.558461Z 41 
[Warning] InnoDB: Table test_recover/dv_control contains 1 user defined 
columns in InnoDB, but 14 columns in MySQL. Please check
 INFORMATION_SCHEMA.INNODB_SYS_COLUMNS and http://dev.mysql.com/doc/refman/5.7/en/innodb-troubleshooting.html for how to resolve the issue.
2019-05-23T03:14:10.161122Z 92 
[Warning] InnoDB: Table test_recover/aaa contains 1 
user defined columns in InnoDB, but 10 columns in MySQL. Please check 
INFORMATION_SCHEMA.INNODB_SYS_COLUMNS and http://dev.mysql.com/doc/refman/5.7/en/innodb-troubleshooting.html for how to resolve the issue.

    可以看到,10-12行的錯誤日志裡面提示我們這個表aaa隻包含1個字段,但是frm中包含10個字段,字段的數量不符。

    這和我們預料的結果符合,因為我們在創建表aaa的時候,隻給瞭他1個字段id,而我們要恢復的aaa表有10個字段,肯定是無法從frm中讀取的。此時你可能很容易就能想到,如果我們把這個aaa表的字段調成10個,那麼最終的結果是什麼呢?

3.將aaa表的字段數量升級成10個,然後重新拷貝frm文件,修改配置文件中的參數innodb_force_recovery=6,我們看看最終的結果:

mysql--root:(none) 12:04:20>>use test_recover;
Database changed
mysql--root:test_recover 12:04:25>>create table aaa (id1 int,id2 int,id3 int,id4 int,id5 int,id6 int,id7 int,id8 int,id9 int,id10 int);
Query OK, 0 rows affected (0.03 sec)

[email protected]:test_recover 12:05:08>>show create table aaa\G
*************************** 1. row ***************************
  Table: aaa
Create Table: CREATE TABLE `aaa` (
 `id1` int(11) DEFAULT NULL,
 `id2` int(11) DEFAULT NULL,
 `id3` int(11) DEFAULT NULL,
 `id4` int(11) DEFAULT NULL,
 `id5` int(11) DEFAULT NULL,
 `id6` int(11) DEFAULT NULL,
 `id7` int(11) DEFAULT NULL,
 `id8` int(11) DEFAULT NULL,
 `id9` int(11) DEFAULT NULL,
 `id10` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8
1 row in set (0.00 sec)

   然後我們重啟實例,再次查看表aaa,可以看到結果如下:

mysql--root:test_recover 12:08:43>>show create table aaa\G
*************************** 1. row ***************************
  Table: aaa
Create Table: CREATE TABLE `aaa` (
 `maintain_id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增列',
 `slowquery_filename` varchar(50) DEFAULT NULL COMMENT '慢日志文件名',
 `slowquery_path` varchar(150) DEFAULT NULL COMMENT '慢日志全路徑',
 `slowquery_process` tinyint(20) unsigned NOT NULL DEFAULT '0' COMMENT '慢日志是否被解析',
 `slowquery_uploadtime` datetime DEFAULT CURRENT_TIMESTAMP,
 `slowquery_analyzetime` date DEFAULT NULL COMMENT '慢日志解析時間',
 `slowquery_starttime` date DEFAULT NULL,
 `slowquery_endtime` date DEFAULT NULL,
 `instance_ip` varchar(15) DEFAULT NULL COMMENT '慢日志IP地址',
 `instance_port` int(11) DEFAULT NULL COMMENT '慢日志端口號地址',
 PRIMARY KEY (`maintain_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
1 row in set, 1 warning (0.01 sec)

    可以看到,我們想要的表結構已經從frm文件中恢復出來瞭,需要註意的是,這個過程中我們並沒有使用ibd文件。

總結一下利用frm文件恢復表結構的步驟:

1、首先創建一個同名的表,然後啟動實例

2、使用備份的frm文件替代生成的frm文件,重啟實例

3、查看錯誤日志,從錯誤日志中獲取到備份的frm文件中的字段數量m

4、重新創建同名表,保證字段數量為m,與備份表保持一致,然後重新拷貝備份的frm文件到對應目錄

5、修改實例的配置文件中的參數innodb_force_recovery=6,然後重啟數據庫,就可以看到對應的表結構創建語句,我們把它保存下來,下一步恢復數據的時候要用。這一步相當重要

6、將參數innodb_force_recovery=6註釋掉,重新使用默認的值,然後重啟數據庫,準備恢復表數據。

    至此,表結構恢復完畢。

    解釋一下innodb_force_recovery參數,這個參數的最大值是6,在該等級下,僅支持一部分查詢功能,DML都不支持,從名稱就可以看出來,這是在一些強行恢復的場景下才會使用的參數,一般情況下這個參數可以不要,使用默認值就行。有興趣更深瞭解的同學可以參考官方文檔。

ibd文件恢復表數據

   上一步執行完成之後,我們已經獲取瞭對應的表結構,現在我們看看如何恢復表數據。

   恢復表數據的方法比較簡單,大體步驟如下:

1、利用我們上一步中獲取的建表語句,重新創建一張表,然後執行:

flush  table aaa for export;

這個語法是將表裡面的數據落盤,並獲取該表的鎖,為後面恢復做好準備。

2、然後我們使用如下語句:

alter table aaa discard tablespace;

這個語句會刪除當前的ibd文件。

3、然後我們使用我們之前備份的ibd文件,將其拷貝到對應的實例目錄下面

4、最後在將ibd文件重新加載進來,使用如下語句:

alter table aaa import tablespace;

重啟數據庫,這樣,我們的數據就恢復成功瞭。

簡單總結一下

   整個恢復的流程算是介紹完瞭,其中比較巧妙的地方就是從frm文件中獲取表結構信息,我們使用瞭兩次拼湊表創建語句的方法,最終得到瞭待恢復的表的表結構,然後使用alter table discard tablespace和alter table import tablespace的方法來恢復表中的數據。整個過程看著比較復雜,其實完全可以按照步驟抽象出來一個腳本,這樣在下次恢復的時候,隻需要輸入要恢復的表的名稱,就可以快速的恢復表結構和數據,不失為一種應急的數據恢復預案。

以上就是MySQL 利用frm文件和ibd文件恢復表數據的詳細內容,更多關於MySQL 恢復表數據的資料請關註WalkonNet其它相關文章!