postgresql 利用xlog進行熱備操作

Posted on by

一、驗證postgresql增量合並的方案

結果：沒有有效可行的增量合並方案，暫時放棄

二、梳理postgresql基於wal的增量備份

物理備份與還原適用於跨小版本的恢復但是不能跨平臺

邏輯備份與還原備份數據適用於跨版本和跨平臺的恢復

postgersql增量備份步驟

1.首先創建歸檔目錄

例如:歸檔目錄為/archive_pg_xlog/xlog

1>mkdir -p /archive_pg_xlog/xlog
2>chown -R postgres:postgres /archive_pg_xlog/xlog
3>chmod 700 /archive_pg_xlog/xlog

2.修改postgresql.conf配置文件

1>wal_level=archive(配置wal的級別)
2>archive_mode=on(開啟歸檔)
3>archive_command='DATE=`date +%Y%m%d`;DIR="/archive_pg_xlog/xlog/$DATE";(test -d $DIR || mkdir -p $DIR) && cp %p $DIR/%f'(配置歸檔路徑)

3.重新啟動數據庫服務

systemctl restart postgresql（使配置生效）

4.做全量備份

 1>psql -c 'select pg_start_backup(now()::text);'，#執行該命令表示開始備份
 2>tar -cf base.tar /var/lib/pgsql/data/*
 3>psql -c 'select pg_stop_backup();'#tar結束後要關閉備份

5.如果表空間存在，還需要備份表空間，沒有則不需要

6.以上操作完成後，增量備份就自動開始瞭

當xlog寫滿後，就自動歸檔到我們指定的目錄瞭

postgresql利用xlog進行還原

模擬災難，直接刪除data目錄（或者是data目錄下的所有文件丟失）

先檢查數據庫是否已經停止，如果還未停止需要停止

mkdir data;chown postgres:postgres data;chmod 700 data

將備份的base.tar全量包拷貝到data目錄，解壓

cp /usr/share/psql/recovery.conf.sample ./data
vim recovery.conf.sample配置restore_command=''
chown postgres:postgres recovery.conf.sample;chmod 700 recovery.conf.sample;mv recovery.conf.sample recovery.conf

啟動數據庫，當recovery.conf變成瞭recovery.done時即表示恢復完成

註:xlog文件名由時間線TimeLineID（8位16進制）、邏輯日志文件號（8位16進制）和段文件ID（8位16進制）組成

測試1.

第一次全量時，db有一百萬條數據，然後再次插入一百萬條數據，模擬災難，正常恢復

第二次全量時，是在第一次模擬災難後的場景，即第二次全量備份時有兩百萬條數據，再次插入十萬條數據，模擬災難，正常恢復

測試2.

再次模擬災難，在第二次全備份新增十萬條數據後，直接刪掉data目錄

用第一次的全備份數據結合產生的增量來進行恢復，結果，隻有兩百萬條數據，說明該增量不可合並

測試3.

模擬某個xlog文件丟失時

結果：丟失的xlog文件隻影響該丟失的xlog文件依賴的全量備份（會導致數據丟失），但是不會影響xlog文件丟失後面的全量備份

對於丟失這種情況暫時還沒有找到恢復的辦法

如果要還原到最近的那一次,也就是不是因為誤操作的等原因的恢復，則不需要配置還原點

recovery_target_name=''(這個是還原點的名字)
recovery_target_time=''(這個是要還原到的具體時間點)
recovery_target_xid='' (以最後結束時的id為準)

創建還原點,也就是還原點的名字select pg_create_restore_point(‘pitr_test’);

創建基於時間的還原點,select now();

創建基於xid的還原點,select txid_current();

補充：PostgreSQL中的log, xlog和clog

pg_log

$PGDATA/pg_log是數據庫運行活動日志的默認保存目錄，它包括錯誤信息，查詢日志以及啟動/關閉數據庫的信息。當PostgreSQL啟動失敗時，這裡應該是你第一個應該查看的信息。一些Linux發行版以及其他的軟件包管理系統會將這個日志目錄移到某些地方，比如：/var/log/postgresql

你可以在pg_log目錄裡自由地刪除、重命名、壓縮或者移動文件而不會有什麼不好的結果，隻要Postgres用戶仍然有權限寫該目錄。如果pg_log隨著許多大文件而膨脹，你可能需要在postgresql.conf裡減小你想記錄日志的事件。

pg_xlog

$PGDATA/pg_xlog是PostgreSQL的事務日志。 這是一些二進制日志文件的集合，文件名類似00000001000000000000008E，它包含最近事務的一些描述數據。這些日志也被用於二進制復制。如果復制、歸檔或者PITR失敗瞭，當歸檔正在恢復時，這個目錄保存的數據庫日志可能會膨脹數GB。這可能會導致你用完你的磁盤空間。不像pg_log，你不能自由地刪除、移動或者壓縮這個目錄的文件。你甚至不能在沒有符號鏈接到該目錄的情況下移動這個目錄。刪除pg_xlog的文件可能會導致不可恢復的數據庫損壞。

如果你發現自己處在這樣的情況：你發現有100G大小的文件在pg_xlog目錄並且數據也啟動不瞭，並且你已經禁止歸檔/復制並且嘗試清理磁盤空間等任何其他的方式，請做以下兩個步驟：

1、從pg_xlog目錄裡移動文件到一個備份磁盤或者共享網絡驅動器中，也不要刪除它們。

2、移動一些最老的文件，直到足夠允許PostgreSQL啟動起來。

pg_clog

$PGDATA/pg_clog包含瞭事務的元數據。這種日志用於告訴PostgreSQL哪個事務已經完成、哪個還沒有完成。clog是比較小的並且沒有任何理由會膨脹，所以，你應該沒有任何理由去碰觸它。在任何時候你都不應該從pg_clog裡刪除文件，如果你這樣子做，還不如完全地刪除整個數據庫目錄。缺少clog是不可恢復的。請註意，這意味著，如果你在$PGDATA目錄裡備份文件，你應該確定同時包含pg_clog和pg_xlog，否則你可能會發現你的備份是不可用的。

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。如有錯誤或未考慮完全的地方，望不吝賜教。

推薦閱讀：