Docker容器實現MySQL多源復制場景分析

Posted on by

 

前言

在 MySQL 8.0 版本中，提供瞭多源復制，多源復制的出現對於分庫分表的業務提供瞭極大的便利,本文做瞭詳細的說明

⛳️ 1.多源復制簡介

在 MySQL 8.0 版本中，提供瞭多源復制，多源復制的出現對於分庫分表的業務提供瞭極大的便利，目前我們已經部署瞭多套多源復制供統計使用。MySQL 5.7 之前隻能實現一主一從、一主多從或者多主多從的復制。如果想實現多主一從的復制，隻能使用 MariaDB，但是 MariaDB 又與官方的MySQL 版本不兼容。
MySQL 5.7 開始支持瞭多主一從的復制方式，也就是多源復制。MySQL 8.0 版本相比之前的版本，無論在功能還是性能、安全等方面都已經有不少的提升。
拓展：MySQL之父Widenius先生離開瞭Sun之後，覺得依靠Sun/Oracle來發展MySQL，實在很不靠譜，於是決定另開分支，這個分支的名字叫做MariaDB。

📢📢📢 多源復制的好處：

可以集中備份，在從庫上備份，不會影響線上的數據正常運行
節約購買從庫服務器的成本，隻需要一個從庫服務器即可
數據匯總在一起，方便後期做數據統計
減輕DBA維護工作量。

⛳️ 2.多源復制使用場景

Backing up multiple servers to a single server.
Merging table shards.
Consolidating data from multiple servers to a single server.

如上圖，多源復制采用多通道的模式，和普通的復制相比，就是使用 FOR CHANNEL進行瞭分離。
CHANGE MASTERTO…FORCHANNEL’m1’;
CHANGE MASTERTO…FORCHANNEL’m2’;
要開啟多源復制功能必須需要在從庫上設置 master-info-repository 和 relay-log-info-repository 這兩個參數。
這兩個參數是用來存儲同步信息的，可以設置的值為 FILE 和 TABLE，5.7默認值是 FILE。
比如 master-info 就保存在 master.info 文件中,
relay-log-info 保存在 relay-log.info 文件中，
如果服務器意外關閉，正確的 relay-log-info 沒有來得及更新到 relay-log.info 文件，這樣會造成數據丟失。
為瞭數據更加安全，通常設為 TABLE。這些表都是 innodb 類型的，支持事務。
相對文件存儲安全得多。在 MySQL 庫下可以看見這兩個表信息，分別是 mysql.slave_master_info 和 mysql.slave_relay_log_info。
這兩個參數也是可以動態調整的。
SET GLOBAL master_info_repository=‘TABLE’;
SET GLOBAL relay_log_info_repository=‘TABLE’;

⛳️ 3.多源復制部署

📢📢📢 搭建過程支持GTID復制模式和binlog+position方式復制。

✨ 3.1 下載鏡像

docker pull mysql:8.0.27
–docker network create –subnet=172.72.0.0/24 mysql-network
docker rm -f mysql8027M33265 mysql8027M33266 mysql8027M33267 mysql8027M33268

✨ 3.2 創建映射目錄

mkdir -p /mysqlmultiple/master1/conf.d
mkdir -p /mysqlmultiple/master1/data
mkdir -p /mysqlmultiple/master2/conf.d
mkdir -p /mysqlmultiple/master2/data
mkdir -p /mysqlmultiple/master3/conf.d
mkdir -p /mysqlmultiple/master3/data
mkdir -p /mysqlmultiple/slave/conf.d
mkdir -p /mysqlmultiple/slave/data

✨ 3.3 創建容器，安裝MySQL

docker run -d --name mysql8027M33265 \
-h master1 -p 33265:3306 --net=mysql-network --ip 172.72.0.10 \
-v /mysqlmultiple/master1/conf.d:/etc/mysql/conf.d -v /mysqlmultiple/master1/data:/var/lib/mysql/ \
-e MYSQL_ROOT_PASSWORD=jem \
mysql:8.0.27

docker run -d --name mysql8027M33266 \
-h master2 -p 33266:3306 --net=mysql-network --ip 172.72.0.11 \
-v /mysqlmultiple/master2/conf.d:/etc/mysql/conf.d -v /mysqlmultiple/master2/data:/var/lib/mysql/ \
-e MYSQL_ROOT_PASSWORD=jem \
mysql:8.0.27

docker run -d --name mysql8027M33267 \
-h master3 -p 33267:3306 --net=mysql-network --ip 172.72.0.12 \
-v /mysqlmultiple/master3/conf.d:/etc/mysql/conf.d -v /mysqlmultiple/master3/data:/var/lib/mysql/ \
-e MYSQL_ROOT_PASSWORD=jem \
mysql:8.0.27

docker run -d --name mysql8027S33268 \
-h slave1 -p 33268:3306 --net=mysql-network --ip 172.72.0.13 \
-v /mysqlmultiple/slave/conf.d:/etc/mysql/conf.d -v /mysqlmultiple/slave/data:/var/lib/mysql/ \
-e MYSQL_ROOT_PASSWORD=jem \
mysql:8.0.27

✨ 3.4 參數文件配置

cat > /mysqlmultiple/master1/conf.d/my.cnf << "EOF"
[mysqld]
user=mysql
port=3306
character_set_server=utf8mb4
secure_file_priv=
server-id = 802733265
log-bin =
binlog_format=row
expire_logs_days = 30
max_binlog_size = 100M
binlog-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = performance_schema
binlog-ignore-db = sys
replicate_ignore_db=information_schema
replicate_ignore_db=performance_schema
replicate_ignore_db=mysql
replicate_ignore_db=sys
gtid-mode=ON
enforce-gtid-consistency=on
skip_name_resolve
report_host=172.72.0.10
EOF

cat > /mysqlmultiple/master2/conf.d/my.cnf << "EOF"
[mysqld]
user=mysql
port=3306
character_set_server=utf8mb4
secure_file_priv=
server-id = 802733266
log-bin =
binlog_format=row
expire_logs_days = 30
max_binlog_size = 100M
binlog-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = performance_schema
binlog-ignore-db = sys
replicate_ignore_db=information_schema
replicate_ignore_db=performance_schema
replicate_ignore_db=mysql
replicate_ignore_db=sys
gtid-mode=ON
enforce-gtid-consistency=ON
skip_name_resolve
report_host=172.72.0.11
EOF

cat > /mysqlmultiple/master3/conf.d/my.cnf << "EOF"
[mysqld]
user=mysql
port=3306
character_set_server=utf8mb4
secure_file_priv=
server-id = 802733267
log-bin =
binlog_format=row
expire_logs_days = 30
max_binlog_size = 100M
binlog-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = performance_schema
binlog-ignore-db = sys
replicate_ignore_db=information_schema
replicate_ignore_db=performance_schema
replicate_ignore_db=mysql
replicate_ignore_db=sys
gtid-mode=ON
enforce-gtid-consistency=ON
skip_name_resolve
report_host=172.72.0.12
EOF

cat > /mysqlmultiple/slave/conf.d/my.cnf << "EOF"
[mysqld]
user=mysql
port=3306
character_set_server=utf8mb4
secure_file_priv=''
server-id = 802733268
log-bin =
binlog_format=row
expire_logs_days = 30
max_binlog_size = 100M
binlog-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = performance_schema
binlog-ignore-db = sys
replicate_ignore_db=information_schema
replicate_ignore_db=performance_schema
replicate_ignore_db=mysql
replicate_ignore_db=sys
gtid-mode=ON
enforce-gtid-consistency=ON
skip_name_resolve
report_host=172.72.0.13
master-info-repository = table
relay-log-info-repository = table
EOF

docker restart mysql8027M33265
docker restart mysql8027M33266
docker restart mysql8027M33267
docker restart mysql8027S33268
docker ps

📢📢📢 登陸容器，確認數據
docker ps –format “table {{.ID}}\t{{.Names}}\t{{.Status}}\t{{.Ports}}”

✨ 3.5 登陸MySQL

docker exec -it mysql8027M33265 mysql -uroot -pjem
mysql -uroot -pjem -h192.168.1.54 -P33265 -e "select @@hostname,@@server_id,@@server_uuid"
mysql -uroot -pjem -h192.168.1.54 -P33266 -e "select @@hostname,@@server_id,@@server_uuid"
mysql -uroot -pjem -h192.168.1.54 -P33267 -e "select @@hostname,@@server_id,@@server_uuid"
mysql -uroot -pjem -h192.168.1.54 -P33268 -e "select @@hostname,@@server_id,@@server_uuid"

遠程登陸需要修改密碼
docker exec -it mysql8027M33266 mysql -uroot -pjem
mysql> alter user root@'%' identified with mysql_native_password by 'root';   --更改密碼
mysql>  flush privileges;
docker exec -it mysql8027S33268 mysql -uroot -pjem

⛳️ 4.主從配置

✨ 4.1 主庫配置

--在 3 臺主庫
mysql -uroot -proot -h192.168.1.54 -P33265
mysql -uroot -proot -h192.168.1.54 -P33266
mysql -uroot -proot -h192.168.1.54 -P33267
mysql> create user repl@'%' identified with mysql_native_password by 'root';
mysql> grant all on *.* to repl@'%' with grant option;
mysql> flush privileges;
select user,host,grant_priv,password_last_changed,authentication_string from mysql.user;
show master status \G;
show slave hosts;
select @@hostname,@@server_id,@@server_uuid;

✨ 4.2 從庫配置

mysql -uroot -proot -h192.168.1.54 -P33268
change master to
master_host='172.72.0.10',
master_port=3306,master_user='repl',
master_password='root',
master_auto_position=1 FOR CHANNEL 'Master1';
show slave status \G;
-- 啟動所有 SLAVE
mysql> START SLAVE;
--主庫創建數據測試
mysql -uroot -proot -h192.168.1.54 -P33265
mysql> create database test;
--主庫2和3
change master to
master_host='172.72.0.11',
master_port=3306,
master_user='repl',
master_password='root',
master_auto_position=1 FOR CHANNEL 'Master2';
change master to
master_host='172.72.0.12',
master_port=3306,
master_user='repl',
master_password='root',
master_auto_position=1 FOR CHANNEL 'Master3';
-- 也可以單獨啟動需要同步的通道
START SLAVE FOR CHANNEL 'master2';
START SLAVE FOR CHANNEL 'master3';
select a.master_log_pos,a.host,a.user_name,a.user_password,a.port,a.uuid,a.channel_name 
from mysql.slave_master_info a;

⛳️ 5.測試多源復制

-- mysql -uroot -proot -h192.168.1.54 -P33265
create database master1;
use master1;
CREATE TABLE `test1` (`id` int(11) DEFAULT NULL,`count` int(11) DEFAULT NULL);
insert into test1 values(1,1);
-- mysql -uroot -proot -h192.168.1.54 -P33266
create database master2;
use master2;
CREATE TABLE `test2` (`id` int(11) DEFAULT NULL,`count` int(11) DEFAULT NULL);
insert into test2 values(2,2);
-- mysql -uroot -proot -h192.168.1.54 -P33267
create database master3;
use master3;
CREATE TABLE `test3` (`id` int(11) DEFAULT NULL,`count` int(11) DEFAULT NULL);
insert into test3 values(3,3);
--從庫查詢
-- mysql -uroot -proot -h192.168.1.54 -P33268
show databases;
SELECT * FROM master1.test1;
SELECT * FROM master2.test2;
SELECT * FROM master3.test3;

⛳️ 6. 註意的點

1、初次配置耗時較長，需要將各個 master 的數據 dump 下來，再 source 到 slave 上。
2、需要考慮各 master 數據增長頻率，slave 的數據增長頻率是這些數據的總和。如果太高，會導致大量的磁盤 IO，造成數據更新延遲，最嚴重的是會影響正常的查詢。
3、如果多個主數據庫實例中存在同名的庫，則同名庫的表都會放到一個庫中；
4、如果同名庫中的表名相同且結構相同，則數據會合並到一起；如果結構不同，則先建的有效。

到此這篇關於Docker容器實現MySQL多源復制的文章就介紹到這瞭,更多相關Docker MySQL多源復制內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：