《MySQL 5.7多源復(fù)制實(shí)踐》要點(diǎn)：
本文介紹了MySQL 5.7多源復(fù)制實(shí)踐，希望對(duì)您有用。如果有疑問，可以聯(lián)系我們。

MySQL 5.7發(fā)布后,在復(fù)制方面有了很大的改進(jìn)和提升.比如開始支持多源復(fù)制 (multi-source) 以及真正的支持多線程復(fù)制了.多源復(fù)制可以使用基于二進(jìn)制日志的復(fù)制或者基于事務(wù)的復(fù)制.下面我們講講如何配置基于二進(jìn)制日志的多源復(fù)制.

什么是多源復(fù)制

首先,我們需要清楚幾種常見的復(fù)制模式：

1)一主一從
2)一主多從
3)級(jí)聯(lián)復(fù)制
4)multi-master

MySQL 5.7 之前只能實(shí)現(xiàn)一主一從、一主多從或者多主多從的復(fù)制.如果想實(shí)現(xiàn)多主一從的復(fù)制,只能使用 MariaDB,但是 MariaDB 又與官方的 MySQL 版本不兼容.

MySQL 5.7 開始支持了多主一從的復(fù)制方式,也就是多源復(fù)制.MySQL 5.7 版本相比之前的版本,無論在功能還是性能、安全等方面都已經(jīng)有不少的提升.

首先,我們需要清楚 multi-master 與 multi-source 復(fù)制不是一樣的.multi-master 復(fù)制通常是環(huán)形復(fù)制,你可以在任意主機(jī)上將數(shù)據(jù)復(fù)制給其他主機(jī).

multi-source 是不同的.簡(jiǎn)單的說,多源復(fù)制就是將多個(gè)主庫同步到一個(gè)從庫上面,從而增加從的利用率,節(jié)省了機(jī)器.如下圖：

多源復(fù)制使用場(chǎng)景

• 數(shù)據(jù)分析部門會(huì)需要各個(gè)業(yè)務(wù)部門的部分?jǐn)?shù)據(jù)做數(shù)據(jù)分析,這個(gè)時(shí)候就可以用到多源復(fù)制把各個(gè)主數(shù)據(jù)庫的數(shù)據(jù)復(fù)制到統(tǒng)一的數(shù)據(jù)庫中.
• 在從服務(wù)器進(jìn)行數(shù)據(jù)匯總,如果我們的主服務(wù)器進(jìn)行了分庫分表的操作,為了實(shí)現(xiàn)后期的一些數(shù)據(jù)統(tǒng)計(jì)功能,往往需要把數(shù)據(jù)匯總在一起再統(tǒng)計(jì).
• 在從服務(wù)器對(duì)所有主服務(wù)器的數(shù)據(jù)進(jìn)行備份,在MySQL 5.7之前每一個(gè)主服務(wù)器都需要一個(gè)從服務(wù)器,這樣很容易造成資源浪費(fèi),同時(shí)也加大了DBA的維護(hù)成本,但MySQL 5.7引入多源復(fù)制,可以把多個(gè)主服務(wù)器的數(shù)據(jù)同步到一個(gè)從服務(wù)器進(jìn)行備份.

使用多源復(fù)制的必要條件

不管是使用基于二進(jìn)制日志的復(fù)制或者基于事務(wù)的復(fù)制,要開啟多源復(fù)制功能必須需要在從庫上設(shè)置 master-info-repository 和 relay-log-info-repository 這兩個(gè)參數(shù).

這兩個(gè)參數(shù)是用來存儲(chǔ)同步信息的,可以設(shè)置的值為 FILE 和 TABLE ,默認(rèn)值是 FILE.比如 master-info 就保存在 master.info 文件中, relay-log-info 保存在 relay-log.info文件中,如果服務(wù)器意外關(guān)閉,正確的 relay-log-info 沒有來得及更新到 relay-log.info文件,這樣會(huì)造成數(shù)據(jù)丟失.

為了數(shù)據(jù)更加安全,通常設(shè)為 TABLE.這些表都是 innodb 類型的,支持事務(wù).相對(duì)文件存儲(chǔ)安全得多.在 MySQL 庫下可以看見這兩個(gè)表信息,分別是 mysql.slave_master_info 和 mysql.slave_relay_log_info.

這兩個(gè)參數(shù)也是可以動(dòng)態(tài)調(diào)整的.

SET GLOBAL master_info_repository = 'TABLE';
SET GLOBAL relay_log_info_repository = 'TABLE';

如果要啟用 enhanced multi-threaded slave(多線程復(fù)制),可以設(shè)置以下參數(shù)

slave-parallel-type=LOGICAL_CLOCK
slave-parallel-workers=8
relay_log_recovery=ON

如果SLAVE已經(jīng)為開啟狀態(tài),那么需要首先關(guān)閉SLAVE(STOP SLAVE;).

配置多源復(fù)制

環(huán)境準(zhǔn)備

這里一共使用了三臺(tái)機(jī)器,MySQL版本都為5.7.18.

安裝MySQL

MySQL安裝比較簡(jiǎn)單,官方都有提供不同系統(tǒng)的相應(yīng)軟件源.這里以 Ubuntu 16.04 系統(tǒng)為例：

• 從MySQL官方網(wǎng)站下載APT源

$ wget https://dev.mysql.com/get/mysql-apt-config_0.8.6-1_all.deb

更多軟件源可參考：http://dev.mysql.com/downloads/repo/apt/,如果是 CentOS/RHEL 系統(tǒng)可參考官方文檔：https://dev.mysql.com/doc/refman/5.7/en/linux-installation-yum-repo.html

• 安裝MySQL軟件源并更新

$ dpkg -i mysql-apt-config_0.8.6-1_all.deb
$ apt-get update

• 安裝MySQL Server和MySQL Client

$ apt-get install mysql-server mysql-client

• 啟動(dòng)MySQL Server

$ service mysql start

• 檢查MySQL Server是否成功啟動(dòng)

$ service mysql status
● mysql.service - MySQL Community Server
 ? Loaded: loaded (/lib/systemd/system/mysql.service; enabled; vendor preset: enabled)
 ? Active: active (running) since Mon 2017-06-12 17:16:09 CST; 32s ago
 ?Process: 10442 ExecStart=/usr/sbin/mysqld --daemonize --pid-file=/var/run/mysqld/mysqld.pid (code=exited, status=0/SUCCESS)
 ?Process: 10399 ExecStartPre=/usr/share/mysql/mysql-systemd-start pre (code=exited, status=0/SUCCESS)
 Main PID: 10446 (mysqld)
 ? ?Tasks: 27
 ? Memory: 190.8M
 ? ? ?CPU: 362ms
 ? CGroup: /system.slice/mysql.service
 ? ? ? ? ? └─10446 /usr/sbin/mysqld --daemonize --pid-file=/var/run/mysqld/mysqld.pid

配置MySQL多源復(fù)制

• 修改MySQL主配置文件

配置 MySQL 多源復(fù)制,主要是需要在 MySQL 從服務(wù)器的主配置文件 [mysqld] 段中添加以下兩行：

$ vim /etc/mysql/mysql.conf.d/mysqld.cnf

master-info-repository = table
relay-log-info-repository = table

MySQL主服務(wù)器配置片斷

以 dev-master-01 為例,另一臺(tái) Master 也是類似的配置方法.

$ vim /etc/mysql/mysql.conf.d/mysqld.cnf

server-id = 1
log-bin = /var/log/mysql/mysql-bin
log_bin_index = /var/log/mysql/mysql-bin.index
expire_logs_days = 30
max_binlog_size ?= 100M
binlog_format = ROW

MySQL從服務(wù)器配置片斷

$ vim /etc/mysql/mysql.conf.d/mysqld.cnf

server-id = 3
log-slave-updates = true
skip-slave-start = true
expire_logs_days = 30
max_binlog_size ?= 100M
log-bin = /var/log/mysql/mysql-bin
relay-log = /var/log/mysql/relay-log
relay-log-index = /var/log/mysql/relay-log-index
relay-log-info-file = /var/log/mysql/relay-log.info
master-info-repository = table
relay-log-info-repository = table
report-port = 3306
report-host = 192.168.2.212
replicate-do-db = master1
replicate-do-db = master2
replicate_wild_do_table=master1.%
replicate_wild_do_table=master2.%

注：server-id 每臺(tái)必須配置為不一樣,比如 dev-master-01 為1,dev-node-01 為2,dev-node-02 為3.這里沒有給出全部配置,其它請(qǐng)根據(jù)實(shí)際情況自行配置.

• 重啟MySQL服務(wù)器

$ service mysql restart

• 創(chuàng)建具有復(fù)制權(quán)限的用戶

在兩臺(tái) MySQL Master 上創(chuàng)建

mysql> grant replication slave on *.* to 'repl'@'192.168.2.%' identified by '000000';
mysql> flush privileges;

• 從庫分別連接至兩個(gè)主庫

MySQL 5.7 有了通信渠道的概念,每一個(gè)通信渠道都是一個(gè)從服務(wù)器到主服務(wù)器獲得二進(jìn)制日志的鏈接.這意味著每個(gè)通信渠道都得有一個(gè) IO_THREAD.對(duì)于每一個(gè)主服務(wù)器,我們需要運(yùn)行不同的 CHANGE MASTER 命令和FOR CHANNEL 這個(gè)參數(shù)來分別提供不同通信鏈接名字.

下面開始設(shè)置需要同步的源,同步兩個(gè)主服務(wù)器的數(shù)據(jù)到從服務(wù)器上.

設(shè)置同步源到 Master1 (在 MySQL 從服務(wù)器上執(zhí)行)

mysql> CHANGE MASTER TO MASTER_HOST='192.168.2.210',
MASTER_USER='repl',
MASTER_PORT=3306,
MASTER_PASSWORD='000000',
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=1 FOR CHANNEL 'master1';

設(shè)置同步源到 Master2 (在 MySQL 從服務(wù)器上執(zhí)行)

mysql> CHANGE MASTER TO MASTER_HOST='192.168.2.211',
MASTER_USER='repl',
MASTER_PORT=3306,
MASTER_PASSWORD='000000',
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=1 FOR CHANNEL 'master2';

啟動(dòng)所有SLAVE

mysql> START SLAVE;

也可以單獨(dú)啟動(dòng)需要同步的通道.

mysql> START SLAVE FOR CHANNEL 'master1';
mysql> START SLAVE FOR CHANNEL 'master2';

停止和 RESET 復(fù)制的命令也同 START 類似,可以操作所有的,也可以操作單個(gè)通道.

查看SLAVE信息

mysql> SHOW SLAVE STATUS\G

...
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
...

確認(rèn) Slave_IO_Running 和 Slave_SQL_Running 兩個(gè)參數(shù)都為 Yes 狀態(tài).

如果要查看單一信道的復(fù)制的詳細(xì)狀態(tài),可以使用以下命令：

mysql> SHOW SLAVE STATUS FOR CHANNEL 'master1'\G;

測(cè)試多源復(fù)制

• 在主庫(dev-master-01)實(shí)例創(chuàng)建一些數(shù)據(jù).

mysql> create database master1;
mysql> use master1;
mysql> CREATE TABLE `test1` (`id` int(11) DEFAULT NULL,`count` int(11) DEFAULT NULL);
mysql> insert into test1 values(1,1);

• 在主庫(dev-node-01)實(shí)例創(chuàng)建一些數(shù)據(jù).

mysql> create database master2;
mysql> use master2;
mysql> CREATE TABLE `test2` (`id` int(11) DEFAULT NULL,`count` int(11) DEFAULT NULL);
mysql> insert into test2 values(1,1);

• 在從庫(dev-node-02)實(shí)例檢查數(shù)據(jù)是否成功復(fù)制.

mysql> select * from master1.test1;
+------+-------+
| id ? | count |
+------+-------+
| ? ?1 | ? ? 1 |
+------+-------+
1 row in set (0.00 sec)

mysql> select * from master2.test2;
+------+-------+
| id ? | count |
+------+-------+
| ? ?1 | ? ? 1 |
+------+-------+
1 row in set (0.00 sec)

• 查看復(fù)制管理視圖

列出所有的復(fù)制信道的復(fù)制狀態(tài)概況：

在 performance_schema 庫中,提供了復(fù)制相關(guān)的一些視圖,可供查看復(fù)制相關(guān)的信息.

mysql> use performance_schema;
mysql> show tables like '%repl%';
+-------------------------------------------+
| Tables_in_performance_schema (%repl%) ? ? |
+-------------------------------------------+
| replication_applier_configuration ? ? ? ? |
| replication_applier_status ? ? ? ? ? ? ? ?|
| replication_applier_status_by_coordinator |
| replication_applier_status_by_worker ? ? ?|
| replication_connection_configuration ? ? ?|
| replication_connection_status ? ? ? ? ? ? |
| replication_group_member_stats ? ? ? ? ? ?|
| replication_group_members ? ? ? ? ? ? ? ? |
+-------------------------------------------+
8 rows in set (0.00 sec)

這些表里分別有多源通道的配置信息和多源通道的狀態(tài)信息,另外還有連接配置信息和連接狀態(tài)信息,如果配置了多線程復(fù)制的話,還會(huì)有多線程配置信息和多線程狀態(tài)信息.

其它一些需要注意的點(diǎn)

• 初次配置耗時(shí)較長(zhǎng),需要將各個(gè) master 的數(shù)據(jù) dump 下來,再 source 到 slave 上.
• 需要考慮各 master 數(shù)據(jù)增長(zhǎng)頻率,slave 的數(shù)據(jù)增長(zhǎng)頻率是這些數(shù)據(jù)的總和.如果太高,會(huì)導(dǎo)致大量的磁盤IO,造成數(shù)據(jù)更新延遲,最嚴(yán)重的是會(huì)影響正常的查詢.
• 如果多個(gè)主數(shù)據(jù)庫實(shí)例中存在同名的庫,則同名庫的表都會(huì)放到一個(gè)庫中；
• 如果同名庫中的表名相同且結(jié)構(gòu)相同,則數(shù)據(jù)會(huì)到一起；如果結(jié)構(gòu)不同,則先建的有效.

文章來源微信公眾號(hào)：運(yùn)維之美

轉(zhuǎn)載請(qǐng)注明本頁網(wǎng)址：
http://www.fzlkiss.com/jiaocheng/2391.html