《Mysql實(shí)例MySQL數(shù)據(jù)庫復(fù)制概論》要點(diǎn):
本文介紹了Mysql實(shí)例MySQL數(shù)據(jù)庫復(fù)制概論,希望對(duì)您有用。如果有疑問,可以聯(lián)系我們。
MYSQL實(shí)例WHAT?
MYSQL實(shí)例MySQL復(fù)制使得一臺(tái)Mysql數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)被拷貝到其他一臺(tái)或者多臺(tái)數(shù)據(jù)庫服務(wù)器,前者通常被叫做Master,后者通常被叫做Slave.
MYSQL實(shí)例
MYSQL實(shí)例MySQL復(fù)制示意圖
MYSQL實(shí)例復(fù)制的結(jié)果是集群(Cluster)中的所有數(shù)據(jù)庫服務(wù)器得到的數(shù)據(jù)理論上都是一樣的,都是同一份數(shù)據(jù),只是有多個(gè)copy.MySQL默認(rèn)內(nèi)建的復(fù)制策略是異步的,基于不同的配置,Slave不一定要一直和Master保持連接不斷的復(fù)制或等待復(fù)制,我們指定復(fù)制所有的數(shù)據(jù)庫,一部分?jǐn)?shù)據(jù)庫,甚至是某個(gè)數(shù)據(jù)庫的某部分的表.
MYSQL實(shí)例MySQL復(fù)制支持多種不同的復(fù)制策略,包括同步、半同步、異步和延遲策略等.
MYSQL實(shí)例同步策略:Master要等待所有Slave應(yīng)答之后才會(huì)提交(MySql對(duì)DB操作的提交通常是先對(duì)操作事件進(jìn)行二進(jìn)制日志文件寫入然后再進(jìn)行提交).
MYSQL實(shí)例半同步策略:Master等待至少一個(gè)Slave應(yīng)答就可以提交.
MYSQL實(shí)例異步策略:Master不需要等待Slave應(yīng)答就可以提交.
MYSQL實(shí)例延遲策略:Slave要至少落后Master指定的時(shí)間.
MYSQL實(shí)例MySQL復(fù)制同時(shí)支持多種不同的復(fù)制模式:
MYSQL實(shí)例基于語句的復(fù)制,Statement Based Replication(SBR).
MYSQL實(shí)例基于行的復(fù)制Row Based Replication(RBR).
MYSQL實(shí)例混合復(fù)制(Mixed).
MYSQL實(shí)例WHY?
MYSQL實(shí)例這個(gè)問題其實(shí)也就是MySQL復(fù)制有什么好處,我們可以將復(fù)制的好處歸結(jié)于下面幾類:
MYSQL實(shí)例性能方面:MySQL復(fù)制是一種Scale-out方案,也即“水平擴(kuò)展”,將原來的單點(diǎn)負(fù)載擴(kuò)散到多臺(tái)Slave機(jī)器中去,從而提高總體的服務(wù)性能.在這種方式下,所有的寫操作,當(dāng)然包括UPDATE操作,都要發(fā)生在Master服務(wù)器上.讀操作發(fā)生在一臺(tái)或者多臺(tái)Slave機(jī)器上.這種模型可以在一定程度上提高總體的服務(wù)性能,Master服務(wù)器專注于寫和更新操作,Slave服務(wù)器專注于讀操作,我們同時(shí)可以通過增加Slave服務(wù)器的數(shù)量來提高讀服務(wù)的性能.
MYSQL實(shí)例防腐化:由于數(shù)據(jù)被復(fù)制到了Slave,Slave可以暫停復(fù)制進(jìn)程,進(jìn)行數(shù)據(jù)備份,因此可以防止數(shù)據(jù)腐化.
MYSQL實(shí)例故障恢復(fù):同時(shí)多臺(tái)Slave如果有一臺(tái)Slave掛掉之后我們還可以從其他Slave讀取,如果配置了主從切換的話,當(dāng)Master掛掉之后我們還可以選擇一臺(tái)Slave作為Master繼續(xù)提供寫服務(wù),這大大增加了應(yīng)用的可靠性.
MYSQL實(shí)例數(shù)據(jù)分析:實(shí)時(shí)數(shù)據(jù)可以存儲(chǔ)在Master,而數(shù)據(jù)分析可以從Slave讀取,這樣不會(huì)影響Master的性能.
MYSQL實(shí)例HOW?
MYSQL實(shí)例這里我們只介紹一下MySQL的復(fù)制是如何工作的,至于配置,網(wǎng)上也有很多相關(guān)的介紹,讀者具體應(yīng)用的時(shí)候可以再去查閱.我們拿最常用的基于二進(jìn)制文件的復(fù)制來看看.
MYSQL實(shí)例
MYSQL實(shí)例MySQL復(fù)制工作示意圖
MYSQL實(shí)例MySQL的復(fù)制過程大概如下:
MYSQL實(shí)例首先,主庫在每次準(zhǔn)備提交事務(wù)完成數(shù)據(jù)更新操作之前都會(huì)將數(shù)據(jù)更改操作記錄到二進(jìn)制日志中,這些日志是以二進(jìn)制的方式記錄數(shù)據(jù)更改的事件.值得一提的是二進(jìn)制日志中記錄的順序?qū)嶋H上是事務(wù)的提交順序,而非SQL執(zhí)行語句的順序.在記錄二進(jìn)制日志之后,主庫會(huì)告訴存儲(chǔ)引擎事務(wù)可以提交了.
MYSQL實(shí)例然后,備庫會(huì)啟動(dòng)一個(gè)IO線程,之所以叫做IO線程是因?yàn)檫@個(gè)線程專門做IO相關(guān)的工作,包括和主庫建立連接,然后在主庫上啟動(dòng)一個(gè)特殊的二進(jìn)制轉(zhuǎn)儲(chǔ)線程,這個(gè)轉(zhuǎn)儲(chǔ)線程會(huì)不斷的讀取二進(jìn)制日志中的事件,發(fā)送給備庫的IO線程,備庫的IO線程會(huì)將事件記錄到中繼日志中.
MYSQL實(shí)例備庫會(huì)有一個(gè)叫做SQL的線程被開啟,這個(gè)線程做的事情是讀取中繼日志中的DB操作事件在備庫執(zhí)行,從而實(shí)現(xiàn)數(shù)據(jù)更新.
MYSQL實(shí)例總的來說,在發(fā)生復(fù)制的主庫服務(wù)器和備庫服務(wù)器中,一共有三個(gè)線程在工作.
MYSQL實(shí)例上面我們已經(jīng)大概了解的什么是復(fù)制?為什么要復(fù)制?如何復(fù)制?這三個(gè)問題了,接下來我們基于上面的介紹,提出一些實(shí)際應(yīng)用可能會(huì)發(fā)生的問題來思考如何解決.博主自問自答的方式-.-
MYSQL實(shí)例問答環(huán)節(jié)
MYSQL實(shí)例問題一:通過復(fù)制模型雖然讀能力可以通過擴(kuò)展slave機(jī)器來達(dá)到提高,而寫能力卻不能,如果寫達(dá)到瓶頸我們應(yīng)該怎么做呢?
MYSQL實(shí)例答:我們首先會(huì)得出結(jié)論,這種復(fù)制模型對(duì)于寫少讀多型應(yīng)用是非常有優(yōu)勢的,其次,當(dāng)遇到這種問題的時(shí)候我們可以對(duì)數(shù)據(jù)庫進(jìn)行分庫操作,所謂分庫,就是將業(yè)務(wù)相關(guān)性比較大的表放在同一個(gè)數(shù)據(jù)庫中,例如之前數(shù)據(jù)庫有A,B,C,D四張表,A表和B表關(guān)系比較大,而C表和D表關(guān)系比較大,這樣我們把C表和D表分離出去成為一個(gè)單獨(dú)的數(shù)據(jù)庫,通過這種方式,我們可以將原有的單點(diǎn)寫變成雙點(diǎn)寫或多點(diǎn)些,從而降低原有主庫的寫負(fù)載.
MYSQL實(shí)例問題二:因?yàn)閺?fù)制是有延遲的,肯定會(huì)發(fā)生主庫寫了,但是從庫還沒有讀到的情況,遇到這種問題怎么辦?
MYSQL實(shí)例答:MySQL支持不同的復(fù)制策略,基于不同的復(fù)制策略達(dá)到的效果也是不一樣的,如果是異步復(fù)制,MySQL不能保證從庫立馬能夠讀到主庫實(shí)時(shí)寫入的數(shù)據(jù),這個(gè)時(shí)候我們要權(quán)衡選擇不同復(fù)制策略的利弊來進(jìn)行取舍.所謂利弊,就是我們是否對(duì)從庫的讀有那么高的實(shí)時(shí)性要求,如果真的有,我們可以考慮使用同步復(fù)制策略,但是這種策略相比于異步復(fù)制策略會(huì)大大降低主庫的響應(yīng)時(shí)間和性能.我們是否可以在應(yīng)用的設(shè)計(jì)層面去避開這個(gè)問題?
MYSQL實(shí)例問題三:復(fù)制的不同模式有什么優(yōu)缺點(diǎn)?我們?nèi)绾芜x擇?
MYSQL實(shí)例答:基于語句的復(fù)制實(shí)際上是把主庫上執(zhí)行的SQL在從庫上重新執(zhí)行一遍,這么做的好處是實(shí)現(xiàn)起來簡單,當(dāng)前也有缺點(diǎn),比如我們SQL里面使用了NOW(),當(dāng)同一條SQL在從庫中執(zhí)行的時(shí)候顯然和在主庫中執(zhí)行的結(jié)果是不一樣的,注入此類問題可以類推.其次問題就是這種復(fù)制必須是串行的,為了保證串行執(zhí)行,就需要更多的鎖.
MYSQL實(shí)例基于行的復(fù)制的時(shí)候二進(jìn)制日志中記錄的實(shí)際上是數(shù)據(jù)本身,這樣從庫可以得到正確的數(shù)據(jù),這種方式缺點(diǎn)很明顯,數(shù)據(jù)必須要存儲(chǔ)在二進(jìn)制日志文件中,這無疑增加的二進(jìn)制日志文件的大小,同時(shí)增加的IO線程的負(fù)載和網(wǎng)絡(luò)帶寬消耗.而相比于基于語句的復(fù)制還有一個(gè)優(yōu)點(diǎn)就是基于行的復(fù)制無需重放查詢,省去了很多性能消耗.
MYSQL實(shí)例無論哪種復(fù)制模式都不是完美的,日志如何選擇,這個(gè)問題可以在理解他們的優(yōu)缺點(diǎn)之后進(jìn)行權(quán)衡.
MYSQL實(shí)例問題四:復(fù)制的工作過程只有三個(gè)線程來完成,對(duì)于Master來說,寫是并發(fā)的,也就出現(xiàn)了一個(gè)IO線程要把所有并發(fā)的數(shù)據(jù)變更事件記錄,這個(gè)IO線程會(huì)不會(huì)累死?當(dāng)一個(gè)Master對(duì)應(yīng)多個(gè)Slave的時(shí)候,其實(shí)在Master中會(huì)喚起多個(gè)IO線程,這無疑會(huì)增加Master的資源開銷,如果出現(xiàn)事件堆積,也就是事件太多,來不及及時(shí)發(fā)送出去怎么辦?另外就是Slave那邊的IO線程和SQL線程也會(huì)有對(duì)應(yīng)主庫并發(fā)數(shù)據(jù)變更事件,而Slave方單個(gè)線程處理的問題,這個(gè)時(shí)候Slave線程會(huì)不會(huì)累死?
MYSQL實(shí)例答:上面的問題確實(shí)會(huì)發(fā)生,上面第一個(gè)問題和第二個(gè)問題其實(shí)是寫負(fù)載的問題,當(dāng)事件堆積太多,從庫時(shí)延就會(huì)變大,Slave單SQL線程問題據(jù)說有參數(shù)可以開啟并行操作,這個(gè)大家可以確認(rèn)一下.
MYSQL實(shí)例問題五:針對(duì)復(fù)制工作過程可能會(huì)出現(xiàn)的問題,主庫寫完二進(jìn)制日志文件同時(shí)都會(huì)保存二進(jìn)制日志的偏移量,但是當(dāng)斷電的時(shí)候,二進(jìn)制日志文件沒有刷新到磁盤,主庫重新啟動(dòng)之后,從庫嘗試讀該偏移量的二進(jìn)制日志,會(huì)出現(xiàn)讀不到的情況,這個(gè)問題應(yīng)該怎么解決?
MYSQL實(shí)例答:首先如果開啟了sync_binlog選項(xiàng),對(duì)于innodb同時(shí)設(shè)置innodb_flush_log_at_trx_commot=1,則可以保證二進(jìn)制日志文件會(huì)被寫入磁盤,但MyISAM引擎可能會(huì)導(dǎo)致數(shù)據(jù)損壞.如果沒有開啟這個(gè)選項(xiàng),則可以通過制定從庫的二進(jìn)制偏移量為下一個(gè)二進(jìn)制日志文件的開頭,但是不能解決事件丟失問題.
MYSQL實(shí)例問題六:從庫在非計(jì)劃的關(guān)閉或重啟時(shí),回去讀master.info文件去找上次停止復(fù)制的位置,這同樣會(huì)有一個(gè)問題,如果master.info不正確,就會(huì)導(dǎo)致復(fù)制數(shù)據(jù)不一致的情況,遇到這個(gè)問題怎么辦?
MYSQL實(shí)例答:這個(gè)問題可以通過兩種方式解決,一是控制master.info在從庫非計(jì)劃關(guān)閉或重啟的時(shí)候讓master.info能夠同步到磁盤,這樣下次啟動(dòng)的時(shí)候就不會(huì)讀取錯(cuò)誤的信息,這有助于減少錯(cuò)誤的發(fā)生概率.另外想要找到正確的復(fù)制位置是困難的,我們也可以選擇忽略錯(cuò)誤.
MYSQL實(shí)例……
MYSQL實(shí)例其實(shí)問題也是蠻多的,這里就不再繼續(xù)提問了,包括如果主庫二進(jìn)制日志文件損壞怎么辦?從庫中繼日志文件損壞怎么辦?因?yàn)槊總€(gè)環(huán)節(jié)都不是百分之一百可靠的,因此我們必須對(duì)可能遇到的問題提出假設(shè),思考解決方案.本文通過黃金圈法則提出的三個(gè)問題來認(rèn)識(shí)MySQL復(fù)制,通過自問自答的形式來對(duì)主體的一些可能存在的應(yīng)用問題進(jìn)行討論,對(duì)于復(fù)制方面還存在很多的實(shí)際應(yīng)用問題,這里只是拋磚引玉,還請(qǐng)數(shù)據(jù)庫大牛們多多指教.
來源:http://my.oschina.net/andylucc/blog/631591
轉(zhuǎn)載請(qǐng)注明本頁網(wǎng)址:
http://www.fzlkiss.com/jiaocheng/6159.html