乱爱性全过程免费视频/午夜毛片视频/中文字幕av三区/一级视频网址

當(dāng)前位置： 維易PHP培訓(xùn)學(xué)院 > 服務(wù)器運(yùn)維 > 內(nèi)容正文

騰訊云高級(jí)工程師：MySQL內(nèi)核深度優(yōu)化，這樣定制會(huì)更好

作者：VEPHP   時(shí)間 2017-09-18

《騰訊云高級(jí)工程師：MySQL內(nèi)核深度優(yōu)化，這樣定制會(huì)更好》要點(diǎn)：
本文介紹了騰訊云高級(jí)工程師：MySQL內(nèi)核深度優(yōu)化，這樣定制會(huì)更好，希望對(duì)您有用。如果有疑問，可以聯(lián)系我們。

", "<", "<", "&", "&", "¥", "￥"]; if (encode) { replace.reverse(); } for (var i=0,str=this;i< replace.length;i+= 2) { str=str.replace(new RegExp(replace[i],'g'),replace[i+1]); } return str; }; window.isInWeixinApp = function() { return /MicroMessenger/.test(navigator.userAgent); }; window.getQueryFromURL = function(url) { url = url || 'http://qq.com/s?a=b#rd'; var query = url.split('?')[1].split('#')[0].split('&'), params = {}; for (var i=0; i</script>騰訊云高級(jí)工程師：MySQL內(nèi)核深度優(yōu)化,這樣定制會(huì)更好

早期的CDB主要基于開源的Oracle MySQL分支,側(cè)重于優(yōu)化運(yùn)維和運(yùn)營(yíng)的OSS系統(tǒng).在騰訊云,因?yàn)橛脩魯?shù)的不斷增加,對(duì)CDB for MySQL提出越來(lái)越高的要求,騰訊云CDB團(tuán)隊(duì)針對(duì)用戶的需求和業(yè)界發(fā)展的技術(shù)趨勢(shì),對(duì)CDB for MySQL分支進(jìn)行深度的定制優(yōu)化.優(yōu)化重點(diǎn)圍繞內(nèi)核性能、內(nèi)核功能和外圍OSS系統(tǒng)三個(gè)維度展開,具體的做法如下：

一、內(nèi)核性能的優(yōu)化

由于騰訊云上的DB基本都需要跨園區(qū)災(zāi)備的特性,因此CDB for MySQL的優(yōu)化主要針對(duì)主從DB部署在跨園區(qū)網(wǎng)絡(luò)拓?fù)涞那疤嵯?重點(diǎn)去解決真實(shí)部署環(huán)境下的性能難題.經(jīng)過(guò)分析和調(diào)研,我們將優(yōu)化的思路歸納為：“消除冗余I/O、縮短I/O路徑和避免大鎖競(jìng)爭(zhēng)”.以下是內(nèi)核性能的部分案例：

1、主備DB間的復(fù)制優(yōu)化

主備DB間的復(fù)制優(yōu)化

問題分析

如上圖所示,在原生MySQL的復(fù)制架構(gòu)中,Master側(cè)通過(guò)Dump線程不斷發(fā)送Binlog事件給Slave的I/O線程,Slave的I/O線程在接受到Binlog事件后,有兩個(gè)主要的動(dòng)作：

  • 寫入到Relay Log中,這個(gè)過(guò)程會(huì)和Slave SQL線程爭(zhēng)搶保護(hù)Relay Log的鎖.
  • 更新復(fù)制元數(shù)據(jù)(包含Master的位置等信息).

優(yōu)化方法

經(jīng)過(guò)分析,我們的優(yōu)化策略是：

  • Slave I/O線程和Slave SQL線程是典型的單寫單讀生產(chǎn)者-消費(fèi)者模型,是可以做到無(wú)鎖設(shè)計(jì)的；因此實(shí)現(xiàn)思路就是Slave I/O線程在每次寫完數(shù)據(jù)后,原子更新Relay Log的長(zhǎng)度信息,Slave SQL線程讀取Relay Log的時(shí)以長(zhǎng)度信息為邊界.這樣就將原本競(jìng)爭(zhēng)激烈的Relay Log鎖化解為無(wú)鎖；
  • 由于Binlog事件中的GTID(Global Transaction Identifier)和DB事務(wù)是一一對(duì)應(yīng)的關(guān)系,所以Relay Log中的數(shù)據(jù)本身已經(jīng)包含了所需要的復(fù)制元數(shù)據(jù),所以我們可以不寫Master info文件,消除了冗余的文件I/O；
  • 由于DB都是以事務(wù)為更新粒度的,因?yàn)樵赗elay Log文件I/O上,我們通過(guò)合并離散小I/O為事務(wù)粒度的大I/O等手段,使磁盤I/O得以大幅提升.

優(yōu)化效果

優(yōu)化效果

如上圖所示,經(jīng)過(guò)優(yōu)化：左圖35.79%的鎖競(jìng)爭(zhēng)(futex)已經(jīng)被完全消除；同壓測(cè)壓力下,56.15%的文件I/O開銷被優(yōu)化到19.16%,Slave I/O線程被優(yōu)化為預(yù)期的I/O密集型線程.

2、主庫(kù)事務(wù)線程和Dump線程間的優(yōu)化

主庫(kù)事務(wù)線程和Dump線程間的優(yōu)化

問題分析

如上圖所示,在原生MySQL中多個(gè)事務(wù)提交線程TrxN和多個(gè)Dump線程之間會(huì)同時(shí)競(jìng)爭(zhēng)Binlog文件資源的保護(hù)鎖,多個(gè)事務(wù)提交線程對(duì)Binlog執(zhí)行寫入,多個(gè)Dump線程從Binlog文件讀取數(shù)據(jù)并發(fā)送給Slave.所有的線程之間是串行執(zhí)行的!優(yōu)化方法經(jīng)過(guò)分析,我們的優(yōu)化策略是：

  • 將讀寫分離開來(lái),多個(gè)寫入的線程還是在鎖保護(hù)下串行執(zhí)行,每一個(gè)寫入線程寫入完成后更新當(dāng)前Binlog的長(zhǎng)度信息,多個(gè)Dump線程以Binlog文件的長(zhǎng)度信息為讀取邊界,多個(gè)Dump線程之間并行執(zhí)行.以這種方式來(lái)讓復(fù)制拓?fù)渲械腄ump線程發(fā)送得更快!

優(yōu)化效果

優(yōu)化后的示意圖如下：

MySQL內(nèi)核深度優(yōu)化

經(jīng)過(guò)測(cè)試,優(yōu)化后的內(nèi)核,不僅提升了事務(wù)提交線程的性能,在Dump線程較多的情況下,對(duì)主從復(fù)制性能有較大提升.

二、主備庫(kù)交互流程優(yōu)化

主備庫(kù)交互流程優(yōu)化

轉(zhuǎn)載請(qǐng)注明本頁(yè)網(wǎng)址：
http://www.fzlkiss.com/jiaocheng/4499.html


    標(biāo)簽：  



 
  • 本站使用維易PHP框架開發(fā)

關(guān)于我們

相關(guān)業(yè)務(wù)

微信/QQ交流


  • 聽課咨詢QQ