《專家觀察 | 彭華盛：“廣發(fā)銀行運(yùn)維一體化之平臺(tái)一體化”》要點(diǎn)：
本文介紹了專家觀察 | 彭華盛：“廣發(fā)銀行運(yùn)維一體化之平臺(tái)一體化”，希望對(duì)您有用。如果有疑問，可以聯(lián)系我們。

由工業(yè)和信息化部指導(dǎo),中國信息通信研究院主辦,業(yè)界知名組織云計(jì)算開源產(chǎn)業(yè)聯(lián)盟(OSCAR)承辦的2017全球云計(jì)算開源大會(huì)于4月19日-20日在北京國家會(huì)議中心順利召開.本文為本屆大會(huì)嘉賓的大會(huì)演講內(nèi)容分享,敬請(qǐng)瀏覽.

嘉賓介紹：彭華盛

公司職務(wù)：廣發(fā)銀行高級(jí)技術(shù)經(jīng)理

個(gè)人簡介：廣發(fā)銀行總行數(shù)據(jù)中心運(yùn)維自動(dòng)化團(tuán)隊(duì)、應(yīng)用交易渠道團(tuán)隊(duì)運(yùn)維負(fù)責(zé)人

大會(huì)演講速記

大家好!前面幾個(gè)大佬都以產(chǎn)品角度來講運(yùn)維,我今天以干貨的方式跟大家分享一下我們?cè)谶\(yùn)維方面的經(jīng)驗(yàn).首先做一個(gè)自我介紹,我是廣發(fā)銀行運(yùn)營中心的彭華盛,我現(xiàn)在主要是交易渠道的負(fù)責(zé),另外我也負(fù)責(zé)策劃.我今天給大家?guī)硪粋€(gè)議題是平臺(tái)一體化.

標(biāo)題里面有兩大塊,前面是標(biāo)題一體化,后面是平臺(tái)一體化,我們的運(yùn)維一體化是區(qū)域中心的運(yùn)維里面的運(yùn)營體系,運(yùn)維一體化主要分三塊,一個(gè)是人員組織的一體化,流程一體化,后面是平臺(tái)一體化,平臺(tái)一體化偏向于工具一體化,我今天給大家分享的是平臺(tái)一體化.

平臺(tái)一體化里面可以會(huì)用三個(gè)方面跟大家分享,第一個(gè)是團(tuán)隊(duì)轉(zhuǎn)型的需求,另外一個(gè)我們團(tuán)隊(duì)在做轉(zhuǎn)型的時(shí)候的解決思路,第三個(gè)是我們?cè)谵D(zhuǎn)型的一些方案里面的原則.我們重點(diǎn)會(huì)來講原則.

我們轉(zhuǎn)型的壓力其實(shí)和大家在座的一些運(yùn)維團(tuán)隊(duì)碰到的比較像,我們現(xiàn)在團(tuán)隊(duì)里面的運(yùn)維打一個(gè)標(biāo)簽“救火”我們都會(huì)有,所以我們歸納一下運(yùn)維里面目前的四個(gè)特點(diǎn).

一個(gè)是被動(dòng)救火式的,我們的團(tuán)隊(duì)里面大部分都是被動(dòng)的保障業(yè)務(wù)系統(tǒng),所以我們?nèi)粘５墓ぷ鲿?huì)被擱置.我們也是一個(gè)以問題驅(qū)動(dòng)的方式去做運(yùn)維的,因?yàn)槲覀兊倪\(yùn)維口,我們往往可能對(duì)一些應(yīng)用的可用性、可靠性和其他的生產(chǎn)問題來驅(qū)動(dòng).第三個(gè),我們的日常運(yùn)維主要還是以運(yùn)維操作性的方式占主要的工作量.第四個(gè),我們是以經(jīng)驗(yàn)式的運(yùn)維,尤其是有一些比較資深的老員工,他離職在短期內(nèi)給我們的運(yùn)維帶來一定的沖擊.

針對(duì)這四個(gè)特點(diǎn)我們提出了四個(gè)轉(zhuǎn)型：一個(gè)是我們從被動(dòng)的救火式的運(yùn)維方式向主動(dòng)的機(jī)器化運(yùn)維的方式.第二個(gè)是從問題驅(qū)動(dòng)向價(jià)值驅(qū)動(dòng),價(jià)值驅(qū)動(dòng)我們現(xiàn)在也在做大數(shù)據(jù),做一些業(yè)務(wù)方面的驅(qū)動(dòng).第三個(gè)是操作運(yùn)維,我們現(xiàn)在也在建一個(gè)自主化的開發(fā)平臺(tái),通過這個(gè)開發(fā)平臺(tái)快速落地一些工具,來降低我們的操作系統(tǒng)的運(yùn)維.第四個(gè)是我們希望靠人的經(jīng)驗(yàn)式的運(yùn)維向智能化運(yùn)維去驅(qū)動(dòng).

但是大家也知道我們團(tuán)隊(duì)人員很難去擴(kuò)張,所以我們首先要解決我們的生產(chǎn)力,解決完以后我們才能去做我們的轉(zhuǎn)型,所以解決生產(chǎn)力最主要的手段是自動(dòng)化.在自動(dòng)化方面,我們也碰到三個(gè)問題.

一個(gè)是說怎么更好,我們的運(yùn)維體系也算是比較完整了,但是我們的工具往往是以商業(yè)工具,每個(gè)商業(yè)工具的功能都可能重疊度很多,這里面也是以煙囪式的建設(shè),很難實(shí)現(xiàn)信息的共享,更不要說是一加一大于二,有很多時(shí)候一加一小于一的可能性都有.

第二個(gè)是如何更快,我們的工具也是拿來主義比較多,自主研發(fā)比較少.像我們這種傳統(tǒng)的銀行金融企業(yè),我們要一個(gè)產(chǎn)品需要要走一些流程,把流程走完以后一年半載以后了,等我們拿到手以后可能不是最緊迫的運(yùn)維工具.

第三個(gè)我們?nèi)绾巫龅酶匾?原來我一開始認(rèn)為我們銀行是體制內(nèi)的,后來慢慢發(fā)現(xiàn)我們團(tuán)隊(duì)很有危機(jī)感,現(xiàn)在我們也在做一些團(tuán)隊(duì)的合并,所以我們的壓力是比較大的.所以我們?cè)谙胛覀冊(cè)趺唇鉀Q我們的職業(yè)危機(jī)的同時(shí)又創(chuàng)造更大的價(jià)值.我們就提出了我們接下來要做一個(gè)一體化,我們?yōu)槭裁匆嵋惑w化?是因?yàn)槲覀兿Ｍ覀兊膱F(tuán)隊(duì),因?yàn)槲覀冇斜容^多的專業(yè)團(tuán)隊(duì),包括我們運(yùn)動(dòng)的,包括基礎(chǔ)設(shè)施的,網(wǎng)絡(luò)的,各個(gè)團(tuán)隊(duì)大家是能夠達(dá)成共識(shí),我們通過提出一個(gè)概念,把這個(gè)概念固化下來,所以我們提出了一體化.

一體化的規(guī)劃我當(dāng)時(shí)也是有幾個(gè)觸動(dòng),里面提到組織、流程、架構(gòu)三位一體,這個(gè)和我們的區(qū)域中心的運(yùn)維一體化的體系是比較吻合的.另外是剛才黨總提到的藍(lán)鯨,還有包括云途騰科技產(chǎn)品平臺(tái)的一體化,給我們很大的指導(dǎo).我概括講我們的一體化平臺(tái)有點(diǎn)像山寨版的藍(lán)鯨,但是這個(gè)山寨版更符合我們廣發(fā)的特點(diǎn).第三個(gè)Google SRE對(duì)我們影響很大,我們?cè)趺醋鲞\(yùn)維開發(fā),怎么讓我們的運(yùn)維有更高逼格,這是我們?cè)谖覀兊倪\(yùn)維建設(shè)過程當(dāng)中的指導(dǎo)原則.

我們的運(yùn)維一體化,這是我們的架構(gòu),這個(gè)架構(gòu)有幾個(gè)一體化,這邊是我們?cè)冉M織的一體化,這下面是我們的工具一體化,整個(gè)加起來是運(yùn)維一體化,流程里面也是一體化,我們的一體化運(yùn)維平臺(tái)也是工具的一體化,我們整個(gè)體系都是以這個(gè)思路來建設(shè)的.

在我們的平臺(tái)一體化里面,這張圖我是引用了李總的一個(gè)概念,我把它做了一個(gè)修改,我們的一體化里面,我們從下面看,下面是6個(gè)平臺(tái)+1個(gè)門戶,我把這個(gè)理念已經(jīng)傳播到我們數(shù)據(jù)中心的平臺(tái)工具的團(tuán)隊(duì)里面,基本上我們現(xiàn)在能夠把利益合在一起建設(shè),避免重復(fù)的建設(shè).一個(gè)從底層的云平臺(tái),像我們身上的骨一樣,中間是監(jiān)管,我們的云平臺(tái)是我們的管,流程平臺(tái),操作平臺(tái),再往上分析平臺(tái),有別于業(yè)務(wù)大數(shù)據(jù),我們和他們是平行的,業(yè)務(wù)大數(shù)據(jù)的精力有限,主要是做業(yè)務(wù),我們的分析平臺(tái)主要是做運(yùn)維分析.

我們整體兩邊還要建四個(gè)原則,一個(gè)是說我們要自主化,我們要做一個(gè)運(yùn)維開發(fā)平臺(tái),我們要做工具化,我們要提倡工具的文化,另外一套服務(wù)集成,采用一個(gè)總線固定在里面,實(shí)現(xiàn)工具之間的互聯(lián)互通,再往上就是可視化.

這是我們前面那張圖的細(xì)化,這個(gè)就不多介紹了,后面大家有興趣有可以看一看.

我現(xiàn)在主要講一下平臺(tái)里的主要原則,一個(gè)是自主化,就像藍(lán)鯨也有一個(gè)研發(fā)平臺(tái),但是它的開發(fā)平臺(tái),我感覺我們?nèi)说哪芰τ盟麄兊钠脚_(tái)還是有限的,因?yàn)樗竽阌斜容^強(qiáng)的開發(fā)經(jīng)驗(yàn),要打包再上傳上去.

我們也去調(diào)研了一下開發(fā)中心那邊的常規(guī)軟件公司,現(xiàn)在很多公司有很多人不寫代碼,就在一個(gè)ID上面拖拉拽,我們也基于拖拉拽縮所見即所得的平臺(tái),我們的團(tuán)隊(duì)中有工具建設(shè)的工具化,還有一個(gè)服務(wù)化,我們已經(jīng)建了一段時(shí)間很難把這個(gè)工具廢棄掉,我們要整合現(xiàn)有的工具,來引入新的工具,實(shí)現(xiàn)信息的互聯(lián)互通,這是我們服務(wù)化的一塊.

在可視化方面我們也做很多投入,包括如何設(shè)計(jì)得好看,整體怎么更好地整合,所以我們也花了比較多的心思.后面的原則我會(huì)放我們現(xiàn)在做的情況的一些圖,也是為了表達(dá)一些誠意.我們有自主化的開發(fā)平臺(tái),這是我們的腳本平臺(tái),類似于這是一個(gè)腳本工廠,腳本可以再利用,我們現(xiàn)在也在用.

我們的管理人員是可以在這個(gè)工具上直接去做一些開發(fā),上面這些是可以做測試的,可以做工程的腳本工具.管理員是不需要去考慮我在哪里去測試,什么測試服務(wù)器去測試,通過什么去調(diào)用,這是我們以前很多開發(fā)人員在開發(fā)的時(shí)候遇到的難點(diǎn),太困難了就不愿意開發(fā)了,我們希望讓這種難度盡量降低.

我們那邊還有連腳本不愿意寫的那種,我們就想了一個(gè)辦法,像這些腳本就是一個(gè)原子,我們可以把它拖拉拽動(dòng)拉在一起,這三個(gè)我們已經(jīng)上線了.這是可視化的拖拉拽,一個(gè)是梳理流,還有一個(gè)頁面的可視化拖拉拽的觸面,還有一個(gè)界面流.這個(gè)是可視化前端的頁面H5,因?yàn)槲覀兪腔贖5的方案去做的,我們現(xiàn)在在上面做的東西可以在頁面里面去展示.

在下面是業(yè)務(wù)流,你可能有一個(gè)工具,有一個(gè)按鈕,后期是怎么調(diào)用的,黃色是調(diào)用服務(wù)接口的,這邊可以寫一些代碼或者調(diào)一些腳本,可視化可以調(diào)腳本,也可以調(diào)監(jiān)控上面的數(shù)據(jù),也可以直接連我在遠(yuǎn)端的數(shù)據(jù)庫,這是我們的開發(fā)平臺(tái).

外一個(gè),我們希望我們的架構(gòu)是自主的,我們的運(yùn)維也是在我們廣發(fā)行第一次用到了分布式的系統(tǒng),我們的業(yè)務(wù)系統(tǒng)比較謹(jǐn)慎,我們的運(yùn)維里面,一方面我們有這種需求,我們?cè)瓉肀O(jiān)控是以每一個(gè)應(yīng)用+一個(gè)數(shù)據(jù)庫,但是我們發(fā)現(xiàn)我們的監(jiān)控?cái)?shù)據(jù),當(dāng)我們的OS大概到3000,我一個(gè)表很難保存一個(gè)月,我們需要這么多,所以我們又搭了一套類似的數(shù)據(jù)庫,這個(gè)數(shù)據(jù)庫是用的阿里的軟件,下面是17個(gè)數(shù)據(jù)庫,實(shí)現(xiàn)了分離,現(xiàn)在跑還是整體性能還不錯(cuò).

后面我們這套架構(gòu)也是推動(dòng)到我們的mycall流通平臺(tái)在用這個(gè)架構(gòu).

這是我們現(xiàn)在在工具層面的技術(shù)站.

還有我們?cè)诮ㄔO(shè)工具化的過程當(dāng)中,我們把工具分為兩大塊,一塊是重型工具,一塊是輕型工具,重型工具包括自動(dòng)化部署、日志系統(tǒng),我們往往是以成熟產(chǎn)品為主.但是還有很多工具,應(yīng)用數(shù)據(jù)維護(hù),包括腳本,包括運(yùn)營活動(dòng)的時(shí)候要快速給業(yè)務(wù)報(bào)表展示,我們是走的綜合人員能力投入產(chǎn)出比的因素,我們是逐步去做自主開發(fā),后面會(huì)有一個(gè)例子給大家看一看.

我們的重型工具是集中監(jiān)控,我們的集中監(jiān)控基本上覆蓋了總行從基礎(chǔ)設(shè)施到系統(tǒng)網(wǎng)絡(luò)再到應(yīng)用可用性安全,還有分行的情況我們都已經(jīng)覆蓋到了.

中間的工具我們也是比較多,我沒有讓一個(gè)工具實(shí)現(xiàn)所有的功能,我們只是說讓這些工具把他的事件能夠往上拋,跑到我們的平臺(tái)上讓它整合,再到上的平臺(tái)能力,再往上是智能學(xué)習(xí)的監(jiān)控.我們的監(jiān)控主要原則也是不漏報(bào)、不誤報(bào)的要求.

我舉個(gè)例子,這是我們的集中監(jiān)控的例子,我們可以把多個(gè)系統(tǒng)做整合,這是多種形式的展示,這是Web端,這是大屏,現(xiàn)在整大片有三個(gè)左右,我們的雙11運(yùn)維活動(dòng)都用這個(gè).

 

這是我們把指標(biāo)做一個(gè)平臺(tái),比如像雙11的時(shí)候,我們的電子支付模塊有30臺(tái)服務(wù)器,我們可以放在上面,能告訴他到底是哪一臺(tái)出問題了,當(dāng)出問題的時(shí)候,我們把這一臺(tái)停掉或者應(yīng)用方案.

這個(gè)方案我們?cè)诤芏嗷顒?dòng)推廣的時(shí)候,這個(gè)產(chǎn)品經(jīng)常在用.我們也把監(jiān)控下放到網(wǎng)點(diǎn),原來監(jiān)控在總行的服務(wù)器,我們?cè)诜中欣锩姘逊中械慕K端也都收上來.包括我們也把一些監(jiān)控?cái)?shù)據(jù)上收,借鑒360安全評(píng)分系統(tǒng).這是分行數(shù)據(jù)收集的利用,這是我們對(duì)CMDB的擴(kuò)展,我們把它擴(kuò)展到應(yīng)用題,我們把應(yīng)用的關(guān)系圖也拖到里面.

這是事件豐富,比如這個(gè)告訴我銀聯(lián)要交易超過多少筆,我們就把CMDB的數(shù)據(jù)評(píng)價(jià),這是波動(dòng)情況,這是CPU內(nèi)存,包括最近半小時(shí)的事件,我們都整合在事件豐富里面,這樣我們的管理員在處理故障的時(shí)候可以更高效.

工具化,輕量型的工具,我們借鑒工廠,我們鼓勵(lì)大家用這個(gè)工具,每個(gè)人做一個(gè)工具發(fā)布在這里,大家可以能去看.

小工具,我舉一個(gè)例子,我們?nèi)迅^當(dāng)中的服務(wù)啟停,我們這些同學(xué)去做也做得很好,現(xiàn)在做的版本1,實(shí)現(xiàn)批量或者單個(gè)做啟停,啟停當(dāng)中模擬的CMDB的界面,或者是保留現(xiàn)場,都保留在這里面.

我們還支持一些日志、數(shù)據(jù)庫進(jìn)程的檢查,其實(shí)把我們比較好的同事應(yīng)急的處理方法整合在一個(gè)界面里.這種是屬于我們認(rèn)為是小型的工具,這個(gè)是我們的服務(wù)化的思路,我們下面每一個(gè)工具都要向上拋接口,通過一個(gè)服務(wù)器層,你在界面可以看到我這個(gè)接口上面的一些測試,我在開發(fā)過程當(dāng)中也可以通過這個(gè)接口去選.

這是可視化,我們也會(huì)分專業(yè)視圖、管理視圖、業(yè)務(wù)視圖,這些都是我們做出來的界面,這是大屏,這是一個(gè)實(shí)時(shí)動(dòng)態(tài)的圖.

這個(gè)是我們的產(chǎn)品的,這兩個(gè)是我們做的.這個(gè)是我們統(tǒng)一的門戶,我們統(tǒng)一的門戶把所有工具放在這里面,我們讓我們的控制臺(tái)把待辦法放在這里面.有些比較經(jīng)常用的像監(jiān)控就嵌入里面,像比較小的工具,我們就用鏈接的方式.

未來我們一方面是做好自動(dòng)化,來解決我們的一些痛點(diǎn).還有我們要結(jié)合大數(shù)據(jù)去放眼智能.我本來改了一稿,里面還有一些東西,這不是最新的一稿.謝謝大家!

文章來自微信公眾號(hào)：云計(jì)算開源產(chǎn)業(yè)聯(lián)盟

轉(zhuǎn)載請(qǐng)注明本頁網(wǎng)址：
http://www.fzlkiss.com/jiaocheng/4209.html