《專家觀察 | 彭華盛：“廣發(fā)銀行運維一體化之平臺一體化”》要點：
本文介紹了專家觀察 | 彭華盛：“廣發(fā)銀行運維一體化之平臺一體化”，希望對您有用。如果有疑問，可以聯(lián)系我們。

由工業(yè)和信息化部指導,中國信息通信研究院主辦,業(yè)界知名組織云計算開源產(chǎn)業(yè)聯(lián)盟(OSCAR)承辦的2017全球云計算開源大會于4月19日-20日在北京國家會議中心順利召開.本文為本屆大會嘉賓的大會演講內(nèi)容分享,敬請瀏覽.

嘉賓介紹：彭華盛

公司職務：廣發(fā)銀行高級技術經(jīng)理

個人簡介：廣發(fā)銀行總行數(shù)據(jù)中心運維自動化團隊、應用交易渠道團隊運維負責人

大會演講速記

大家好!前面幾個大佬都以產(chǎn)品角度來講運維,我今天以干貨的方式跟大家分享一下我們在運維方面的經(jīng)驗.首先做一個自我介紹,我是廣發(fā)銀行運營中心的彭華盛,我現(xiàn)在主要是交易渠道的負責,另外我也負責策劃.我今天給大家?guī)硪粋€議題是平臺一體化.

標題里面有兩大塊,前面是標題一體化,后面是平臺一體化,我們的運維一體化是區(qū)域中心的運維里面的運營體系,運維一體化主要分三塊,一個是人員組織的一體化,流程一體化,后面是平臺一體化,平臺一體化偏向于工具一體化,我今天給大家分享的是平臺一體化.

平臺一體化里面可以會用三個方面跟大家分享,第一個是團隊轉(zhuǎn)型的需求,另外一個我們團隊在做轉(zhuǎn)型的時候的解決思路,第三個是我們在轉(zhuǎn)型的一些方案里面的原則.我們重點會來講原則.

我們轉(zhuǎn)型的壓力其實和大家在座的一些運維團隊碰到的比較像,我們現(xiàn)在團隊里面的運維打一個標簽“救火”我們都會有,所以我們歸納一下運維里面目前的四個特點.

一個是被動救火式的,我們的團隊里面大部分都是被動的保障業(yè)務系統(tǒng),所以我們?nèi)粘５墓ぷ鲿粩R置.我們也是一個以問題驅(qū)動的方式去做運維的,因為我們的運維口,我們往往可能對一些應用的可用性、可靠性和其他的生產(chǎn)問題來驅(qū)動.第三個,我們的日常運維主要還是以運維操作性的方式占主要的工作量.第四個,我們是以經(jīng)驗式的運維,尤其是有一些比較資深的老員工,他離職在短期內(nèi)給我們的運維帶來一定的沖擊.

針對這四個特點我們提出了四個轉(zhuǎn)型：一個是我們從被動的救火式的運維方式向主動的機器化運維的方式.第二個是從問題驅(qū)動向價值驅(qū)動,價值驅(qū)動我們現(xiàn)在也在做大數(shù)據(jù),做一些業(yè)務方面的驅(qū)動.第三個是操作運維,我們現(xiàn)在也在建一個自主化的開發(fā)平臺,通過這個開發(fā)平臺快速落地一些工具,來降低我們的操作系統(tǒng)的運維.第四個是我們希望靠人的經(jīng)驗式的運維向智能化運維去驅(qū)動.

但是大家也知道我們團隊人員很難去擴張,所以我們首先要解決我們的生產(chǎn)力,解決完以后我們才能去做我們的轉(zhuǎn)型,所以解決生產(chǎn)力最主要的手段是自動化.在自動化方面,我們也碰到三個問題.

一個是說怎么更好,我們的運維體系也算是比較完整了,但是我們的工具往往是以商業(yè)工具,每個商業(yè)工具的功能都可能重疊度很多,這里面也是以煙囪式的建設,很難實現(xiàn)信息的共享,更不要說是一加一大于二,有很多時候一加一小于一的可能性都有.

第二個是如何更快,我們的工具也是拿來主義比較多,自主研發(fā)比較少.像我們這種傳統(tǒng)的銀行金融企業(yè),我們要一個產(chǎn)品需要要走一些流程,把流程走完以后一年半載以后了,等我們拿到手以后可能不是最緊迫的運維工具.

第三個我們?nèi)绾巫龅酶匾?原來我一開始認為我們銀行是體制內(nèi)的,后來慢慢發(fā)現(xiàn)我們團隊很有危機感,現(xiàn)在我們也在做一些團隊的合并,所以我們的壓力是比較大的.所以我們在想我們怎么解決我們的職業(yè)危機的同時又創(chuàng)造更大的價值.我們就提出了我們接下來要做一個一體化,我們?yōu)槭裁匆嵋惑w化?是因為我們希望我們的團隊,因為我們有比較多的專業(yè)團隊,包括我們運動的,包括基礎設施的,網(wǎng)絡的,各個團隊大家是能夠達成共識,我們通過提出一個概念,把這個概念固化下來,所以我們提出了一體化.

一體化的規(guī)劃我當時也是有幾個觸動,里面提到組織、流程、架構三位一體,這個和我們的區(qū)域中心的運維一體化的體系是比較吻合的.另外是剛才黨總提到的藍鯨,還有包括云途騰科技產(chǎn)品平臺的一體化,給我們很大的指導.我概括講我們的一體化平臺有點像山寨版的藍鯨,但是這個山寨版更符合我們廣發(fā)的特點.第三個Google SRE對我們影響很大,我們怎么做運維開發(fā),怎么讓我們的運維有更高逼格,這是我們在我們的運維建設過程當中的指導原則.

我們的運維一體化,這是我們的架構,這個架構有幾個一體化,這邊是我們原先組織的一體化,這下面是我們的工具一體化,整個加起來是運維一體化,流程里面也是一體化,我們的一體化運維平臺也是工具的一體化,我們整個體系都是以這個思路來建設的.

在我們的平臺一體化里面,這張圖我是引用了李總的一個概念,我把它做了一個修改,我們的一體化里面,我們從下面看,下面是6個平臺+1個門戶,我把這個理念已經(jīng)傳播到我們數(shù)據(jù)中心的平臺工具的團隊里面,基本上我們現(xiàn)在能夠把利益合在一起建設,避免重復的建設.一個從底層的云平臺,像我們身上的骨一樣,中間是監(jiān)管,我們的云平臺是我們的管,流程平臺,操作平臺,再往上分析平臺,有別于業(yè)務大數(shù)據(jù),我們和他們是平行的,業(yè)務大數(shù)據(jù)的精力有限,主要是做業(yè)務,我們的分析平臺主要是做運維分析.

我們整體兩邊還要建四個原則,一個是說我們要自主化,我們要做一個運維開發(fā)平臺,我們要做工具化,我們要提倡工具的文化,另外一套服務集成,采用一個總線固定在里面,實現(xiàn)工具之間的互聯(lián)互通,再往上就是可視化.

這是我們前面那張圖的細化,這個就不多介紹了,后面大家有興趣有可以看一看.

我現(xiàn)在主要講一下平臺里的主要原則,一個是自主化,就像藍鯨也有一個研發(fā)平臺,但是它的開發(fā)平臺,我感覺我們?nèi)说哪芰τ盟麄兊钠脚_還是有限的,因為他要求你有比較強的開發(fā)經(jīng)驗,要打包再上傳上去.

我們也去調(diào)研了一下開發(fā)中心那邊的常規(guī)軟件公司,現(xiàn)在很多公司有很多人不寫代碼,就在一個ID上面拖拉拽,我們也基于拖拉拽縮所見即所得的平臺,我們的團隊中有工具建設的工具化,還有一個服務化,我們已經(jīng)建了一段時間很難把這個工具廢棄掉,我們要整合現(xiàn)有的工具,來引入新的工具,實現(xiàn)信息的互聯(lián)互通,這是我們服務化的一塊.

在可視化方面我們也做很多投入,包括如何設計得好看,整體怎么更好地整合,所以我們也花了比較多的心思.后面的原則我會放我們現(xiàn)在做的情況的一些圖,也是為了表達一些誠意.我們有自主化的開發(fā)平臺,這是我們的腳本平臺,類似于這是一個腳本工廠,腳本可以再利用,我們現(xiàn)在也在用.

我們的管理人員是可以在這個工具上直接去做一些開發(fā),上面這些是可以做測試的,可以做工程的腳本工具.管理員是不需要去考慮我在哪里去測試,什么測試服務器去測試,通過什么去調(diào)用,這是我們以前很多開發(fā)人員在開發(fā)的時候遇到的難點,太困難了就不愿意開發(fā)了,我們希望讓這種難度盡量降低.

我們那邊還有連腳本不愿意寫的那種,我們就想了一個辦法,像這些腳本就是一個原子,我們可以把它拖拉拽動拉在一起,這三個我們已經(jīng)上線了.這是可視化的拖拉拽,一個是梳理流,還有一個頁面的可視化拖拉拽的觸面,還有一個界面流.這個是可視化前端的頁面H5,因為我們是基于H5的方案去做的,我們現(xiàn)在在上面做的東西可以在頁面里面去展示.

在下面是業(yè)務流,你可能有一個工具,有一個按鈕,后期是怎么調(diào)用的,黃色是調(diào)用服務接口的,這邊可以寫一些代碼或者調(diào)一些腳本,可視化可以調(diào)腳本,也可以調(diào)監(jiān)控上面的數(shù)據(jù),也可以直接連我在遠端的數(shù)據(jù)庫,這是我們的開發(fā)平臺.

外一個,我們希望我們的架構是自主的,我們的運維也是在我們廣發(fā)行第一次用到了分布式的系統(tǒng),我們的業(yè)務系統(tǒng)比較謹慎,我們的運維里面,一方面我們有這種需求,我們原來監(jiān)控是以每一個應用+一個數(shù)據(jù)庫,但是我們發(fā)現(xiàn)我們的監(jiān)控數(shù)據(jù),當我們的OS大概到3000,我一個表很難保存一個月,我們需要這么多,所以我們又搭了一套類似的數(shù)據(jù)庫,這個數(shù)據(jù)庫是用的阿里的軟件,下面是17個數(shù)據(jù)庫,實現(xiàn)了分離,現(xiàn)在跑還是整體性能還不錯.

后面我們這套架構也是推動到我們的mycall流通平臺在用這個架構.

這是我們現(xiàn)在在工具層面的技術站.

還有我們在建設工具化的過程當中,我們把工具分為兩大塊,一塊是重型工具,一塊是輕型工具,重型工具包括自動化部署、日志系統(tǒng),我們往往是以成熟產(chǎn)品為主.但是還有很多工具,應用數(shù)據(jù)維護,包括腳本,包括運營活動的時候要快速給業(yè)務報表展示,我們是走的綜合人員能力投入產(chǎn)出比的因素,我們是逐步去做自主開發(fā),后面會有一個例子給大家看一看.

我們的重型工具是集中監(jiān)控,我們的集中監(jiān)控基本上覆蓋了總行從基礎設施到系統(tǒng)網(wǎng)絡再到應用可用性安全,還有分行的情況我們都已經(jīng)覆蓋到了.

中間的工具我們也是比較多,我沒有讓一個工具實現(xiàn)所有的功能,我們只是說讓這些工具把他的事件能夠往上拋,跑到我們的平臺上讓它整合,再到上的平臺能力,再往上是智能學習的監(jiān)控.我們的監(jiān)控主要原則也是不漏報、不誤報的要求.

我舉個例子,這是我們的集中監(jiān)控的例子,我們可以把多個系統(tǒng)做整合,這是多種形式的展示,這是Web端,這是大屏,現(xiàn)在整大片有三個左右,我們的雙11運維活動都用這個.

 

這是我們把指標做一個平臺,比如像雙11的時候,我們的電子支付模塊有30臺服務器,我們可以放在上面,能告訴他到底是哪一臺出問題了,當出問題的時候,我們把這一臺停掉或者應用方案.

這個方案我們在很多活動推廣的時候,這個產(chǎn)品經(jīng)常在用.我們也把監(jiān)控下放到網(wǎng)點,原來監(jiān)控在總行的服務器,我們在分行里面把分行的終端也都收上來.包括我們也把一些監(jiān)控數(shù)據(jù)上收,借鑒360安全評分系統(tǒng).這是分行數(shù)據(jù)收集的利用,這是我們對CMDB的擴展,我們把它擴展到應用題,我們把應用的關系圖也拖到里面.

這是事件豐富,比如這個告訴我銀聯(lián)要交易超過多少筆,我們就把CMDB的數(shù)據(jù)評價,這是波動情況,這是CPU內(nèi)存,包括最近半小時的事件,我們都整合在事件豐富里面,這樣我們的管理員在處理故障的時候可以更高效.

工具化,輕量型的工具,我們借鑒工廠,我們鼓勵大家用這個工具,每個人做一個工具發(fā)布在這里,大家可以能去看.

小工具,我舉一個例子,我們?nèi)迅^當中的服務啟停,我們這些同學去做也做得很好,現(xiàn)在做的版本1,實現(xiàn)批量或者單個做啟停,啟停當中模擬的CMDB的界面,或者是保留現(xiàn)場,都保留在這里面.

我們還支持一些日志、數(shù)據(jù)庫進程的檢查,其實把我們比較好的同事應急的處理方法整合在一個界面里.這種是屬于我們認為是小型的工具,這個是我們的服務化的思路,我們下面每一個工具都要向上拋接口,通過一個服務器層,你在界面可以看到我這個接口上面的一些測試,我在開發(fā)過程當中也可以通過這個接口去選.

這是可視化,我們也會分專業(yè)視圖、管理視圖、業(yè)務視圖,這些都是我們做出來的界面,這是大屏,這是一個實時動態(tài)的圖.

這個是我們的產(chǎn)品的,這兩個是我們做的.這個是我們統(tǒng)一的門戶,我們統(tǒng)一的門戶把所有工具放在這里面,我們讓我們的控制臺把待辦法放在這里面.有些比較經(jīng)常用的像監(jiān)控就嵌入里面,像比較小的工具,我們就用鏈接的方式.

未來我們一方面是做好自動化,來解決我們的一些痛點.還有我們要結(jié)合大數(shù)據(jù)去放眼智能.我本來改了一稿,里面還有一些東西,這不是最新的一稿.謝謝大家!

文章來自微信公眾號：云計算開源產(chǎn)業(yè)聯(lián)盟

轉(zhuǎn)載請注明本頁網(wǎng)址：
http://www.fzlkiss.com/jiaocheng/4209.html