《大數(shù)據(jù)環(huán)境下的多維分析技術(shù)--動態(tài)立方體的性能調(diào)優(yōu)（四）》要點：
本文介紹了大數(shù)據(jù)環(huán)境下的多維分析技術(shù)--動態(tài)立方體的性能調(diào)優(yōu)（四），希望對您有用。如果有疑問，可以聯(lián)系我們。

通過前期的文章,我們知道,通過IBM Cognos的Dynamic Cubes(動態(tài)立方體,下同)技術(shù)可以實現(xiàn)TB級的多維分析.為了提升查詢性能,動態(tài)立方體可以利用聚合感知能力,實現(xiàn)對聚合數(shù)據(jù)集的自動路由,從而實現(xiàn)對于復(fù)雜多維分析應(yīng)用的性能提升.在Dynamic Cubes里,聚合數(shù)據(jù)集包含內(nèi)存內(nèi)部聚合與數(shù)據(jù)庫內(nèi)部聚合兩種.本期文章我們來看看動態(tài)立方體如何使用數(shù)據(jù)庫內(nèi)部聚合來進行性能調(diào)優(yōu).

數(shù)據(jù)庫內(nèi)部聚合(Database aggregates)

對于關(guān)系數(shù)據(jù)庫里的那些超大規(guī)模的多維數(shù)據(jù)集(由事實表與維表構(gòu)成),為了提高特定的多維分析的查詢性能,可以創(chuàng)建一些聚合表來存儲高層匯總數(shù)據(jù).在設(shè)計Dynamic Cube模型時,將數(shù)據(jù)庫內(nèi)部聚合指定到對應(yīng)的聚合表,即可保證在查詢這些維度和指標(biāo)時,優(yōu)先使用聚合表的數(shù)據(jù),而不是直接到最細(xì)粒度的維表與事實內(nèi)外去查詢.這類聚合表,我們稱之為數(shù)據(jù)庫內(nèi)部聚合.

要想使用數(shù)據(jù)庫內(nèi)部聚合.首先,由DBA或者數(shù)據(jù)庫設(shè)計人員創(chuàng)建若干張聚合表.例如對于多維模型gosldw_sales(test),我們創(chuàng)建了一張聚合表AGGR_TIME_PROD_OM_FACT.如下圖所示.

這張表里面包括了多維模型使用時可能經(jīng)常用到的部分維度與度量,它并不是最細(xì)粒度的數(shù)據(jù)集.示例中,時間維度只到了季度層次,產(chǎn)品維度只到了產(chǎn)品類型層次.然后可以通過ETL辦法,定期將底層多維模型數(shù)據(jù)集的數(shù)據(jù)匯總后插入到該聚合表中.以下SQL語句示例供參考(只表現(xiàn)數(shù)據(jù)處理邏輯,物理性能參數(shù)應(yīng)由DBA負(fù)責(zé)確定)：

然后,在Cube designer里將此聚合表放到動態(tài)立方體的模型設(shè)計當(dāng)中,如下圖所示.

最后,在發(fā)布此Dynamic Cube后,就可以使用到該數(shù)據(jù)庫內(nèi)部聚合來加速多維分析性能了.

數(shù)據(jù)庫內(nèi)部聚合建議

也許您現(xiàn)在會提出一個問題,既然數(shù)據(jù)庫內(nèi)部聚合能夠提高多維分析查詢性能,那我如何確定聚合表應(yīng)該選擇哪些維度、哪些指標(biāo)來創(chuàng)建呢?這個問題Cognos已經(jīng)幫您考慮到了.在我們前期的文章《大數(shù)據(jù)環(huán)境下的多維分析技術(shù)-動態(tài)立方體(Dynamic Cubes)的性能調(diào)優(yōu)(二)》中提到,通過Dynamic Query Analyzer(簡稱DQA,下同)工具可以對動態(tài)立方體的查詢性能進行評估并得到優(yōu)化建議.這些優(yōu)化建議里就包含對數(shù)據(jù)庫內(nèi)部聚合的優(yōu)化建議.

在啟動對應(yīng)的動態(tài)立方體的工作負(fù)載記錄后,運行DQA工具,可以分析出用戶對于該動態(tài)立方體的查詢偏好,從而得到數(shù)據(jù)庫內(nèi)部聚合的設(shè)計思路.如下圖所示.DQA得出的建議有25條,每條建議都有說明從哪些維度查詢哪些指標(biāo),以及占用的數(shù)據(jù)空間大小.

通過下圖中的詳細(xì)查詢甚至可以得到對應(yīng)聚合表的數(shù)據(jù)來源和建表腳本.

數(shù)據(jù)庫內(nèi)部聚合的性能監(jiān)控

Cognos服務(wù)器還提供了對數(shù)據(jù)庫內(nèi)部聚合的監(jiān)控功能.它通過一些特定的分析指標(biāo)來持續(xù)分析動態(tài)立方體里數(shù)據(jù)庫內(nèi)部聚合的性能情況,來提示系統(tǒng)管理員如何持續(xù)優(yōu)化數(shù)據(jù)庫內(nèi)部聚合的設(shè)計.通過Cognos administration界面可以查看到數(shù)據(jù)庫內(nèi)部聚合的性能情況,如下圖所示.

由上圖可以看出,我們的數(shù)據(jù)庫內(nèi)部聚合命中率為0,說明設(shè)計不合理.對于數(shù)據(jù)庫內(nèi)部聚合的設(shè)計,我們有以下最佳實踐建議：

• 使用DQA來獲得聚合表的設(shè)計建議；
• 對于聚合表的設(shè)計,盡量將所有指標(biāo)都涵蓋到；
• 對于指標(biāo)的聚合規(guī)則,盡可能使用SUM和COUNT,而避免使用AVERAGE辦法；
• 使用非規(guī)范化的聚合表,不要使用表關(guān)聯(lián).

詳情請咨詢在線客服!

慧都控件｜提供軟件技術(shù)整體辦理方案

云集全球三千余款優(yōu)秀控件、軟件產(chǎn)物,提供行業(yè)領(lǐng)先的咨詢、培訓(xùn)與開發(fā)服務(wù) 企業(yè)QQ：800018081｜電話：023-66090381

維易PHP培訓(xùn)學(xué)院每天發(fā)布《大數(shù)據(jù)環(huán)境下的多維分析技術(shù)--動態(tài)立方體的性能調(diào)優(yōu)（四）》等實戰(zhàn)技能，PHP、MYSQL、LINUX、APP、JS,CSS全面培養(yǎng)人才。

轉(zhuǎn)載請注明本頁網(wǎng)址：
http://www.fzlkiss.com/jiaocheng/8687.html