【正文】 rchar(60)Varchar(16)varchar(60)varchar(60)varchar(60)客戶所在州客戶郵碼客戶所在國家客戶所在行業(yè)領(lǐng)域客戶所在地區(qū)審計概要表（uaud_sum）如表32所示，該表可以說是一個關(guān)聯(lián)表，主要記錄了一個客戶在何時做了一次怎樣的審計，通過客戶ID作為外鍵，可以較為方便的查找到該客戶的具體審計信息。它與客戶信息表是一對多的關(guān)系，因為一個客戶應(yīng)會有多次審計。表32 審計概要表描述域名 域類型 域描述oid_aud_sumuaud_run_dateucst_eu_numbigintDatetimevarchar(16)審計概要表ID審計程序運行時間客戶ID號應(yīng)用信息表（uapp_info）如表33所示。由于一個產(chǎn)品往往包含了多個應(yīng)用，審計概要表和應(yīng)用信息表是一對多的關(guān)系。這里需要說明的是許可權(quán)的類型。許可權(quán)有兩種類型：并發(fā)和記名。并發(fā)指的是同一時間訪問應(yīng)用的客戶數(shù)不能超過所購買的許可權(quán)數(shù)量，而記名則是給客戶提供許可權(quán)數(shù)量的用戶名與密碼，本質(zhì)上是對客戶端的限制，而并發(fā)其實更多的是對服務(wù)器的限制。這張表中的內(nèi)容是從上文提過的lr*.prn文件中分析計算出的。表33 應(yīng)用信息表描述域名 域類型 域描述oid_uapp_infooid_aud_sumuapp_nameuapp_lic_typeuapp_lic_coutuapp_versionbigintbigintvarchar(30)varchar(30)bigintvarchar(30)應(yīng)用信息表ID審計概要表ID應(yīng)用名許可權(quán)類型許可權(quán)數(shù)量應(yīng)用版本 模塊描述表（umod_det）如表34所示。這張表是從外部數(shù)據(jù)庫中直接灌入數(shù)據(jù)庫中的，由于在系統(tǒng)內(nèi)模塊都是采用了簡寫，因此可能會模塊表示的實際作用并不明了，有了這張表，會在一定程度上起解釋說明的作用，更便于讀審計結(jié)果報表的人理解使用情況。表34 模塊描述表描述域名 域類型 域描述umod_codeumod_descVarchar(30)Varchar(50)模塊名模塊描述類似的，還特地設(shè)置了程序描述表（upg_det），如表35所示。它對運行的程序做了簡單的描述。表35 程序描述表描述 域名 域類型 域描述upg_programupg_descVarchar(50)Varchar(50)程序名程序描述 最后一張表，程序使用情況表（upg_usg）如表36所示。由于一個應(yīng)用下必然有多個程序組成，那么應(yīng)用信息表與程序信息表的一對多關(guān)系也很容易理解。另外，表中還記錄了該程序所對應(yīng)的模塊名以及運行該程序所使用的菜單號，程序運行次數(shù)等信息。由于部分客戶需要，客戶還可以在應(yīng)用中加入自定義的程序，這些程序的自定義有一定的標(biāo)準，往往需要以xx為頭作為自定義程序的文件名。該表中內(nèi)容是有as*.prn中內(nèi)容提取出來的。表36 程序信息表描述 域名 域類型 域描述oid_upg_usgoid_uapp_infoupg_module_codeupg_programupg_menuupg_occurupg_std_custombigintbigintvarchar(30)varchar(30)varchar(30)intvarchar(30)程序ID/表主鍵對應(yīng)應(yīng)用ID號模塊代碼名程序名菜單號程序運行次數(shù)程序類型（標(biāo)準/自定義） 以上就是將歷史數(shù)據(jù)中的有用信息分析提取并存入數(shù)據(jù)庫的大致情況。這些數(shù)據(jù)庫中的數(shù)據(jù)將作為數(shù)據(jù)源供OLAP和數(shù)據(jù)挖掘進行使用。這將在后面的章節(jié)中詳細說明。 本章小結(jié) 本章分兩部分詳細介紹了歷史數(shù)據(jù)的分析整理、過濾、數(shù)據(jù)提取、數(shù)據(jù)庫存儲的一系列過程。數(shù)據(jù)的過濾是為了能更高效的進行數(shù)據(jù)處理，而為了程序的可復(fù)用性與靈活性等方面的考慮，我們更是以任務(wù)（Task）的形式進行編碼，將處理過程分成粒度適中的幾個不同任務(wù)分別進行實現(xiàn)，最后組合完成處理的處理過程。另外，我們還詳細介紹了數(shù)據(jù)庫表的設(shè)計，這些數(shù)據(jù)庫中的文件將為后面的OLAP提供高效的數(shù)據(jù)源。 第四章 OLAP的應(yīng)用 OLAP技術(shù)概述聯(lián)機分析處理（OLAP）。他認為SQL對大型數(shù)據(jù)庫進行的簡單查詢已不能滿足終端用戶決策分析的需要，因此提出了多維數(shù)據(jù)庫和多維分析的概念，這就是OLAP。其技術(shù)核心是“維”的概念。維屬于高層次的類型劃分，同時包含著層次關(guān)系，為我們觀察審計信息提供了不同角度，并能靈活的對不同維上的數(shù)據(jù)進行比較。OLAP具有以下特點 [3] ：快速性：用戶對OLAP的快速反應(yīng)能力有很高的要求，系統(tǒng)應(yīng)能在五秒內(nèi)對用戶的大部分分析要求做出反應(yīng)?？煞治鲂裕篛LAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計分析。用戶既可以在OLAP平臺上進行數(shù)據(jù)分析，也可以連接到其他外部分析工具上，如數(shù)據(jù)挖掘工具等[4]。多維性：這是OLAP的關(guān)鍵屬性。系統(tǒng)必須提供對數(shù)據(jù)的多維視圖和分析，包括對層次維和多重層次維德完全支持。信息性：不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲在何處，OLAP系統(tǒng)應(yīng)能及時獲得信息，并管理大容量的信息。共享性：這意味著系統(tǒng)要能夠符合數(shù)據(jù)保密的安全要求，即使多個用戶同時使用，也能夠根據(jù)用戶所屬的安全級別，讓他們只能看到他們應(yīng)該看到的信息。OLAP有多種實現(xiàn)方法，根據(jù)存儲數(shù)據(jù)的不同可以分為以下三種不同的存儲模式：多維OLAP（Multidimensional OLAP, MOLAP）：以多維數(shù)據(jù)組的方式存儲數(shù)據(jù)。多維數(shù)據(jù)在存儲中將形成“立方體（Cube）”結(jié)構(gòu)，在MOLAP中隊“立方體”的旋轉(zhuǎn)、切塊、切片時產(chǎn)生多維數(shù)據(jù)報表的主要技術(shù)。關(guān)系OLAP（Relational OLAP, ROLAP）：即以關(guān)系數(shù)據(jù)庫為核心，以關(guān)系型結(jié)構(gòu)存儲多維數(shù)據(jù)。這就出現(xiàn)了兩類表：一類是事實表，用來存儲數(shù)據(jù)和維關(guān)鍵字；另一類是維表，存放有維德層次、成員類別等維德描述信息。維表和事實表通過關(guān)鍵字和外鍵聯(lián)系在一起，可形成典型的“星型模式”。對于層次復(fù)雜的維，為避免冗余數(shù)據(jù)占用過大的存儲空間，可以使用多個表來描述，這種星型模式的擴展陳偉“雪花模式”?；旌螼LAP（Hybrid OLAP, HOLAP）：表示基于混合數(shù)據(jù)組織的OLAP實現(xiàn)，是MOLAP與ROLAP兩種結(jié)構(gòu)技術(shù)特點的有機結(jié)合，能充分滿足用戶各種復(fù)雜的分析請求。在HOLAP中，對最常用的維度和維層次使用多維數(shù)據(jù)來存儲，對于不常用的維度和數(shù)據(jù)，采用ROLAP星型結(jié)構(gòu)來存儲。其中MOLAP是最常見的，它能夠提供最佳的響應(yīng)時間。由于審計歷史數(shù)據(jù)多維數(shù)據(jù)模型的預(yù)聚集程度不高，為了提高系統(tǒng)的響應(yīng)速度，綜合ROLAP組織數(shù)據(jù)的特點和MOLAP多維形式存儲的優(yōu)點，利用關(guān)系數(shù)據(jù)庫存儲細節(jié)數(shù)據(jù)，將基本事實數(shù)據(jù)和匯總數(shù)據(jù)以多維形式進行存儲。 維度、度量及立方體的設(shè)計 維度的設(shè)計OLAP最終的特性是多維性，因此要實現(xiàn)OLAP首先要建立多維數(shù)據(jù)庫。而多維數(shù)據(jù)是根據(jù)維中的信息來組織和分組的，因此必須首先創(chuàng)建用來組織數(shù)據(jù)的維度。維度一般都包含了層次關(guān)系，每個層次包含一個或多個維成員，它為實現(xiàn)低層概念映射到高層概念提供了方法，也為數(shù)據(jù)的上鉆、下鉆操作提供了基礎(chǔ)。在本項目中，主要涉及到三個維度，即客戶維，產(chǎn)品維和時間維，其設(shè)計圖如圖41所示。一個維的成員包含一組屬性。在客戶維中，成員包含的屬性例如區(qū)域（region）、國家（country）、所屬行業(yè)（vertical）等。在維表中的每一列都可以是成員的屬性。屬性可以包含屬性之間的關(guān)系。例如，國家包含許多州，州包含許多城市，這些關(guān)系形成層次，如圖41中客戶維的地理維度所示。圖41 維度層次設(shè)計圖每個層次都有名稱。在圖41中，在客戶維中的一個層次的名稱為地理維度。Region、Country、State、City和Name是層次的級別。層次是在OLAP中非常重要的概念，層次的級別是聚集的基本單元。用戶可以查詢在層次的不同級別上聚集的數(shù)據(jù)，例如，查詢在華盛頓州中全部產(chǎn)品許可權(quán)的銷售數(shù)量。地理層次是自然的層次，級別之間存在自然的關(guān)系。但也可以定義沒有自然關(guān)系的屬性層次。比如圖41中客戶維所創(chuàng)建的層次Vertical Name。在該層次的基礎(chǔ)上，通過客戶所在的行業(yè)領(lǐng)域，對他們進行了劃分。本項目中的時間維是自然的層次。按照自然的層次度將審計時間細化到年月日。理論上應(yīng)該還有時分秒的層次。但是考慮到粒度不應(yīng)該太細，所以只細分到天的層次上。最后就是產(chǎn)品維的設(shè)計。一個客戶可能選擇了多種產(chǎn)品同時使用，而每個產(chǎn)品是有多個模塊組成，模塊里又有不同的菜單號對功能進行實現(xiàn)，而菜單的實現(xiàn)又需要多個程序進行支持，這就構(gòu)建出了一個產(chǎn)品維。另外，針對產(chǎn)品的版本和許可權(quán)類型，又可以在產(chǎn)品級別上進行分層，同時根據(jù)程序是標(biāo)準還是自定義；查詢還是維護，又可以在程序級別上進行分層。具體的設(shè)計如圖41中的產(chǎn)品維設(shè)計所示。 度量的設(shè)計度量是立方體要聚集的數(shù)值類型的值，他們都是基于事實表的數(shù)值列。我們共設(shè)計了六個度量列：Program Usage、Audited Customer、Licence Count、Licence Instance、Audited Site、Valid Audit。度量是終端用戶在瀏覽立方體時主要感興趣的數(shù)值類型和數(shù)據(jù)。每個度量都指定了聚集函數(shù)，該函數(shù)決定了在度量的源列中值是如何聚集的，聚集函數(shù)包括Sum、Min、Max、Average和Distinct Count等。其中Program Usage是對程序使用的Sum函數(shù)計算了程序的總使用數(shù)；Audited Customer定義了DistinctCount函數(shù)，統(tǒng)計了審計的客戶數(shù)量；Licence Count定義了Sum函數(shù)，是對客戶購買許可權(quán)的總和的計算；Licence Instance定義了Count函數(shù)，計算了客戶購買許可權(quán)的單位數(shù)，也可以理解為客戶購買許可權(quán)的產(chǎn)品數(shù)量；Audited Site同樣定義了Count函數(shù)，計算了客戶有效審計文件的個數(shù)，以一對lr*.prn 和ad*.prn的存在作為一次有效文件；最后的Valid Audit是DistinctCount函數(shù)，計算了有效審計的客戶數(shù)量。這些度量值將作為事實表中的屬性進行存儲。具體的事實表與維表的設(shè)計將在下節(jié)中詳細介紹。 事實表和維表的設(shè)計根據(jù)上述確定的維度及度量的設(shè)計，則本課題有關(guān)事實表和維表的詳細設(shè)計如下：事實表：審計事實表(Audit_Fact)：審計時間編號(Time_id)，客戶編號(Customer_id)，產(chǎn)品編號(Product_id)，程序使用率(Program_usage)，許可權(quán)數(shù)量(Licence_cout)，許可權(quán)實例數(shù)(Licence_instance)，審計文件對數(shù)(Audited_site)，…。維表：客戶維：客戶編號，客戶姓名，區(qū)域，國家，州，城市，所在行業(yè)。時間維：時間編號，日期，日，月，年。產(chǎn)品維：產(chǎn)品編號，產(chǎn)品名，版本，許可權(quán)類型，模塊名，程序名，程序設(shè)計性質(zhì)，程序目的性質(zhì)等。產(chǎn)品維表查找表：模塊定義表：模塊名，模塊描述。程序定義表：程序名，程序代碼，程序描述。本模型采用了雪花模式，多維結(jié)構(gòu)模式設(shè)計圖如圖42所示。圖42 審計數(shù)據(jù)的雪花模式圖 如圖所示，Audit Fact是事實表，包含了所有的審計數(shù)據(jù)，Customer、Audit Time和Product都是維表。事實表是完全規(guī)范化的，它通過外鍵連接維表。除了外鍵，事實表還包含了一組數(shù)值型的列，這些列都是上節(jié)所設(shè)計的度量。在設(shè)計中，我們將規(guī)范化了模塊和程序的相關(guān)屬性，單獨創(chuàng)建了Moudle_des和Program_des這兩張表，作為Product的查找表，因此形成了數(shù)據(jù)庫模式的雪花模式。 建立審計多維數(shù)據(jù)模型在對維度、度量、立方體進行設(shè)計后，我們就可以利用SSAS在OLAP服務(wù)器上創(chuàng)建多維數(shù)據(jù)模型。為了追求查詢效率，選擇合適的立方體處理和存儲方式就比較重要。：ROLAP、MOLAP和HOLAP。使用ROLAP時，數(shù)據(jù)應(yīng)存儲在關(guān)系表中，這些表具有關(guān)系型數(shù)據(jù)格式并且可以查看，但ROLAP所需的存儲空間較小，查詢時間較長。就常用歷史數(shù)據(jù)和大多數(shù)數(shù)據(jù)倉庫而言，MOLAP是最好的選擇，如果要創(chuàng)建一個能夠經(jīng)常查詢的高效能數(shù)據(jù)立方體，MOLAP將提供最好的效能。而本應(yīng)用綜合了ROLAP組織數(shù)據(jù)的特點和MOLAP多維形式存儲的優(yōu)點，利用關(guān)系數(shù)據(jù)庫存儲沒有維層次的細節(jié)數(shù)據(jù)，而將基本事實數(shù)據(jù)和匯總數(shù)據(jù)以多維形式進行存儲。圖43顯示的就是利用SSAS在OLAP服務(wù)器上建立的多維數(shù)據(jù)模型圖。圖43 SSAS中建立的立方體結(jié)構(gòu)圖立方體在OLAP服務(wù)器上以多維方式進行存儲，內(nèi)容是事實表基本數(shù)據(jù)和匯總。系統(tǒng)自己會推導(dǎo)出多維數(shù)據(jù)層次之間數(shù)據(jù)的相關(guān)計算，不必由用戶去定義。多維方式由于匯總程度比較高，所以具有較快的響應(yīng)速度，適合要快速響應(yīng)的需求[5]。由于立方體在創(chuàng)建時只反映了創(chuàng)建時的數(shù)據(jù)情況，為了使立方體和OLAP數(shù)據(jù)庫保持同步，當(dāng)用戶向OLAP數(shù)據(jù)庫中添加新采集的數(shù)據(jù)后需要對立方體進行更新處理。SSAS提供了三種更新方式：完全處理、增量更新及立方體結(jié)果刷新。完全處理常用于當(dāng)立方體結(jié)構(gòu)發(fā)生變化時，如添加一個新建的維度，這是需要對立方體進行重建。但一般來說使用增量更新及立方體結(jié)果刷新更為常用，效率也較高，如對數(shù)據(jù)庫事實表進行更新等。根據(jù)OLAP的多維性，我們可以利用SSAS自帶的瀏覽器功能，對多維數(shù)據(jù)集中的數(shù)據(jù)進行OLAP分析，主要表現(xiàn)在可以進行切片、切塊、下鉆、旋轉(zhuǎn)等操作。根據(jù)選擇不同的維德組合，顯示想要進行分析的數(shù)據(jù)及其匯總等。