【正文】 rchar(60)Varchar(16)varchar(60)varchar(60)varchar(60)客戶所在州客戶郵碼客戶所在國家客戶所在行業(yè)領(lǐng)域客戶所在地區(qū)審計(jì)概要表（uaud_sum）如表32所示，該表可以說是一個關(guān)聯(lián)表，主要記錄了一個客戶在何時(shí)做了一次怎樣的審計(jì)，通過客戶ID作為外鍵，可以較為方便的查找到該客戶的具體審計(jì)信息。它與客戶信息表是一對多的關(guān)系，因?yàn)橐粋€客戶應(yīng)會有多次審計(jì)。表32 審計(jì)概要表描述域名 域類型 域描述oid_aud_sumuaud_run_dateucst_eu_numbigintDatetimevarchar(16)審計(jì)概要表ID審計(jì)程序運(yùn)行時(shí)間客戶ID號應(yīng)用信息表（uapp_info）如表33所示。由于一個產(chǎn)品往往包含了多個應(yīng)用，審計(jì)概要表和應(yīng)用信息表是一對多的關(guān)系。這里需要說明的是許可權(quán)的類型。許可權(quán)有兩種類型：并發(fā)和記名。并發(fā)指的是同一時(shí)間訪問應(yīng)用的客戶數(shù)不能超過所購買的許可權(quán)數(shù)量，而記名則是給客戶提供許可權(quán)數(shù)量的用戶名與密碼，本質(zhì)上是對客戶端的限制，而并發(fā)其實(shí)更多的是對服務(wù)器的限制。這張表中的內(nèi)容是從上文提過的lr*.prn文件中分析計(jì)算出的。表33 應(yīng)用信息表描述域名 域類型 域描述oid_uapp_infooid_aud_sumuapp_nameuapp_lic_typeuapp_lic_coutuapp_versionbigintbigintvarchar(30)varchar(30)bigintvarchar(30)應(yīng)用信息表ID審計(jì)概要表ID應(yīng)用名許可權(quán)類型許可權(quán)數(shù)量應(yīng)用版本 模塊描述表（umod_det）如表34所示。這張表是從外部數(shù)據(jù)庫中直接灌入數(shù)據(jù)庫中的，由于在系統(tǒng)內(nèi)模塊都是采用了簡寫，因此可能會模塊表示的實(shí)際作用并不明了，有了這張表，會在一定程度上起解釋說明的作用，更便于讀審計(jì)結(jié)果報(bào)表的人理解使用情況。表34 模塊描述表描述域名 域類型 域描述umod_codeumod_descVarchar(30)Varchar(50)模塊名模塊描述類似的，還特地設(shè)置了程序描述表（upg_det），如表35所示。它對運(yùn)行的程序做了簡單的描述。表35 程序描述表描述 域名 域類型 域描述upg_programupg_descVarchar(50)Varchar(50)程序名程序描述 最后一張表，程序使用情況表（upg_usg）如表36所示。由于一個應(yīng)用下必然有多個程序組成，那么應(yīng)用信息表與程序信息表的一對多關(guān)系也很容易理解。另外，表中還記錄了該程序所對應(yīng)的模塊名以及運(yùn)行該程序所使用的菜單號，程序運(yùn)行次數(shù)等信息。由于部分客戶需要，客戶還可以在應(yīng)用中加入自定義的程序，這些程序的自定義有一定的標(biāo)準(zhǔn)，往往需要以xx為頭作為自定義程序的文件名。該表中內(nèi)容是有as*.prn中內(nèi)容提取出來的。表36 程序信息表描述 域名 域類型 域描述oid_upg_usgoid_uapp_infoupg_module_codeupg_programupg_menuupg_occurupg_std_custombigintbigintvarchar(30)varchar(30)varchar(30)intvarchar(30)程序ID/表主鍵對應(yīng)應(yīng)用ID號模塊代碼名程序名菜單號程序運(yùn)行次數(shù)程序類型（標(biāo)準(zhǔn)/自定義） 以上就是將歷史數(shù)據(jù)中的有用信息分析提取并存入數(shù)據(jù)庫的大致情況。這些數(shù)據(jù)庫中的數(shù)據(jù)將作為數(shù)據(jù)源供OLAP和數(shù)據(jù)挖掘進(jìn)行使用。這將在后面的章節(jié)中詳細(xì)說明。 本章小結(jié) 本章分兩部分詳細(xì)介紹了歷史數(shù)據(jù)的分析整理、過濾、數(shù)據(jù)提取、數(shù)據(jù)庫存儲的一系列過程。數(shù)據(jù)的過濾是為了能更高效的進(jìn)行數(shù)據(jù)處理，而為了程序的可復(fù)用性與靈活性等方面的考慮，我們更是以任務(wù)（Task）的形式進(jìn)行編碼，將處理過程分成粒度適中的幾個不同任務(wù)分別進(jìn)行實(shí)現(xiàn)，最后組合完成處理的處理過程。另外，我們還詳細(xì)介紹了數(shù)據(jù)庫表的設(shè)計(jì)，這些數(shù)據(jù)庫中的文件將為后面的OLAP提供高效的數(shù)據(jù)源。 第四章 OLAP的應(yīng)用 OLAP技術(shù)概述聯(lián)機(jī)分析處理（OLAP）。他認(rèn)為SQL對大型數(shù)據(jù)庫進(jìn)行的簡單查詢已不能滿足終端用戶決策分析的需要，因此提出了多維數(shù)據(jù)庫和多維分析的概念，這就是OLAP。其技術(shù)核心是“維”的概念。維屬于高層次的類型劃分，同時(shí)包含著層次關(guān)系，為我們觀察審計(jì)信息提供了不同角度，并能靈活的對不同維上的數(shù)據(jù)進(jìn)行比較。OLAP具有以下特點(diǎn) [3] ：快速性：用戶對OLAP的快速反應(yīng)能力有很高的要求，系統(tǒng)應(yīng)能在五秒內(nèi)對用戶的大部分分析要求做出反應(yīng)?？煞治鲂裕篛LAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。用戶既可以在OLAP平臺上進(jìn)行數(shù)據(jù)分析，也可以連接到其他外部分析工具上，如數(shù)據(jù)挖掘工具等[4]。多維性：這是OLAP的關(guān)鍵屬性。系統(tǒng)必須提供對數(shù)據(jù)的多維視圖和分析，包括對層次維和多重層次維德完全支持。信息性：不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲在何處，OLAP系統(tǒng)應(yīng)能及時(shí)獲得信息，并管理大容量的信息。共享性：這意味著系統(tǒng)要能夠符合數(shù)據(jù)保密的安全要求，即使多個用戶同時(shí)使用，也能夠根據(jù)用戶所屬的安全級別，讓他們只能看到他們應(yīng)該看到的信息。OLAP有多種實(shí)現(xiàn)方法，根據(jù)存儲數(shù)據(jù)的不同可以分為以下三種不同的存儲模式：多維OLAP（Multidimensional OLAP, MOLAP）：以多維數(shù)據(jù)組的方式存儲數(shù)據(jù)。多維數(shù)據(jù)在存儲中將形成“立方體（Cube）”結(jié)構(gòu)，在MOLAP中隊(duì)“立方體”的旋轉(zhuǎn)、切塊、切片時(shí)產(chǎn)生多維數(shù)據(jù)報(bào)表的主要技術(shù)。關(guān)系OLAP（Relational OLAP, ROLAP）：即以關(guān)系數(shù)據(jù)庫為核心，以關(guān)系型結(jié)構(gòu)存儲多維數(shù)據(jù)。這就出現(xiàn)了兩類表：一類是事實(shí)表，用來存儲數(shù)據(jù)和維關(guān)鍵字；另一類是維表，存放有維德層次、成員類別等維德描述信息。維表和事實(shí)表通過關(guān)鍵字和外鍵聯(lián)系在一起，可形成典型的“星型模式”。對于層次復(fù)雜的維，為避免冗余數(shù)據(jù)占用過大的存儲空間，可以使用多個表來描述，這種星型模式的擴(kuò)展陳偉“雪花模式”?；旌螼LAP（Hybrid OLAP, HOLAP）：表示基于混合數(shù)據(jù)組織的OLAP實(shí)現(xiàn)，是MOLAP與ROLAP兩種結(jié)構(gòu)技術(shù)特點(diǎn)的有機(jī)結(jié)合，能充分滿足用戶各種復(fù)雜的分析請求。在HOLAP中，對最常用的維度和維層次使用多維數(shù)據(jù)來存儲，對于不常用的維度和數(shù)據(jù)，采用ROLAP星型結(jié)構(gòu)來存儲。其中MOLAP是最常見的，它能夠提供最佳的響應(yīng)時(shí)間。由于審計(jì)歷史數(shù)據(jù)多維數(shù)據(jù)模型的預(yù)聚集程度不高，為了提高系統(tǒng)的響應(yīng)速度，綜合ROLAP組織數(shù)據(jù)的特點(diǎn)和MOLAP多維形式存儲的優(yōu)點(diǎn)，利用關(guān)系數(shù)據(jù)庫存儲細(xì)節(jié)數(shù)據(jù)，將基本事實(shí)數(shù)據(jù)和匯總數(shù)據(jù)以多維形式進(jìn)行存儲。 維度、度量及立方體的設(shè)計(jì) 維度的設(shè)計(jì)OLAP最終的特性是多維性，因此要實(shí)現(xiàn)OLAP首先要建立多維數(shù)據(jù)庫。而多維數(shù)據(jù)是根據(jù)維中的信息來組織和分組的，因此必須首先創(chuàng)建用來組織數(shù)據(jù)的維度。維度一般都包含了層次關(guān)系，每個層次包含一個或多個維成員，它為實(shí)現(xiàn)低層概念映射到高層概念提供了方法，也為數(shù)據(jù)的上鉆、下鉆操作提供了基礎(chǔ)。在本項(xiàng)目中，主要涉及到三個維度，即客戶維，產(chǎn)品維和時(shí)間維，其設(shè)計(jì)圖如圖41所示。一個維的成員包含一組屬性。在客戶維中，成員包含的屬性例如區(qū)域（region）、國家（country）、所屬行業(yè)（vertical）等。在維表中的每一列都可以是成員的屬性。屬性可以包含屬性之間的關(guān)系。例如，國家包含許多州，州包含許多城市，這些關(guān)系形成層次，如圖41中客戶維的地理維度所示。圖41 維度層次設(shè)計(jì)圖每個層次都有名稱。在圖41中，在客戶維中的一個層次的名稱為地理維度。Region、Country、State、City和Name是層次的級別。層次是在OLAP中非常重要的概念，層次的級別是聚集的基本單元。用戶可以查詢在層次的不同級別上聚集的數(shù)據(jù)，例如，查詢在華盛頓州中全部產(chǎn)品許可權(quán)的銷售數(shù)量。地理層次是自然的層次，級別之間存在自然的關(guān)系。但也可以定義沒有自然關(guān)系的屬性層次。比如圖41中客戶維所創(chuàng)建的層次Vertical Name。在該層次的基礎(chǔ)上，通過客戶所在的行業(yè)領(lǐng)域，對他們進(jìn)行了劃分。本項(xiàng)目中的時(shí)間維是自然的層次。按照自然的層次度將審計(jì)時(shí)間細(xì)化到年月日。理論上應(yīng)該還有時(shí)分秒的層次。但是考慮到粒度不應(yīng)該太細(xì)，所以只細(xì)分到天的層次上。最后就是產(chǎn)品維的設(shè)計(jì)。一個客戶可能選擇了多種產(chǎn)品同時(shí)使用，而每個產(chǎn)品是有多個模塊組成，模塊里又有不同的菜單號對功能進(jìn)行實(shí)現(xiàn)，而菜單的實(shí)現(xiàn)又需要多個程序進(jìn)行支持，這就構(gòu)建出了一個產(chǎn)品維。另外，針對產(chǎn)品的版本和許可權(quán)類型，又可以在產(chǎn)品級別上進(jìn)行分層，同時(shí)根據(jù)程序是標(biāo)準(zhǔn)還是自定義；查詢還是維護(hù)，又可以在程序級別上進(jìn)行分層。具體的設(shè)計(jì)如圖41中的產(chǎn)品維設(shè)計(jì)所示。 度量的設(shè)計(jì)度量是立方體要聚集的數(shù)值類型的值，他們都是基于事實(shí)表的數(shù)值列。我們共設(shè)計(jì)了六個度量列：Program Usage、Audited Customer、Licence Count、Licence Instance、Audited Site、Valid Audit。度量是終端用戶在瀏覽立方體時(shí)主要感興趣的數(shù)值類型和數(shù)據(jù)。每個度量都指定了聚集函數(shù)，該函數(shù)決定了在度量的源列中值是如何聚集的，聚集函數(shù)包括Sum、Min、Max、Average和Distinct Count等。其中Program Usage是對程序使用的Sum函數(shù)計(jì)算了程序的總使用數(shù)；Audited Customer定義了DistinctCount函數(shù)，統(tǒng)計(jì)了審計(jì)的客戶數(shù)量；Licence Count定義了Sum函數(shù)，是對客戶購買許可權(quán)的總和的計(jì)算；Licence Instance定義了Count函數(shù)，計(jì)算了客戶購買許可權(quán)的單位數(shù)，也可以理解為客戶購買許可權(quán)的產(chǎn)品數(shù)量；Audited Site同樣定義了Count函數(shù)，計(jì)算了客戶有效審計(jì)文件的個數(shù)，以一對lr*.prn 和ad*.prn的存在作為一次有效文件；最后的Valid Audit是DistinctCount函數(shù)，計(jì)算了有效審計(jì)的客戶數(shù)量。這些度量值將作為事實(shí)表中的屬性進(jìn)行存儲。具體的事實(shí)表與維表的設(shè)計(jì)將在下節(jié)中詳細(xì)介紹。 事實(shí)表和維表的設(shè)計(jì)根據(jù)上述確定的維度及度量的設(shè)計(jì)，則本課題有關(guān)事實(shí)表和維表的詳細(xì)設(shè)計(jì)如下：事實(shí)表：審計(jì)事實(shí)表(Audit_Fact)：審計(jì)時(shí)間編號(Time_id)，客戶編號(Customer_id)，產(chǎn)品編號(Product_id)，程序使用率(Program_usage)，許可權(quán)數(shù)量(Licence_cout)，許可權(quán)實(shí)例數(shù)(Licence_instance)，審計(jì)文件對數(shù)(Audited_site)，…。維表：客戶維：客戶編號，客戶姓名，區(qū)域，國家，州，城市，所在行業(yè)。時(shí)間維：時(shí)間編號，日期，日，月，年。產(chǎn)品維：產(chǎn)品編號，產(chǎn)品名，版本，許可權(quán)類型，模塊名，程序名，程序設(shè)計(jì)性質(zhì)，程序目的性質(zhì)等。產(chǎn)品維表查找表：模塊定義表：模塊名，模塊描述。程序定義表：程序名，程序代碼，程序描述。本模型采用了雪花模式，多維結(jié)構(gòu)模式設(shè)計(jì)圖如圖42所示。圖42 審計(jì)數(shù)據(jù)的雪花模式圖 如圖所示，Audit Fact是事實(shí)表，包含了所有的審計(jì)數(shù)據(jù)，Customer、Audit Time和Product都是維表。事實(shí)表是完全規(guī)范化的，它通過外鍵連接維表。除了外鍵，事實(shí)表還包含了一組數(shù)值型的列，這些列都是上節(jié)所設(shè)計(jì)的度量。在設(shè)計(jì)中，我們將規(guī)范化了模塊和程序的相關(guān)屬性，單獨(dú)創(chuàng)建了Moudle_des和Program_des這兩張表，作為Product的查找表，因此形成了數(shù)據(jù)庫模式的雪花模式。 建立審計(jì)多維數(shù)據(jù)模型在對維度、度量、立方體進(jìn)行設(shè)計(jì)后，我們就可以利用SSAS在OLAP服務(wù)器上創(chuàng)建多維數(shù)據(jù)模型。為了追求查詢效率，選擇合適的立方體處理和存儲方式就比較重要。：ROLAP、MOLAP和HOLAP。使用ROLAP時(shí)，數(shù)據(jù)應(yīng)存儲在關(guān)系表中，這些表具有關(guān)系型數(shù)據(jù)格式并且可以查看，但ROLAP所需的存儲空間較小，查詢時(shí)間較長。就常用歷史數(shù)據(jù)和大多數(shù)數(shù)據(jù)倉庫而言，MOLAP是最好的選擇，如果要創(chuàng)建一個能夠經(jīng)常查詢的高效能數(shù)據(jù)立方體，MOLAP將提供最好的效能。而本應(yīng)用綜合了ROLAP組織數(shù)據(jù)的特點(diǎn)和MOLAP多維形式存儲的優(yōu)點(diǎn)，利用關(guān)系數(shù)據(jù)庫存儲沒有維層次的細(xì)節(jié)數(shù)據(jù)，而將基本事實(shí)數(shù)據(jù)和匯總數(shù)據(jù)以多維形式進(jìn)行存儲。圖43顯示的就是利用SSAS在OLAP服務(wù)器上建立的多維數(shù)據(jù)模型圖。圖43 SSAS中建立的立方體結(jié)構(gòu)圖立方體在OLAP服務(wù)器上以多維方式進(jìn)行存儲，內(nèi)容是事實(shí)表基本數(shù)據(jù)和匯總。系統(tǒng)自己會推導(dǎo)出多維數(shù)據(jù)層次之間數(shù)據(jù)的相關(guān)計(jì)算，不必由用戶去定義。多維方式由于匯總程度比較高，所以具有較快的響應(yīng)速度，適合要快速響應(yīng)的需求[5]。由于立方體在創(chuàng)建時(shí)只反映了創(chuàng)建時(shí)的數(shù)據(jù)情況，為了使立方體和OLAP數(shù)據(jù)庫保持同步，當(dāng)用戶向OLAP數(shù)據(jù)庫中添加新采集的數(shù)據(jù)后需要對立方體進(jìn)行更新處理。SSAS提供了三種更新方式：完全處理、增量更新及立方體結(jié)果刷新。完全處理常用于當(dāng)立方體結(jié)構(gòu)發(fā)生變化時(shí)，如添加一個新建的維度，這是需要對立方體進(jìn)行重建。但一般來說使用增量更新及立方體結(jié)果刷新更為常用，效率也較高，如對數(shù)據(jù)庫事實(shí)表進(jìn)行更新等。根據(jù)OLAP的多維性，我們可以利用SSAS自帶的瀏覽器功能，對多維數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行OLAP分析，主要表現(xiàn)在可以進(jìn)行切片、切塊、下鉆、旋轉(zhuǎn)等操作。根據(jù)選擇不同的維德組合，顯示想要進(jìn)行分析的數(shù)據(jù)及其匯總等。