【文章內(nèi)容簡介】 5第三章 數(shù)據(jù)處理與存儲(chǔ)6 數(shù)據(jù)的分析與處理6 歷史數(shù)據(jù)結(jié)構(gòu)與內(nèi)容概述6 歷史數(shù)據(jù)處理7 數(shù)據(jù)的存儲(chǔ)8 本章小結(jié)11第四章 OLAP的應(yīng)用12 OLAP技術(shù)概述12 維度、度量及立方體的設(shè)計(jì)12 維度的設(shè)計(jì)12 度量的設(shè)計(jì)13 事實(shí)表和維表的設(shè)計(jì)14 建立審計(jì)多維數(shù)據(jù)模型15 審計(jì)信息MDX多維查詢分析17 審計(jì)信息統(tǒng)計(jì)報(bào)表生成18 本章小結(jié)20第五章 數(shù)據(jù)挖掘的應(yīng)用21 數(shù)據(jù)挖掘技術(shù)概述21 基于決策樹算法的數(shù)據(jù)挖掘應(yīng)用22 決策樹算法的基本原理22 使用決策樹算法23 基于神經(jīng)網(wǎng)絡(luò)算法的數(shù)據(jù)挖掘應(yīng)用25 神經(jīng)網(wǎng)絡(luò)算法的基本原理25 使用神經(jīng)網(wǎng)絡(luò)算法26 本章小結(jié)27第六章 結(jié)論28 論文總結(jié)28 展望28參考文獻(xiàn)30謝辭3133 / 40第一章 緒論 QAD產(chǎn)品審計(jì)問題簡述及分析QAD (企安達(dá)) 公司是國際上著名的MRPII軟件公司，它于1979年在美國加州成立，是一家專門為制造業(yè)提供企業(yè)解決方案的供應(yīng)商。目前在全球范圍內(nèi)，已有遍布90個(gè)國家的6000個(gè)制造商企業(yè)使用了QAD的產(chǎn)品。隨著企業(yè)規(guī)模的擴(kuò)大及公司ERP軟件使用客戶數(shù)的增多，每年對產(chǎn)品使用情況作一次審計(jì)就顯得非常有必要。其產(chǎn)品審計(jì)的作用主要表現(xiàn)在以下兩方面：一方面，QAD的產(chǎn)品是通過軟件許可權(quán)（License）進(jìn)行收費(fèi)的，客戶根據(jù)自身需求可以選擇記名和并發(fā)兩種許可權(quán)方式，通過購買一定數(shù)量的許可權(quán)，對軟件進(jìn)行使用。但在實(shí)際使用過程中，為了不影響客戶的日常工作，QAD允許客戶有違反許可權(quán)的行為存在，比如同時(shí)使用軟件的人數(shù)超過了所購買的許可權(quán)數(shù)量。為此，就十分有必要通過每年的產(chǎn)品審計(jì)，發(fā)現(xiàn)那些有違反許可權(quán)使用情況的客戶，對他們進(jìn)行額外的補(bǔ)收費(fèi)，以保證公司方面的利益。另一方面，由于產(chǎn)品審計(jì)的數(shù)據(jù)是由客戶通過產(chǎn)品軟件的內(nèi)置菜單自動(dòng)生成，再由客戶將這些數(shù)據(jù)打包給公司，因此產(chǎn)品審計(jì)這一前期的數(shù)據(jù)搜集過程是需要客戶的支持的。為了激發(fā)客戶的積極性使得能更好的配合審計(jì)，公司認(rèn)為可以對這些產(chǎn)品使用數(shù)據(jù)進(jìn)行一定的分析，生成相應(yīng)的使用情況分析報(bào)表提供給客戶，讓他們明白自己在軟件的使用過程中，哪些模塊并未得到充分的利用等。同時(shí)公司自身的銷售與執(zhí)行管理層也希望通過審計(jì)的結(jié)果，了解目前產(chǎn)品和模塊在不同領(lǐng)域、不同區(qū)域的客戶處的使用頻率與使用量，從而能更好的指導(dǎo)新產(chǎn)品的開發(fā)方向，更是希望能從中得出每個(gè)領(lǐng)域的最佳實(shí)踐，以此來指導(dǎo)公司的客戶更好的使用產(chǎn)品，使他們物盡其用，物更有所值，最終達(dá)到雙贏的目的?；谝陨蟽牲c(diǎn)，同時(shí)考慮到歷史數(shù)據(jù)量的巨大性，因此公司特地建立了UCA（User Count Audit）for Master Bundle這個(gè)項(xiàng)目，并希望能通過此來較好的實(shí)現(xiàn)這些目標(biāo)，并且盡可能的高效、簡單，便于操作。 研究目的與意義計(jì)算機(jī)科學(xué)與信息技術(shù)的飛速發(fā)展，使得人類可以借助計(jì)算機(jī)為自己解決許多問題。但隨之而來，是我們每天面對的信息量不斷增多擴(kuò)大。在這樣的大環(huán)境下，對于一個(gè)企業(yè)而言，要想保持自己在行業(yè)內(nèi)的競爭優(yōu)勢，沒有處理大量數(shù)據(jù)的能力是不行的，以往的手工數(shù)據(jù)錄入、分析在海量的數(shù)據(jù)面前也是無能為力，更是低效，跟不上時(shí)代節(jié)奏的表現(xiàn)。于是乎，人們想到了數(shù)據(jù)庫技術(shù)，它能對現(xiàn)實(shí)世界存在的大量數(shù)據(jù)進(jìn)行有效的組織與管理。但是隨著數(shù)據(jù)庫應(yīng)用的規(guī)模、范圍和深度的不斷擴(kuò)大，隨著數(shù)據(jù)和數(shù)據(jù)庫的急劇增長，僅僅依靠數(shù)據(jù)庫管理系統(tǒng)的查詢檢索機(jī)制和統(tǒng)計(jì)學(xué)分析方法已遠(yuǎn)遠(yuǎn)不能滿足現(xiàn)實(shí)需要，它迫切的要求自動(dòng)、智能地將待處理的數(shù)據(jù)轉(zhuǎn)化為有用的信息和知識。就是在這種背景下，使得OLAP（Online Analytical Processing）和數(shù)據(jù)挖掘（Data Mining，簡稱DM）為了迎合這種要求而產(chǎn)生并迅速發(fā)展起來。使用OLAP和數(shù)據(jù)挖掘技術(shù)，對產(chǎn)品審計(jì)數(shù)據(jù)進(jìn)行多方面的綜合分析，從中可以發(fā)現(xiàn)對公司業(yè)務(wù)決策所需的知識，并以直觀易懂的形式將分析結(jié)果展示給客戶與公司管理層，為他們的決策提供了客觀依據(jù)。通過對產(chǎn)品審計(jì)信息數(shù)據(jù)庫進(jìn)行數(shù)據(jù)聯(lián)機(jī)分析，更可以方便的生成多種形式的報(bào)表，使軟件的開發(fā)商與使用商都能快速的了解軟件使用的各項(xiàng)統(tǒng)計(jì)信息。另外，通過研究本課題，經(jīng)過最終結(jié)論的證明，更可以將OLAP和數(shù)據(jù)挖掘技術(shù)更多更好地應(yīng)用在相類似的行業(yè)中，使本課題的研究更具有實(shí)用價(jià)值和廣闊的發(fā)展前景。 國內(nèi)外研究現(xiàn)狀 OLAP和數(shù)據(jù)挖掘技術(shù)是目前國際上數(shù)據(jù)庫、數(shù)據(jù)倉庫和信息決策系統(tǒng)領(lǐng)域最前沿的研究方向之一，引起了國內(nèi)外眾多領(lǐng)域科學(xué)家和工商界的廣泛關(guān)注。對于這方面的應(yīng)用與研究，國外比國內(nèi)領(lǐng)先許多，這里主要以國內(nèi)現(xiàn)狀闡述為主。國內(nèi)對OLAP的研究起步較晚，主要是對數(shù)據(jù)立方計(jì)算、存儲(chǔ)，多維數(shù)據(jù)查詢和物化視圖等關(guān)鍵技術(shù)的研究，以及基于國外OLAP服務(wù)器產(chǎn)品的OLAP應(yīng)用。國內(nèi)企業(yè)對于決策分析需求大部分都是通過開發(fā)一些功能單一的專用程序來完成[1]。近些年隨著國內(nèi)企業(yè)信息系統(tǒng)的不斷完善與發(fā)展和數(shù)據(jù)的持續(xù)積累，各行各業(yè)已經(jīng)普遍關(guān)心數(shù)據(jù)挖掘技術(shù)的應(yīng)用。國內(nèi)應(yīng)用數(shù)據(jù)挖掘的企業(yè)還是以通信企業(yè)（移動(dòng)、聯(lián)通、電信）為首，應(yīng)用的深度和廣度都處于領(lǐng)先地位，原因主要是行業(yè)競爭比較激烈、直接，另外通信業(yè)的數(shù)據(jù)質(zhì)量和數(shù)量都還不錯(cuò)。除了通信業(yè)，國內(nèi)的銀行、保險(xiǎn)、證券使用數(shù)據(jù)挖掘技術(shù)的意愿也比較強(qiáng)烈，這跟國際趨勢相吻合，未來幾年金融領(lǐng)域的數(shù)據(jù)分析應(yīng)用一定會(huì)從傳統(tǒng)的統(tǒng)計(jì)分析發(fā)展到大規(guī)模數(shù)據(jù)挖掘應(yīng)用。但跟國外相比，國內(nèi)零售業(yè)對數(shù)據(jù)挖掘的應(yīng)用好像并不太熱衷，這可能與客戶信息的完整性有關(guān)，也就是說“啤酒和尿片”的故事需要再過幾年才能在國內(nèi)零售業(yè)發(fā)生。 我國政府部門中使用數(shù)據(jù)挖掘技術(shù)比較領(lǐng)先的是稅務(wù)系統(tǒng)，國稅總局對信息系統(tǒng)建設(shè)及數(shù)據(jù)分析應(yīng)用工作也越來越重視。 隨著電子商務(wù)的普及，各大商務(wù)網(wǎng)站已經(jīng)大規(guī)模使用數(shù)據(jù)挖掘技術(shù)，并且迅速從中取得商業(yè)價(jià)值。比如，國內(nèi)好多網(wǎng)上商城已經(jīng)開始使用數(shù)據(jù)挖掘技術(shù)進(jìn)行客戶聚類或者商品關(guān)聯(lián)推廣。 另外，個(gè)人認(rèn)為搜索引擎企業(yè)使用數(shù)據(jù)挖掘技術(shù)的需求也非常迫切。從技術(shù)角度講，他們需要使用數(shù)據(jù)挖掘算法發(fā)現(xiàn)Web頁面之間的關(guān)聯(lián)與結(jié)構(gòu)關(guān)系，更好的進(jìn)行網(wǎng)頁推送；從商務(wù)角度講，各大搜索引擎需要取得更多的廣告收入，需要對點(diǎn)擊流數(shù)據(jù)進(jìn)行分析，以實(shí)現(xiàn)最大的商業(yè)利潤。雖然數(shù)據(jù)挖掘已經(jīng)在移動(dòng)通信、保險(xiǎn)、證券、銀行、電子商務(wù)等相關(guān)行業(yè)進(jìn)行了較為成功的應(yīng)用，但在企業(yè)日常業(yè)務(wù)信息系統(tǒng)中的應(yīng)用，如產(chǎn)品審計(jì)信息等目前還處于起步階段，需要更多的研究與應(yīng)用。 論文研究內(nèi)容OLAP和數(shù)據(jù)挖掘各有所長，但是也各有缺陷，而若能將二者結(jié)合起來使用，發(fā)展一種建立在OLAP基礎(chǔ)上的，針對多維數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)，則更能適合實(shí)際的需要。本課題擬在探討一種將OLAP與數(shù)據(jù)挖掘相結(jié)合的方法，使之能運(yùn)用到QAD公司的產(chǎn)品審計(jì)分析中。 針對以上的研究內(nèi)容，本課題將提出一種基于OLAP和數(shù)據(jù)挖掘技術(shù)的軟件使用信息數(shù)據(jù)的多維分析系統(tǒng)的設(shè)計(jì)，研究使用基于SQL Server 2008 分析服務(wù)（SSAS）在用戶審計(jì)數(shù)據(jù)倉庫之上的OLAP多維數(shù)據(jù)分析和MDX多維數(shù)據(jù)查詢，并研究使用神經(jīng)網(wǎng)絡(luò)規(guī)則，決策樹等數(shù)據(jù)挖掘算法及改進(jìn)算法對模塊及程序使用情況進(jìn)行數(shù)據(jù)挖掘，得出有用的知識，從而幫助指導(dǎo)客戶更好更高效的使用公司產(chǎn)品，也可使公司對現(xiàn)有產(chǎn)品有更好的了解與規(guī)劃。具體的主要研究內(nèi)容如下：1． 利用OLAP技術(shù)和數(shù)據(jù)挖掘技術(shù)的基本理論知識、多維分析方法及數(shù)據(jù)立方體的存儲(chǔ)結(jié)構(gòu)，分析其在QAD產(chǎn)品審計(jì)中的具體運(yùn)用。2. 對歷史數(shù)據(jù)進(jìn)行過濾、分析、提取并存入預(yù)先定義的數(shù)據(jù)庫表中。3. 完成產(chǎn)品審計(jì)信息多維立方體的分析、設(shè)計(jì)，采用維度建模的方法建立了產(chǎn)品使用信息的多維立方體。4. 進(jìn)行產(chǎn)品審計(jì)數(shù)據(jù)結(jié)果的訪問設(shè)計(jì)，定義Excel報(bào)表模板用于顯示數(shù)據(jù)分析結(jié)果、查詢等。5. 對數(shù)據(jù)挖掘中決策樹算法、神經(jīng)網(wǎng)絡(luò)算法等進(jìn)行分析，并進(jìn)行改進(jìn)，利用這些算法對產(chǎn)品審計(jì)信息進(jìn)行數(shù)據(jù)挖掘，使用SSAS的數(shù)據(jù)挖掘功能來實(shí)現(xiàn)并得到有用的知識。第二章 解決方案比較與選定 數(shù)據(jù)庫的選擇由于已確定了使用OLAP和數(shù)據(jù)挖掘技術(shù)對QAD產(chǎn)品審計(jì)信息進(jìn)行分析與研究，但在具體實(shí)現(xiàn)上仍需要有對多個(gè)可行方案進(jìn)行比較選擇，最終選擇最為合適的解決方案，存儲(chǔ)歷史數(shù)據(jù)信息的數(shù)據(jù)庫的選擇就是其中之一。如下