【文章內容簡介】 確程度，否則數(shù)據(jù)挖掘就毫無作用?？梢酝ㄟ^新增數(shù)據(jù)來檢驗模式的正確性，我們用c表示模式E 的可信度c = C(E，F(xiàn))。新穎：經(jīng)過數(shù)據(jù)挖掘提取出的模式必須是新穎的，至少對系統(tǒng)來說應該如此。模式是否新穎可以通過兩個途徑來衡量：其一是得到的數(shù)據(jù)，通過對比當前得到的數(shù)據(jù)和以前的數(shù)據(jù)或期望得到的數(shù)據(jù)之間的比較來判斷該模式的新穎程度；其二是通過其內部所包含的知識，通過對比發(fā)現(xiàn)的模式與已有的模式的關系來判斷。通常我們可以用一個函數(shù)來表示模式的新穎程度N(E，F(xiàn))，該函數(shù)的返回值是邏輯值或是對模式E 的新穎程度的一個判斷數(shù)值。有效：提取出的模式應該是有意義的，這可以通過某些函數(shù)的值來衡量。用u 表示模式E 的有作用程度，u = U(E，F(xiàn))?？杀蝗死斫猓簲?shù)據(jù)挖掘的一個目標就是將數(shù)據(jù)庫中隱含的模式以容易理解的形式表現(xiàn)出來，從而幫助人們更好地了解數(shù)據(jù)庫中所包含的信息。當然一個模式是否容易被人理解，這本身就很難衡量，比較常用的方法是對其簡單程度進行衡量。我們假定模式E 的簡單度（可理解度）為S，則可用函數(shù)S(E，F(xiàn))來衡量。處理過程：數(shù)據(jù)挖掘是一個多步驟的處理過程，包括數(shù)據(jù)預處理、模式提取、知識評估及過程優(yōu)化。上面介紹的各種度量函數(shù)都只是從不同角度對所發(fā)現(xiàn)的模式進行評價，一般為方便起見，往往采用權值來對所發(fā)現(xiàn)的模式進行綜合評判。在某些數(shù)據(jù)挖17掘系統(tǒng)中，利用函數(shù)來求得模式E 的權值i = I (E，F(xiàn)，C，N，U，S)；而在其他一些系統(tǒng)中，通過對求得的模式的不同排序來表現(xiàn)模式的權值大小。 數(shù)據(jù)挖掘技術的工業(yè)標準數(shù)據(jù)挖掘技術的工業(yè)標準 CRISPDM 是英文“CRoss Industry StandardProcess for Data Mining”(數(shù)據(jù)挖掘技術的工業(yè)標準過程)的縮寫，是基于經(jīng)驗的，集中于解決業(yè)務問題的，數(shù)據(jù)挖掘技術的業(yè)界規(guī)范。1997 年數(shù)據(jù)挖掘技術報告Data Mining Report 指出，CRISPDM 確立了數(shù)據(jù)挖掘技術的工業(yè)規(guī)范，提供了數(shù)據(jù)挖掘過程的所有策略。數(shù)據(jù)挖掘本質上是根據(jù)經(jīng)驗來學習。恰當?shù)臄?shù)據(jù)展示了企業(yè)積累的經(jīng)驗；通過CRISPDM 可以理解數(shù)據(jù)及建立數(shù)據(jù)模型可使商務活動能吸收過去積累的經(jīng)驗。職業(yè)的商務人員能發(fā)現(xiàn)那些對商務活動真正重要的東西，避免無謂的浪費時間。CRISPDM 最早由英國ISL 公司在其著名軟件Clementine 中提出，其倡導者包括ISL，NCR, DaimlerBenz, OHRA 等著名公司，并得到了歐洲議會的支持。CRISPDM 提出的目的是開發(fā)一種產(chǎn)業(yè)界用戶和工具開發(fā)商共同認可的數(shù)據(jù)挖掘過程模型。CRISPDM 在世界范圍內超過100 個成員公司的支持，其中包括：數(shù)據(jù)挖掘技術開發(fā)商，有 IBM, SAS, SGI, Data Distilleries, Magnify 等；系統(tǒng)提供商，有 Cap Gemini，ICL Retail 等；最終用戶，包括 BT, DaimlerBenz, ABB, Lloyds Bank, AirTouch 等。3．2．3 數(shù)據(jù)挖掘的處理過程數(shù)據(jù)挖掘是一個高級處理過程，它從數(shù)據(jù)集中識別出以模式表示的知識。數(shù)據(jù)挖掘包括以下步驟：1．數(shù)據(jù)準備數(shù)據(jù)挖掘的處理對象是大量的數(shù)據(jù)，這些數(shù)據(jù)一般存儲在業(yè)務數(shù)據(jù)庫系統(tǒng)中，是長期積累的結果。但往往不合適直接在這些數(shù)據(jù)上進行知識挖掘，需要做一些準備工作，也就是數(shù)據(jù)的預處理。數(shù)據(jù)預處理包括數(shù)據(jù)的選擇（選擇相關數(shù)據(jù)）、凈化（消除噪音、冗余數(shù)據(jù)）、推測（推算缺值數(shù)據(jù)）、轉換（離散型數(shù)據(jù)與連續(xù)型數(shù)據(jù)之間的轉換）、數(shù)據(jù)縮減（減少數(shù)據(jù)量）等。數(shù)據(jù)準備是數(shù)據(jù)挖掘的第一個步驟，也是比較重要的一個步驟。數(shù)據(jù)準備是否做好將影響到數(shù)據(jù)挖掘的效率和準確度以及最終模式的有效性。2．數(shù)據(jù)分析數(shù)據(jù)分析是數(shù)據(jù)挖掘中最為關鍵的步驟，它根據(jù)數(shù)據(jù)挖掘的目標，選取相應算法的參數(shù)，分析數(shù)據(jù)，得到可能形成知識的模式模型。目前采用較多的技術有決策樹、分類、聚類、粗糙集、關聯(lián)規(guī)則、神經(jīng)網(wǎng)絡、遺傳算法等。183．模式的評估、解釋通過上面步驟所得到的模式，有可能是沒有意義或沒有實用價值的，因此需要評估，確定哪些是有效的、有用的模式。此外，大部分模式是用數(shù)學手段描述的表達式，很難被人理解，還需要將其解釋成可理解的方式以呈現(xiàn)給用戶，亦即上文說的數(shù)據(jù)展示。4．知識運用發(fā)現(xiàn)知識是為了運用，如何使知識能被運用也是數(shù)據(jù)挖掘的步驟之一。運用知識有兩種方法：一種是只需看知識本身所描述的關系或結果，就可以對決策提供支持；另一種是要求對新的數(shù)據(jù)運用知識，由此可能產(chǎn)生新的問題，而需要對知識做進一步的優(yōu)化。數(shù)據(jù)挖掘過程可能需要多次的循環(huán)反復，每一個步驟一旦與預期目標不符，都要回到前面的步驟，重新調整，重新執(zhí)行。3．2．4 數(shù)據(jù)挖掘的典型模式模式有很多種，按功能可分有兩大類：預測型（Predictive）模式和描述型（Descriptive）模式。預測型模式是可以根據(jù)數(shù)據(jù)項的值精確確定某種結果的模式。挖掘預測型模式所使用的數(shù)據(jù)也都是可以明確知道結果的。例如，根據(jù)各種動物的資料，可以建立這樣的模式：凡是胎生的動物都是哺乳類動物。當有新的動物資料時，就可以根據(jù)這個模式判別此動物是否是哺乳動物。描述型模式是對數(shù)據(jù)中存在的規(guī)則做一種描述，或者根據(jù)數(shù)據(jù)的相似性把數(shù)據(jù)分組。描述型模式不能直接用于預測。例如，在地球上，70％的表面被水覆蓋，30％是土地。在實際應用中，根據(jù)模式的實際作用往往可以細分為以下六種：分類（Classification）、回歸（Regression）、時間序列（Time Series）、聚類（Clustering）、相關分析（Association Analysis）、序列發(fā)現(xiàn)（Sequence Discovery）。分類和回歸主要用于預測，相關分析和序列發(fā)現(xiàn)主要用于描述，聚類則二者皆可。1．分類（Classification）分類模式是一個分類函數(shù)（分類器），能夠把數(shù)據(jù)集中的數(shù)據(jù)項映射到某個給定的類上。分類模式往往表現(xiàn)為一棵分類樹，根據(jù)數(shù)據(jù)的值從樹根開始搜索，沿著數(shù)據(jù)滿足的分支往上走，走到樹葉就能確定類別。給定類的屬性不能太多，也就是樹的分支不能太多。2．回歸（Regression）19回歸用一系列已經(jīng)存在的數(shù)值和它們的屬性來預測連續(xù)型變量的數(shù)值。與分類不同的是，分類的輸出是離散型的變量，回歸輸出的是連續(xù)型的變量。3．時間序列（Time Series）與回歸類似，時間序列也用于預測，所不同的是，時間序列基于時間的各個層次，如一周七天，一年十二月。4．聚類（Clustering）聚類模式以“物以類聚”的原則將數(shù)據(jù)劃分到不同的組中，使組之間的差別盡可能大，組內的差別盡可能小。與分類模式不同，進行聚類前并不知道將要劃分成幾個組和什么樣的組，也不知道根據(jù)哪一（幾）個數(shù)據(jù)項來定義組。一般來說，業(yè)務知識豐富的人應該可以理解這些組的含義，如果產(chǎn)生的模式無法理解或不可用，則該模式可能是無意義的，需要回到上階段重新組織數(shù)據(jù)。5．相關分析（Association Analysis）相關分析用于描述發(fā)生在給定事件中數(shù)據(jù)項之間的關聯(lián)關系。當事件 A發(fā)生時，事件B 發(fā)生的概率。例如“在購買面包和黃油的顧客中，有90%的人同時也買了牛奶”就是一條關聯(lián)規(guī)則。用于關聯(lián)規(guī)則發(fā)現(xiàn)的對象主要是事務型數(shù)據(jù)庫。如果不考慮關聯(lián)規(guī)則的支持度和可信度，那么在事務數(shù)據(jù)庫中存在無窮多的關聯(lián)規(guī)則。事實上人們只對滿足一定的支持度和可信度的關聯(lián)規(guī)則感興趣。關聯(lián)規(guī)則發(fā)現(xiàn)算法的問題也就是：給定一個事務數(shù)據(jù)庫D，求出所有滿足最小支持度Minsup 和最小可信度Minconf 的關聯(lián)規(guī)則。6．序列發(fā)現(xiàn)（Sequence Discovery）序列模式與關聯(lián)模式相仿，把數(shù)據(jù)之間的關聯(lián)性與時間聯(lián)系起來。為了發(fā)現(xiàn)序列模式，不僅需要知道事件是否發(fā)生，而且需要確定事件發(fā)生的時間。例如，在購買彩電的人們當中，60％的人會在3 個月內購買影碟機。在解決實際問題時，經(jīng)常要同時使用多種模式。同時，挖掘同一種模式或實現(xiàn)同一種功能，可能會有多種算法可以采用，這就需要根據(jù)具體情況，選擇針對問題空間最為合適的算法。3．3 OLAP 與DM 的區(qū)別OLAP 與DM 都是數(shù)據(jù)庫(數(shù)據(jù)倉庫)上的分析工具，在實際應用中各有側重。最主要的區(qū)別是：前者是用戶驅動的，分析專家提出一個假設，然后使用OLAP驗證它,后者是數(shù)據(jù)驅動的，挖掘工具作用于數(shù)據(jù)生成一個假設。前者建立在多維視圖的基礎之上，強調執(zhí)行效率和對用戶命令的及時響應，而且其直接數(shù)據(jù)源一般是數(shù)據(jù)倉庫；后者建立在各種數(shù)據(jù)源的基礎上,重在發(fā)現(xiàn)隱藏在數(shù)據(jù)深層20次的對人們有用的模式(Patterns),一般并不過多考慮執(zhí)行效率和響應速度。在上一節(jié)我們已經(jīng)討論過，數(shù)據(jù)挖掘的過程可以分為四個階段：數(shù)據(jù)準備、數(shù)據(jù)分析、模式的評估解釋以及知識展示。我們可以看到，在數(shù)據(jù)挖掘過程的這四個階段，引入數(shù)據(jù)倉庫、OLAP 的相關特點都是有必要的：首先，在數(shù)據(jù)準備階段，數(shù)據(jù)挖掘工具需要的數(shù)據(jù)是一些經(jīng)過凈化、集成處理的數(shù)據(jù)，通常這種處理過程也是昂貴的；而數(shù)據(jù)倉庫作為OLAP 的數(shù)據(jù)源，存儲的就是這樣的數(shù)據(jù)，它能為OLAP 提供數(shù)據(jù)，當然也可以為DM 提供數(shù)據(jù)。其次，在數(shù)據(jù)挖掘的過程中，人們往往需要對數(shù)據(jù)作鉆探性(exploratory)分析，比如，挖掘所需的數(shù)據(jù)可能只是一部分、一定范圍的數(shù)據(jù)。因此，對多維數(shù)據(jù)模型的切片、切塊、下鉆等操作，同樣可以應用于DM 的過程中。也就是說，可以將DM 建立在多維模型(或說超級立方體)的基礎之上。此外，用戶有時還可能動態(tài)地提出挖掘要求、選擇挖掘算法。最后，在知識展示階段，在大規(guī)模數(shù)據(jù)集上挖掘出的知識，往往需要量化并寫回到數(shù)據(jù)倉庫中，然后以超立方體的形式通過OLAP 工具進行展示。在傳統(tǒng)的關系數(shù)據(jù)庫應用中,對同一個主題,任何不同的查詢過程所得到結果是相同的。而數(shù)據(jù)挖掘則不然,對同一個問題,運用不同的挖掘算法,得出的結果可能大相徑庭。根據(jù)立方體計算和數(shù)據(jù)挖掘所進行的次序的不同組合可以有以下一些模式:??先進行立方體計算，后進行數(shù)據(jù)挖掘。在進行數(shù)據(jù)挖掘前,先對多維數(shù)據(jù)進行一定的立方體計算,以選擇合適的數(shù)據(jù)范圍和恰當?shù)某橄蠹墑e；??先對多維數(shù)據(jù)作數(shù)據(jù)挖掘,然后再利用立方體計算算法對挖掘出來的結果做進一步的深入分析；?? 立方體計算與數(shù)據(jù)挖掘同時進行,在挖掘的過程中,可以根據(jù)需要對數(shù)據(jù)視圖做相應的多維操作。這也意味著同一個挖掘算法可以應用于多維數(shù)據(jù)視圖的不同部分；第四章決策支持系統(tǒng)及其實現(xiàn)對電信運營商來說，話費流失以及吸引新客戶和保留大客戶是他們最為關心的兩個問題。所謂話費流失，指的是電信用戶使用移動通信服務而不付費，直至被停機，然后再以其他戶名入網(wǎng)繼續(xù)惡意消費。其表現(xiàn)形式有多種，如利用呼叫轉移、21利用漫游等。由于移動通信的欺詐行為形式多樣，技術手段高明而且隱蔽，因此解決問題的方案也很復雜。其中一個比較好的思路是從分析用戶信息和帳務數(shù)據(jù)入手，為每一用戶賦予一定的信用級別，對不同信用級別的用戶分別采用不同的預防措施或給予不同的關注程度，從而盡早發(fā)現(xiàn)不良用戶的異常行為，提前采取措施，減少欺詐行為的發(fā)生。挖掘新客戶是電信運營企業(yè)關心的另一個重點。因為其主要利潤并不是來自于產(chǎn)品或服務的初始銷售，而是來自于用戶對產(chǎn)品或服務的后續(xù)消費。因此，對這些企業(yè)來說，如何能盡量多地挖掘潛在客戶、吸引客戶采用公司的服務或產(chǎn)品，是增加利潤的關鍵一步。潛在客戶發(fā)現(xiàn)的做法是分析客戶行為，將客戶的行為分為若干類別。在客戶行為類別統(tǒng)計分析的基礎上，統(tǒng)計分析各類別行為的用戶基本信息，找出具有某些行為的用戶的基本特征，然后，根據(jù)這些特征制定相應的營銷或優(yōu)惠政策，以刺激這類客戶的消費。由此可見，信用度分析和客戶行為分析是反欺詐和潛在客戶挖掘的基礎，也是電信運營企業(yè)決策支持系統(tǒng)的重要功能部分。本文所做的工作，正是基于這樣一種思路實現(xiàn)了一個DSS 系統(tǒng)。4．1 系統(tǒng)概述考慮到應具有開放性、易擴展、低成本、管理及使用方便等特性，該系統(tǒng)采用數(shù)據(jù)庫服務器端（Unix Agent Server)、Windows NT 和PCs 三層體系結構，保證系統(tǒng)的開放性和對技術發(fā)展的適應性。三層體系結構支持所有運行于 Web 瀏覽器上的用戶。中間層是運行Windows NT 的PC 機或服務器，其目的是管理象OLAP 分析引擎這樣的共享OLE Automation Servers。OLAP 分析引擎也安裝在中間層，處理所有Web瀏覽器使用者提交的查詢任務。來自聯(lián)機事物處理系統(tǒng)(OLTP)的業(yè)務數(shù)據(jù)，如計費系統(tǒng)，客戶服務系統(tǒng)，財務系統(tǒng)，客戶信息數(shù)據(jù)庫的數(shù)據(jù)，被存儲在業(yè)務數(shù)據(jù)庫中，應用程序一般具有讀寫權限；數(shù)據(jù)倉庫設在單獨的數(shù)據(jù)倉庫服務器上，由業(yè)務數(shù)據(jù)庫備份、歷史數(shù)據(jù)庫、中間結果數(shù)據(jù)庫(或者為決策支持系統(tǒng)建立獨立的數(shù)據(jù)集市)、發(fā)布數(shù)據(jù)庫組成。此間所有的數(shù)據(jù)轉換任務，如數(shù)據(jù)備份、查詢、統(tǒng)計、OLAP 分析、數(shù)據(jù)挖掘等，由決策支持系統(tǒng)的任務管理器統(tǒng)一調度，這些任務可以細分為：業(yè)務數(shù)據(jù)備份。業(yè)務數(shù)據(jù)經(jīng)過定期或定時備份到數(shù)據(jù)倉庫中的備份業(yè)務數(shù)據(jù)庫中；建立歷史數(shù)據(jù)庫。由數(shù)據(jù)分析和挖掘工具經(jīng)數(shù)據(jù)清潔、查詢、提取、格式轉換、統(tǒng)一、多表聯(lián)接，將數(shù)據(jù)轉換到專門的歷史數(shù)據(jù)庫中；22建立面向主題的中間結果數(shù)據(jù)庫或從屬數(shù)據(jù)集市。所有數(shù)據(jù)由歷史數(shù)據(jù)庫集中管理，按照專門的主題，將數(shù)據(jù)的中間結果和中間文件組成中間結果數(shù)據(jù)庫或從屬數(shù)據(jù)集市。這些操作不允許改變原有的歷史數(shù)據(jù)庫，具有只讀權限；分析，挖掘，準備發(fā)布數(shù)據(jù)。將查詢、統(tǒng)計、分析、挖掘等產(chǎn)生的文件被以轉換后的格式保存到發(fā)布數(shù)據(jù)庫中。任務管理器還