【文章內(nèi)容簡介】 交叉銷售等市場分析行為，以及客戶流失性分析、客戶信用評分、欺詐發(fā)現(xiàn)等等。數(shù)據(jù)挖掘技術(shù)在企業(yè)市場營銷中得到了比較普遍的應(yīng)用，它是以市場營銷學(xué)的市場細(xì)分原理為基礎(chǔ)，其基本假定是@消費者過去的行為是其今后消費傾向的最好說明。通過收集、加工和處理涉及消費者消費行為的大量信息，確定特定消費群體或個體的興趣、消費習(xí)慣、消費傾向和消費需求，進而推斷出相應(yīng)消費群體或個體下一步的消費行為，然后以此為基礎(chǔ)，對所識別出來的消費群體進行特定內(nèi)容的定向營銷，這與傳統(tǒng)的不區(qū)分消費者對象特征的大規(guī)模營銷手段相比，大大節(jié)省了營銷成本，提高了營銷效果，從而為企業(yè)帶來更多的利潤。商業(yè)消費信息來自市場中的各種渠道。例如：每當(dāng)我們用信用卡消費時，商業(yè)企業(yè)就可以在信用卡結(jié)算過程中收集商業(yè)消費信息，記錄下我們進行消費的時間、地點、感興趣的商品或服務(wù)、愿意接收的價格水平和支付能力等數(shù)據(jù)；當(dāng)我們在申辦信用卡、辦理汽車駕駛執(zhí)照、填寫商品保修單等其他需要填寫表格的場合時，我們的個人信息就存入了相應(yīng)的業(yè)務(wù)數(shù)據(jù)庫；企業(yè)除了自行收集相關(guān)業(yè)務(wù)信息之外，甚至可以從其他公司或機構(gòu)購買此類信息為自己所用。這些來自各種渠道的數(shù)據(jù)信息被組合，應(yīng)用超級計算機、并行處理、神經(jīng)元網(wǎng)絡(luò)、模型化算法和其他信息處理技術(shù)手段進行處理，從中得到商家用于向特定消費群體或個體進行定向營銷的決策信息。這種數(shù)據(jù)信息是如何應(yīng)用的呢？舉一個簡單的例子，當(dāng)銀行通過對業(yè)務(wù)數(shù)據(jù)進行挖掘后，發(fā)現(xiàn)一個銀行帳戶持有者突然要求申請雙人聯(lián)合帳戶時，并且確認(rèn)該消費者是第一次申請聯(lián)合帳戶，銀行會推斷該用戶可能要結(jié)婚了，它就會向該用戶定向推銷用于購買房屋、支付子女學(xué)費等長期投資業(yè)務(wù)，銀行甚至可能將該信息賣給專營婚慶商品和服務(wù)的公司。數(shù)據(jù)挖掘構(gòu)筑競爭優(yōu)勢。在市場經(jīng)濟比較發(fā)達(dá)的國家和地區(qū)，許多公司都開始在原有信息系統(tǒng)的基礎(chǔ)上通過數(shù)據(jù)挖掘?qū)I(yè)務(wù)信息進行深加工，以構(gòu)筑自己的競爭優(yōu)勢，擴大自己的營業(yè)額。美國運通公司有一個用于記錄信用卡業(yè)務(wù)的數(shù)據(jù)庫，數(shù)據(jù)量達(dá)到54億字符，并仍在隨著業(yè)務(wù)進展不斷更新。運通公司通過對這些數(shù)據(jù)進行挖掘，制定了“關(guān)聯(lián)結(jié)算優(yōu)惠”的促銷策略，即如果一個顧客在一個商店用運通卡購買一套時裝，那么在同一個商店再買一雙鞋，就可以得到比較大的折扣，這樣既可以增加商店的銷售量，也可以增加運通卡在該商店的使用率。再如，居住在倫敦的持卡消費者如果最近剛剛乘英國航空公司的航班去過巴黎，那么他可能會得到一個周末前往紐約的機票打折優(yōu)惠卡。基于數(shù)據(jù)挖掘的營銷，常常可以向消費者發(fā)出與其以前的消費行為相關(guān)的推銷材料。卡夫食品公司建立了一個擁有3000萬客戶資料的數(shù)據(jù)庫，數(shù)據(jù)庫是通過收集對公司發(fā)出的優(yōu)惠券等其他促銷手段作出積極反應(yīng)的客戶和銷售記錄而建立起來的，卡夫公司通過數(shù)據(jù)挖掘了解特定客戶的興趣和口味，并以此為基礎(chǔ)向他們發(fā)送特定產(chǎn)品的優(yōu)惠券，并為他們推薦符合客戶口味和健康狀況的卡夫產(chǎn)品食譜。美國的讀者文摘出版公司運行著一個積累了40年的業(yè)務(wù)數(shù)據(jù)庫，其中容納有遍布全球的一億多個訂戶的資料，數(shù)據(jù)庫每天24小時連續(xù)運行，保證數(shù)據(jù)不斷得到實時的更新，正是基于對客戶資料數(shù)據(jù)庫進行數(shù)據(jù)挖掘的優(yōu)勢，使讀者文摘出版公司能夠從通俗雜志擴展到專業(yè)雜志、書刊和聲像制品的出版和發(fā)行業(yè)務(wù)，極大地擴展了自己的業(yè)務(wù)。數(shù)據(jù)挖掘系統(tǒng)的其它應(yīng)用還有：? 在對客戶進行分析方面：銀行信用卡和保險行業(yè)，利用數(shù)據(jù)挖掘?qū)⑹袌龇殖捎幸饬x的群組和部門，從而協(xié)助市場經(jīng)理和業(yè)務(wù)執(zhí)行人員更好地集中于有促進作用的活動和設(shè)計新的市場運動。? 在客戶關(guān)系管理方面：數(shù)據(jù)挖掘能找出產(chǎn)品使用模式或協(xié)助了解客戶行為，從而可以改進通道管理。又如正確時間銷售就是基于顧客生活周期模型來實施的。? 在零售業(yè)方面：數(shù)據(jù)挖掘用于顧客購貨籃的分析可以協(xié)助貨架布置，促銷活動時間，促銷商品組合以及了解滯銷和暢銷商品狀況等商業(yè)活動。通過對一種廠家商品在各連鎖店的市場共享分析，客戶統(tǒng)計以及歷史狀況的分析，可以確定銷售和廣告業(yè)務(wù)的有效性。? 在產(chǎn)品質(zhì)量保證方面：數(shù)據(jù)挖掘協(xié)助管理大數(shù)量變量之間的相互作用，并能自動發(fā)現(xiàn)出某些不正常的數(shù)據(jù)分布，揭示制造和裝配操作過程中變化情況和各種因素，從而協(xié)助質(zhì)量工程師很快地注意到問題發(fā)生范圍和采取改正措施。? 在遠(yuǎn)程通訊方面：基于數(shù)據(jù)挖掘的分析協(xié)助組織策略變更以適應(yīng)外部世界的變化，確定市場變化模式以指導(dǎo)銷售計劃。在網(wǎng)絡(luò)容量利用方面，數(shù)據(jù)挖掘能提供對客戶聚集服務(wù)使用的結(jié)構(gòu)和模式的了解，從而指導(dǎo)容量計劃人員對網(wǎng)絡(luò)設(shè)施作出最佳投資決策。? 在各個企事業(yè)部門，數(shù)據(jù)挖掘在假偽檢測及險災(zāi)評估、失誤回避、資源分配、市場銷售預(yù)測廣告投資等很多方面，起著很重要作用。例如在化學(xué)及制藥行業(yè)，將數(shù)據(jù)挖掘用于巨量生物信息可以發(fā)現(xiàn)新的有用化學(xué)成分；在遙感領(lǐng)域針對每天從衛(wèi)星上及其它方面來的巨額數(shù)據(jù)，對氣象預(yù)報、臭氧層監(jiān)測等能起很大作用。上個世紀(jì)九十年代開始出現(xiàn)數(shù)據(jù)挖掘商用軟件以來，據(jù)不完全統(tǒng)計，到_1998 年底1999年初，已達(dá)50多個廠商從事數(shù)據(jù)挖掘系統(tǒng)的軟件開發(fā)工作，在美國數(shù)據(jù)挖掘產(chǎn)品市場在1994年約為5千萬美元，1997年達(dá)到5億美元。2001年將達(dá)到10億美元。從產(chǎn)品的類型來看，通常有以下五類產(chǎn)品：? 能夠提供廣泛的數(shù)據(jù)挖掘能力，典型產(chǎn)品有：IBM公司的Intelligent Miner；SAS公司的Enterprise Miner。? 旨在為某個部門求解問題，典型的有：Unica公司的Response Modeler Segment；IBM公司的Business Application等。? 與提供服務(wù)聯(lián)系在一起的，典型的有：NeoVista、Hyperparallel、HNC Marksman。? 黑匣工具，典型的有：GroupModel、ModelMax、Predict。? 解決客戶問題，典型的有：MarketierParegram、ExchemgeApplication等。數(shù)據(jù)挖掘（知識發(fā)現(xiàn)）的目的就是為企業(yè)決策提供的正確依據(jù)，從分析數(shù)據(jù)發(fā)現(xiàn)問題作出決策采取行動這一系列操作是一個單位的動作行為，利用計算機及信息技術(shù)完成這整體行動，是發(fā)揮機構(gòu)活力和贏得競爭優(yōu)勢的唯一手段。因此人們將這種機構(gòu)行為和手段稱這為“事務(wù)智能”（Business Intelligent，簡稱BI），BI能極大地改進決策的質(zhì)量和及時性，從而改進機構(gòu)的生產(chǎn)率或發(fā)揮競爭優(yōu)勢。所以近年來，一些大公司將數(shù)據(jù)分析和數(shù)據(jù)挖掘工具及其有關(guān)技術(shù)組合起來形成所謂BIS(Business Intelligent Softwave)。其中SAS公司的的Enterprise Minter就是將數(shù)據(jù)源、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存貯、數(shù)據(jù)分析與發(fā)掘、信息表示與應(yīng)用等方面技術(shù)有機形成一個復(fù)雜數(shù)據(jù)挖掘系統(tǒng)有機整體。IBM 公司更全面地考慮BI系統(tǒng)的結(jié)構(gòu)和功能，與其它公司共同合作來開發(fā)BI各類軟件和工具。并從多方面來加以考慮：首先必須有一良好的數(shù)據(jù)庫和數(shù)據(jù)倉庫，并能使企業(yè)管理與決策機制能夠過渡到下一個時期，所以提出了一個統(tǒng)一的數(shù)據(jù)庫系統(tǒng)DB2和一個可視化數(shù)據(jù)倉庫VDW（Visual Data Warehouse），可以將各種應(yīng)用和各部門的信息融為一體，加上Visual Warehouse OLAP工具可以生成實時報告在信息發(fā)現(xiàn)和數(shù)據(jù)發(fā)掘工具方面，提出能對結(jié)構(gòu)型和非結(jié)構(gòu)型數(shù)據(jù)進行發(fā)掘的一整套智能工具（Intelligent Miner Family）。BI手段只有在好的數(shù)據(jù)基礎(chǔ)上才能見效，因此提出數(shù)據(jù)重組工具。由于向用戶提供聯(lián)合統(tǒng)一觀點的企業(yè)數(shù)據(jù)是作出聰明決策的前提，又提出能支持異形數(shù)據(jù)庫的DataJointer（數(shù)據(jù)接合）。BI 系統(tǒng)標(biāo)志著從數(shù)據(jù)到知識到?jīng)Q策的進程中的更深入的一步，展示著真正的實用的智能信息系統(tǒng)的雛形。有關(guān)數(shù)據(jù)挖掘研究的若干重點問題描述如下：（1）挖掘方法與用戶交互問題。這其中涉及所挖掘知識的類型，挖掘多細(xì)度的知識，領(lǐng)域知識的利用，定制挖掘和知識挖掘的可視化。? 從數(shù)據(jù)庫挖掘不同類型的知識。由于不同的應(yīng)用需要不同類型的知識，因此數(shù)據(jù)挖掘應(yīng)該覆蓋廣泛的數(shù)據(jù)分析與知識發(fā)現(xiàn)任務(wù)需求。這其中包括：數(shù)據(jù)概念描述、對比概念描述、關(guān)聯(lián)知識、分類知識、聚類分析、趨勢和偏差分析，以及相似性分析。這些挖掘任務(wù)可以是對同一個數(shù)據(jù)庫進行不同的操作。因此需要設(shè)計開發(fā)大量的數(shù)據(jù)挖掘技術(shù)。? 基于多層抽象水平的交互挖掘。由于無法準(zhǔn)確了解從一個數(shù)據(jù)庫中究竟能夠發(fā)現(xiàn)什么。因此一個數(shù)據(jù)挖掘過程應(yīng)該是交互的。鑒于數(shù)據(jù)庫中包含大量的數(shù)據(jù)，首先需要利用合適的采樣技術(shù)來幫助實現(xiàn)交互式數(shù)據(jù)挖掘的探索。交互數(shù)據(jù)挖掘能夠讓用戶參與并指導(dǎo)對（要挖掘）模式的搜索，或幫助讓用戶精煉所返回的挖掘結(jié)果。與數(shù)據(jù)倉庫OLAP交互模式類似，用戶也可以與數(shù)據(jù)挖掘系統(tǒng)進行交互來幫助進行更有效地數(shù)據(jù)挖掘，以便能從多個不同角度發(fā)現(xiàn)多個抽象層次（細(xì)度）的模式知識。? 數(shù)據(jù)挖掘查詢語言與定制數(shù)據(jù)挖掘。關(guān)系（數(shù)據(jù)庫）查詢語言，如：SQL語言，能夠幫助用戶提出各種有針對性的數(shù)據(jù)檢索要求。同樣開發(fā)高水平的數(shù)據(jù)挖掘查詢語言以幫助用戶描述特定的挖掘任務(wù)（包括描述其中的數(shù)據(jù)特征）、描述挖掘任務(wù)所涉及的領(lǐng)域知識、挖掘結(jié)果的模式知識類型，以及對挖掘結(jié)果有趣性等約束條件。這樣一種語言還應(yīng)該與數(shù)據(jù)庫或數(shù)據(jù)倉庫查詢語言集成在一起，并為實現(xiàn)有效靈活的數(shù)據(jù)挖掘而進行集成優(yōu)化。? 數(shù)據(jù)挖掘結(jié)果表達(dá)與可視化。數(shù)據(jù)挖掘應(yīng)該能夠用高水平語言、可視化表示、或其它表示方式來描述所挖掘出的知識，以使用戶更加容易地理解和應(yīng)用所挖掘出的知識。數(shù)據(jù)挖掘結(jié)果的可視化表示，對于交互式數(shù)據(jù)挖掘系統(tǒng)而言是非常重要的，同時也要求系統(tǒng)采用多種表示形式，如：樹、表格、規(guī)則、圖、示意圖、矩陣、曲線來描述所數(shù)據(jù)挖掘結(jié)果。? 處理有噪聲或不完整的數(shù)據(jù)。數(shù)據(jù)庫中的數(shù)據(jù)或許反映有噪聲、不完整、以外的數(shù)據(jù)對象。因此當(dāng)挖掘數(shù)據(jù)規(guī)律時，這些對象或許會使挖掘過程迷失方向以致挖掘出一個不符合實際情況的模型。這時就需要數(shù)據(jù)清洗和數(shù)據(jù)分析方法以處理這些有噪聲的數(shù)據(jù)；有時也需要異類挖掘方法以幫助實現(xiàn)意外情況的挖掘與處理。? 模式評估：有趣性問題。一個數(shù)據(jù)挖掘系統(tǒng)能夠發(fā)現(xiàn)數(shù)以千計的模式，而用戶常常只對其中的一小部分模式感興趣；其它大多數(shù)都屬于常識性或缺乏新意的知識。如何對所挖掘出模式的趣味性進行評估，特別是如何基于用戶信念和期待對所挖掘模式進行主觀評估，仍然是一個尚待進一步研究的問題。如何利用趣味性來指導(dǎo)挖掘過程以有效減少搜索空間，也是尚待進一步研究的問題。（2）性能問題。這其中包括：效率、可擴展性和數(shù)據(jù)挖掘算法的并行化等問題。? 數(shù)據(jù)挖掘算法的效率與可擴展性。為了能夠有效地從數(shù)據(jù)庫大量的數(shù)據(jù)中抽取模式知識，數(shù)據(jù)挖掘算法就必須是高效的和可擴展的。算法的可擴展性表現(xiàn)在它的（數(shù)據(jù)挖掘）運行時間與所處理的數(shù)據(jù)規(guī)模呈線性關(guān)系，假設(shè)挖掘系統(tǒng)可利用的其它資源不變的情況下（如：內(nèi)存和硬盤空間等）；這也就意味著當(dāng)被挖掘數(shù)據(jù)的規(guī)模確定后，相應(yīng)數(shù)據(jù)挖掘算法的運行時間是可以預(yù)測的，當(dāng)然也是可以接受的。從數(shù)據(jù)庫角度來要求知識發(fā)現(xiàn)算法，效率和可擴展性也是構(gòu)造數(shù)據(jù)挖掘系統(tǒng)的一個關(guān)鍵問題。前面所介紹的數(shù)據(jù)挖掘方法與用戶交互中的許多問題也涉及到效率與可擴展性的問題。? 并行、分布和增量更新算法。許多數(shù)據(jù)庫中數(shù)據(jù)的巨大規(guī)模、廣泛分布的數(shù)據(jù)（存儲）地點，以及一些數(shù)據(jù)挖掘算法的計算復(fù)雜性等，都極大地推動了并行分布數(shù)據(jù)挖掘算法的研究與開發(fā)。這類算法將數(shù)據(jù)分為若干份進行并行處理，然后將處理獲得的結(jié)果合并在一起。此外一些數(shù)據(jù)挖掘過程所涉及的高昂代價也促使了增量數(shù)據(jù)挖掘算法的發(fā)展，這類增量挖掘算法無需每次（挖掘時）均對整個數(shù)據(jù)庫進行挖掘而只需對數(shù)據(jù)庫中的增量數(shù)據(jù)進行挖掘即可。當(dāng)然增量挖掘算法需要對之前所挖掘獲得的模式知識進行增量式修改與完善。（3）數(shù)據(jù)庫類型多樣化所涉及的問題。? 關(guān)系和復(fù)雜類型數(shù)據(jù)的處理。數(shù)據(jù)庫與數(shù)據(jù)倉庫的類型有許多種，期望一個數(shù)據(jù)挖掘系統(tǒng)能夠?qū)λ蓄愋偷臄?shù)據(jù)都能夠很好地完成挖掘任務(wù)是不現(xiàn)實的。鑒于關(guān)系數(shù)據(jù)庫與數(shù)據(jù)倉庫應(yīng)用較廣，研究設(shè)計高效有效地挖掘這類數(shù)據(jù)的數(shù)據(jù)挖掘系統(tǒng)是必要的。然而其它數(shù)據(jù)庫包含復(fù)雜數(shù)據(jù)對象，如：超文本、多媒體數(shù)據(jù)、空間數(shù)據(jù)、時間數(shù)據(jù)，或交易數(shù)據(jù)，顯然一個數(shù)據(jù)挖掘系統(tǒng)不可能滿足挖掘不同數(shù)據(jù)類型并完成不同挖掘任務(wù)的要求。因此需要根據(jù)特定的挖掘數(shù)據(jù)，構(gòu)造相應(yīng)的數(shù)據(jù)挖掘系統(tǒng)。? 異構(gòu)數(shù)據(jù)庫和全球信息系統(tǒng)的信息挖掘。本地和廣域計算機網(wǎng)絡(luò)系統(tǒng)（如：互聯(lián)網(wǎng)）將許多數(shù)據(jù)源連接在一起，從而構(gòu)成了一個巨大的、分布的、異構(gòu)的數(shù)據(jù)庫。如何從來自不同數(shù)據(jù)源（具有不同數(shù)據(jù)語義），這其中包括：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)和無結(jié)構(gòu)數(shù)據(jù)，挖掘出所需要的模式知識是數(shù)據(jù)挖掘研究所面臨巨大挑戰(zhàn)。數(shù)據(jù)挖掘或許能夠幫助從多個異構(gòu)數(shù)據(jù)庫中挖掘高層次的數(shù)據(jù)規(guī)律，而這些數(shù)據(jù)規(guī)律是無法通過簡單查詢系統(tǒng)就可獲得的，由此甚至還可以幫助改善信息交換和異構(gòu)數(shù)據(jù)庫之間的互操作性。這里對以下幾個方面的內(nèi)容作了概要的介紹與說明。這些方面內(nèi)容包括：? 數(shù)據(jù)技術(shù)，它從基本的文件處理發(fā)展到具有查詢與事務(wù)處理能力的數(shù)據(jù)庫管理系統(tǒng)。來自各行各業(yè)應(yīng)用，其中包括：商業(yè)與管理、行政管理、科學(xué)與工程和環(huán)境控制等所收集數(shù)據(jù)的爆炸性增長，更進一步地刺激了對有效數(shù)據(jù)分析和數(shù)據(jù)理解工具的需求。? 數(shù)據(jù)挖掘，它是一個從大量有噪聲、不完整數(shù)據(jù)中挖掘出有意義模式知識的過程。所挖掘的數(shù)據(jù)對象可以是數(shù)據(jù)庫或數(shù)據(jù)倉庫內(nèi)容，也可以是其它數(shù)據(jù)源內(nèi)容。數(shù)據(jù)挖掘是一個新興的多學(xué)科交叉領(lǐng)域，這其中主要涉及：數(shù)據(jù)庫系統(tǒng)、數(shù)據(jù)倉庫、統(tǒng)計學(xué)、機器學(xué)習(xí)、數(shù)據(jù)可視化、信息檢索和高性能計算等，其它學(xué)科還包括：人工神經(jīng)網(wǎng)絡(luò)、模式識別、空間數(shù)據(jù)分析、圖像數(shù)據(jù)庫、信號處理和歸納邏輯編程。數(shù)據(jù)挖掘是一個包含多個處理步驟的知識發(fā)現(xiàn)過程，這其中主要包括：數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)選擇、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)挖掘、模式評估和知識表達(dá)輸出。? 數(shù)據(jù)倉庫，它是一個存放來自多個數(shù)據(jù)源并隨時間積累的數(shù)據(jù)容器，其目的就是為