【正文】 變量都被考慮進(jìn)去，再不需要選擇變量的子集來進(jìn)行運(yùn)算了。在廣度上，允許有更多的行存在，更大的樣本讓產(chǎn)生錯(cuò)誤和變化的概率降低，這樣用戶就能更加精確地推導(dǎo)出一些雖小但頗為重要的結(jié)論。數(shù)據(jù)挖掘的物理結(jié)構(gòu)描述了客戶應(yīng)用程序與數(shù)據(jù)挖掘模型的相互作用，結(jié)構(gòu)的選擇是根據(jù)數(shù)據(jù)源的大小和對(duì)該數(shù)據(jù)挖掘模型發(fā)布的預(yù)測(cè)查詢頻率來選擇的。根據(jù)應(yīng)用特點(diǎn)，可使用兩層體系結(jié)構(gòu)或三層體系結(jié)構(gòu)方案。兩層體系結(jié)構(gòu)的物理結(jié)構(gòu)不太復(fù)雜，能夠在合理高效的服務(wù)器上挖掘數(shù)百萬的記錄。服務(wù)器中一并存放著數(shù)據(jù)挖掘引擎和數(shù)據(jù)倉庫，在本地運(yùn)行所有處理過程。通過一個(gè) OLEDB連接，客戶機(jī)可以簡單調(diào)用引擎執(zhí)行所有必要的數(shù)據(jù)挖掘處理，并在需要時(shí)接受預(yù)測(cè)結(jié)果集。當(dāng)數(shù)據(jù)挖掘任務(wù)進(jìn)一步增加，客戶機(jī)選用挖掘結(jié)果需求量增大時(shí)，可選用三層體系結(jié)構(gòu)。這個(gè)結(jié)構(gòu)總體上需要一個(gè)專用的高性能服務(wù)器在中間層來用做數(shù)據(jù)挖掘引擎，數(shù)據(jù)倉庫被置于后端，中間層負(fù)責(zé)挖掘其數(shù)據(jù)。中間層從后端載入數(shù)據(jù)并進(jìn)行挖掘，挖掘結(jié)果被傳到客戶機(jī)。 數(shù)據(jù)挖掘數(shù)據(jù)挖掘滲透到某些行業(yè)，產(chǎn)生了一些特定的應(yīng)用，如現(xiàn)在經(jīng)常會(huì)聽到的客戶關(guān)系管理（ Customer Relationship Management， CRM）。通過挖掘客戶信息，發(fā)現(xiàn)潛在的消費(fèi)趨勢(shì)或動(dòng)向。數(shù)據(jù)挖掘技術(shù)的目標(biāo)是從大量數(shù)據(jù)中發(fā)現(xiàn)隱藏于其后的規(guī)律或數(shù)據(jù)間的關(guān)系，從而服務(wù)于決策。數(shù)據(jù)挖掘一般有以下 4類主要任務(wù)：（ 1）概念描述概念描述就是對(duì)某類對(duì)象的內(nèi)涵進(jìn)行描述，并概括這類對(duì)象的有關(guān)特征。概念描述分為特征性描述和區(qū)別性描述，前者描述某類對(duì)象的共同特征，后者描述不同類對(duì)象之間的區(qū)別。生成一個(gè)類的特征性描述只涉及該類對(duì)象中所有對(duì)象的共性。生成區(qū)別性描述的方法很多，如決策樹方法、遺傳算法等。（ 2）分類和預(yù)測(cè)分類和預(yù)測(cè)是兩種數(shù)據(jù)分析形式，可以用來提取描述重要數(shù)據(jù)類的模型和預(yù)測(cè)未來的數(shù)據(jù)趨勢(shì)。即分析數(shù)據(jù)的各種屬性，找出數(shù)據(jù)的屬性模型，確定數(shù)據(jù)屬于哪些組，可以利用該模型來分析已有數(shù)據(jù)并預(yù)測(cè)新數(shù)據(jù)。分類和預(yù)測(cè)都具有廣泛的應(yīng)用，包括信譽(yù)證實(shí)、醫(yī)療診斷、性能預(yù)測(cè)和選擇購物。如可以建立一個(gè)分類模型，對(duì)銀行貸款的安全性和風(fēng)險(xiǎn)進(jìn)行分類；同時(shí)可以建立預(yù)測(cè)模型，例如，給定潛在顧客的收入和職業(yè)，預(yù)測(cè)他們?cè)谟?jì)算機(jī)設(shè)備上的花費(fèi)。 數(shù)據(jù)挖掘（ 3）關(guān)聯(lián)分析數(shù)據(jù)庫中的數(shù)據(jù)一般都存在著關(guān)聯(lián)關(guān)系，它反映一個(gè)事件和其他事件之間依賴或關(guān)聯(lián)的知識(shí)。這種關(guān)聯(lián)關(guān)系有簡單關(guān)聯(lián)和時(shí)序關(guān)聯(lián)兩種。簡單關(guān)聯(lián)，例如，購買面包的顧客中有 90%的人同時(shí)購買牛奶。時(shí)序關(guān)聯(lián)，例如，若 ATamp。T股票連續(xù)上漲兩天且DEC股票不下跌，則第三天 IBM股票上漲的可能性為 75%，它在簡單關(guān)聯(lián)中增加了時(shí)間屬性。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫中隱藏的關(guān)聯(lián)網(wǎng)。有時(shí)并不知道數(shù)據(jù)庫中數(shù)據(jù)的關(guān)聯(lián)是否存在精確的關(guān)聯(lián)函數(shù)，既使知道也是不確定的，因此關(guān)聯(lián)分析生成的規(guī)則帶有可信度。（ 4）聚類當(dāng)要分析的數(shù)據(jù)缺乏描述信息，或者是無法組織成任何分類模式時(shí)，可以采用聚類分析。聚類增強(qiáng)了人們對(duì)客觀現(xiàn)實(shí)的認(rèn)識(shí)，是概念描述和偏差分析的先決條件。聚類技術(shù)主要包括傳統(tǒng)的模式識(shí)別方法和數(shù)學(xué)分類學(xué)。聚類分析是按照某種相近程度度量方法，將用戶數(shù)據(jù)分成一系列有意義的子集合。 數(shù)據(jù)挖掘2．?dāng)?shù)據(jù)挖掘的方法及其應(yīng)用作為一門處理數(shù)據(jù)的新技術(shù)，數(shù)據(jù)挖掘有許多的新特征。首先，數(shù)據(jù)挖掘面對(duì)的是海量的數(shù)據(jù)，這也是數(shù)據(jù)挖掘產(chǎn)生的原因。其次，數(shù)據(jù)可能是不完全的、有噪聲的、隨機(jī)的，有復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，維數(shù)大。再次，數(shù)據(jù)挖掘是許多學(xué)科的交叉，運(yùn)用了統(tǒng)計(jì)學(xué)、計(jì)算機(jī)、數(shù)學(xué)等學(xué)科的技術(shù)。以下是常見數(shù)據(jù)挖掘算法和模型。（ 1）傳統(tǒng)統(tǒng)計(jì)方法① 抽樣技術(shù)：人們面對(duì)的是大量的數(shù)據(jù)，對(duì)所有的數(shù)據(jù)進(jìn)行分析是不可能的也是沒有必要的，就要在理論的指導(dǎo)下進(jìn)行合理的抽樣。② 多元統(tǒng)計(jì)分析：因子分析，聚類分析等。③ 統(tǒng)計(jì)預(yù)測(cè)方法：如回歸分析，時(shí)間序列分析等。（ 2）可視化技術(shù)用圖表等方式把數(shù)據(jù)特征直觀地表述出來，如直方圖等，這其中運(yùn)用的許多描述統(tǒng)計(jì)的方法。數(shù)據(jù)可視化以前多用于科學(xué)和工程領(lǐng)域，現(xiàn)在也出現(xiàn)了針對(duì)商業(yè)用戶需求的產(chǎn)品。這類工具大大擴(kuò)展了傳統(tǒng)商業(yè)圖形的能力，支持多維數(shù)據(jù)的可視化，從而提供了多方向同時(shí)進(jìn)行數(shù)據(jù)分析的圖形方法。有些工具甚至提供動(dòng)畫能力，使用戶可以 “飛越 ”數(shù)據(jù)，觀看不同層次的細(xì)節(jié)。其優(yōu)點(diǎn)是，提供了發(fā)現(xiàn)并翻譯數(shù)據(jù)模式及數(shù)據(jù)間關(guān)系的圖形方式。 數(shù)據(jù)挖掘（ 3）決策樹利用一系列規(guī)則劃分，建立樹狀圖，可用于分類和預(yù)測(cè)。大部分?jǐn)?shù)據(jù)挖掘工具采用規(guī)則發(fā)現(xiàn)技術(shù)或決策樹分類技術(shù)來發(fā)現(xiàn)數(shù)據(jù)模式和規(guī)則，其核心是某種歸納算法，如 ID3及其發(fā)展 。這類工具通常先對(duì)數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行采集，生成規(guī)則和決策樹，然后對(duì)新數(shù)據(jù)進(jìn)行分析和預(yù)測(cè)。這類工具的主要優(yōu)點(diǎn)是，規(guī)則和決策樹都是可讀的。（ 4）神經(jīng)網(wǎng)絡(luò)模擬人的神經(jīng)元功能，經(jīng)過輸入層、隱藏層、輸出層等，對(duì)數(shù)據(jù)進(jìn)行調(diào)整、計(jì)算，最后得到結(jié)果，用于分類和回歸。基于神經(jīng)網(wǎng)絡(luò)的挖掘過程基本上是將數(shù)據(jù)聚類，然后分類計(jì)算權(quán)值。神經(jīng)網(wǎng)絡(luò)很適合非線性數(shù)據(jù)和含噪聲數(shù)據(jù)，所以在市場(chǎng)數(shù)據(jù)庫的分析和建模方面應(yīng)用廣泛。（ 5）遺傳算法基于自然進(jìn)化理論，模擬基因聯(lián)合、突變、選擇等過程的一種優(yōu)化技術(shù)。 （ 6）近鄰算法近鄰算法是將數(shù)據(jù)集合中每個(gè)記錄進(jìn)行分類的方法。 數(shù)據(jù)挖掘（ 7）關(guān)聯(lián)規(guī)則挖掘算法關(guān)聯(lián)規(guī)則是描述數(shù)據(jù)之間存在關(guān)系的規(guī)則，形式為“A1∧ A2∧ …A n→B1 ∧ B2∧ … Bn”。一般分為兩個(gè)步驟：① 求出大數(shù)據(jù)項(xiàng)集；② 用大數(shù)據(jù)項(xiàng)集產(chǎn)生關(guān)聯(lián)規(guī)則。除了上述的常用方法外，還有粗糙集方法、模糊集合方法等。采用上述技術(shù)的某些專門的分析工具已經(jīng)發(fā)展了大約 10年的歷史，不過這些工具所面對(duì)的數(shù)據(jù)量通常較小。而現(xiàn)在這些技術(shù)已經(jīng)被直接集成到許多大型的工業(yè)標(biāo)準(zhǔn)的數(shù)據(jù)倉庫和聯(lián)機(jī)分析系統(tǒng)中去了。目前，數(shù)據(jù)挖掘技術(shù)應(yīng)用最集中的領(lǐng)域包括以下 6個(gè)方面，但每個(gè)領(lǐng)域又有其特定的應(yīng)用問題和應(yīng)用背景。（ 1）金融金融事務(wù)需要收集和處理大量數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)其數(shù)據(jù)模式及特征，然后可能發(fā)現(xiàn)某個(gè)客戶、消費(fèi)群體或組織的金融和商業(yè)興趣，并可觀察金融市場(chǎng)的變化趨勢(shì)。數(shù)據(jù)挖掘在金融領(lǐng)域應(yīng)用廣泛，包括： ① 數(shù)據(jù)清理、金融市場(chǎng)分析和預(yù)測(cè)； ② 賬戶分類、銀行擔(dān)保和信用評(píng)估。（ 2）醫(yī)療保健醫(yī)療保健行業(yè)有大量數(shù)據(jù)需要處理，但這個(gè)行業(yè)的數(shù)據(jù)由不同的信息系統(tǒng)管理，數(shù)據(jù)以不同的格式保存。在這個(gè)行業(yè)中，數(shù)據(jù)挖掘最關(guān)鍵的任務(wù)是進(jìn)行數(shù)據(jù)清理，預(yù)測(cè)醫(yī)療保健費(fèi)用等。 數(shù)據(jù)挖掘（ 3）市場(chǎng)業(yè)及零售業(yè)市場(chǎng)業(yè)應(yīng)用數(shù)據(jù)挖掘技術(shù)進(jìn)行市場(chǎng)定位和消費(fèi)者分析，輔助制定市場(chǎng)策略。零售業(yè)是最早應(yīng)用數(shù)據(jù)挖掘技術(shù)的行業(yè)，目前主要應(yīng)用于銷售預(yù)測(cè)、庫存需求、零售點(diǎn)選擇和價(jià)格分析。（ 4）制造業(yè)制造業(yè)應(yīng)用數(shù)據(jù)挖掘技術(shù)進(jìn)行零部件故障診斷、資源優(yōu)化、生產(chǎn)過程分析等。通過對(duì)生產(chǎn)數(shù)據(jù)進(jìn)行分析，還能發(fā)現(xiàn)一系列產(chǎn)品制造、裝配過程中哪一階段最容易產(chǎn)生錯(cuò)誤。（ 5）司法數(shù)據(jù)挖掘技術(shù)可應(yīng)用于案件調(diào)查、詐騙監(jiān)測(cè)、洗錢認(rèn)證、犯罪組織分析，可以給司法工作帶來巨大收益。例如，美國財(cái)政部使用 NetMap開發(fā)了一個(gè)叫 FAIS的系統(tǒng)對(duì)各類金融事務(wù)進(jìn)行監(jiān)測(cè)，識(shí)別洗錢、詐騙等。（ 6）工程與科學(xué)數(shù)據(jù)挖掘技術(shù)可應(yīng)用于各種工程與科學(xué)數(shù)據(jù)分析。例如， Jet Propulsion實(shí)驗(yàn)室利用決策樹方法對(duì)上百萬天體進(jìn)行分類，效果比人工更快、更準(zhǔn)確。這個(gè)系統(tǒng)還幫助發(fā)現(xiàn)了 10個(gè)新的類星體。