【正文】 威人物同時來任主席。大多數(shù)的統(tǒng)計分析技術(shù)都基于完善的數(shù)學(xué)理論和高超的技巧，預(yù)測的準確度還是令人滿意的，但對使用者的要求很高。 數(shù)據(jù)挖掘概述 4. 數(shù)據(jù)挖掘與機器學(xué)習(xí)和統(tǒng)計分析方法 數(shù)據(jù)挖掘利用了人工智能（ AI）和統(tǒng)計分析的進步所帶來的好處。 數(shù)據(jù)挖掘與 OLAP不同的地方是，數(shù)據(jù)挖掘不是用于驗證某個假定的模式（模型）的正確性，而是在數(shù)據(jù)庫中自己尋找模型。但如果數(shù)據(jù)倉庫的計算資源已經(jīng)很緊張，那最好還是建立一個單獨的數(shù)據(jù)挖掘庫 圖 數(shù)據(jù)挖掘苦聰數(shù)據(jù)倉庫中得出 數(shù)據(jù)挖掘概述 3. 數(shù)據(jù)挖掘和在線分析處理（ OLAP） 數(shù)據(jù)挖掘和 OLAP是完全不同的工具，基于的技術(shù)也大相徑庭。 2. 數(shù)據(jù)挖掘和數(shù)據(jù)倉庫 大部分情況下，數(shù)據(jù)挖掘都要先把數(shù)據(jù)從數(shù)據(jù)倉庫中拿到數(shù)據(jù)挖掘庫或數(shù)據(jù)集市中（見圖 ）。結(jié)合最新的研究成果，有下面一些重要的理論框架可以幫助我們準確地理解數(shù)據(jù)挖掘的概念與技術(shù)特點。一般在科研領(lǐng)域中稱為 KDD，而在工程領(lǐng)域則多稱為數(shù)據(jù)挖掘。也有人說， KDD在人工智能界更流行； Data Mining在數(shù)據(jù)庫界使用更多。因此 KDD是一個更廣義的范疇，它包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)選擇、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)挖掘、模式生成及評估等一系列步驟。 (2) 數(shù)據(jù)挖掘是 KDD過程的一個步驟 在“知識發(fā)現(xiàn) 96國際會議” 上，許多學(xué)者建議對這兩個名詞加以區(qū)分。分析這些數(shù)據(jù)也不再是單純?yōu)榱搜芯康男枰?，更主要是為商業(yè)決策提供真正有價值的信息，進而獲得利潤。 數(shù)據(jù)挖掘概述 從商業(yè)的角度講，數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù)，其主要特點是對商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助商業(yè)決策的關(guān)鍵性數(shù)據(jù)。 從技術(shù)的角度講，數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。經(jīng)過十幾年的研究，產(chǎn)生了許多新概念和方法。特別是最近幾年來，一些基本概念和方法趨于清晰，它的研究正向著更深入的方向發(fā)展。這個定義包括好幾層含義：數(shù)據(jù)源必須是真實的、大量的、含噪聲的；發(fā)現(xiàn)的是用戶感興趣的知識；發(fā)現(xiàn)的知識要可接受、可理解、可運用；并不要求發(fā)現(xiàn)放之四海皆準的知識，也不是要去發(fā)現(xiàn)嶄新的自然科學(xué)定理和純數(shù)學(xué)公式，更不是什么機器定理證明，只要能支持特定的發(fā)現(xiàn)問題即可。 簡而言之，數(shù)據(jù)挖掘其實是一類深層次的數(shù)據(jù)分析方法。 數(shù)據(jù)挖掘概述 （ 1） KDD看成數(shù)據(jù)挖掘的一個特例 數(shù)據(jù)挖掘系統(tǒng)可以在關(guān)系數(shù)據(jù)庫、事務(wù)數(shù)據(jù)庫、數(shù)據(jù)倉庫、空間數(shù)據(jù)庫（ Spatial Database）、文本數(shù)據(jù)（ Text Data）以及諸如 WEB等多種數(shù)據(jù)組織形式中挖掘知識，既然如此，那么可以說數(shù)據(jù)庫中的知識發(fā)現(xiàn)只是數(shù)據(jù)挖掘的一個方面，這是早期比較流行的觀點。核心思想是： KDD是從數(shù)據(jù)庫中發(fā)現(xiàn)知識的全部過程，而 Data Mining則是此全部過程的一個特定的、關(guān)鍵步驟，這種觀點有它的合理性。這樣，我們可以把 KDD看作是一些基本功能構(gòu)件的系統(tǒng)化協(xié)同工作系統(tǒng)，而數(shù)據(jù)挖掘則是這個系統(tǒng)中的一個關(guān)鍵的部分。所以，從廣義的觀點，數(shù)據(jù)挖掘是從大型數(shù)據(jù)集（可能是不完全的、有噪聲的、不確定性的、各種存儲形式的）中，挖掘隱含在其中的、人們事先不知道的、對決策有用的知識的過程。 數(shù)據(jù)挖掘概述 數(shù)據(jù)挖掘方法可以是基于數(shù)學(xué)理論的，也可以是非數(shù)學(xué)的；可以是演繹的，也可以是歸納的。 模式發(fā)現(xiàn)架 規(guī)則發(fā)現(xiàn)架構(gòu) 基于概率和統(tǒng)計理論 微觀經(jīng)濟學(xué)觀點 基于數(shù)據(jù)壓縮理論 基于歸納數(shù)據(jù)庫理論 數(shù)據(jù)挖掘概述 1．數(shù)據(jù)挖掘與傳統(tǒng)分析方法的區(qū)別 數(shù)據(jù)挖掘與傳統(tǒng)的數(shù)據(jù)分析 (如查詢、報表、聯(lián)機應(yīng)用分析 )的本質(zhì)區(qū)別是數(shù)據(jù)挖掘是在沒有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識。從數(shù)據(jù)倉庫中直接得到進行數(shù)據(jù)挖掘的數(shù)據(jù)有許多好處。 OLAP是決策支持領(lǐng)域的一部分。它在本質(zhì)上是一個歸納的過程。這兩門學(xué)科都致力于模式發(fā)現(xiàn)和預(yù)測。而隨著計算機計算能力的不斷增強，我們有可能利用計算機強大的計算能力只通過相對簡單和固定的方法完成同樣的功能。目前 DMKD的主要研究內(nèi)容包括基礎(chǔ)理論、發(fā)現(xiàn)算法、數(shù)據(jù)倉庫、可視化技術(shù)、定性定量互換模型、知識表示方法、發(fā)現(xiàn)知識的維護和再利用、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中的知識發(fā)現(xiàn)以及網(wǎng)上數(shù)據(jù)挖掘等。隨著 KDD 的深入研究以及 KDD 在許多領(lǐng)域的成功應(yīng)用，于 1995 年在加拿大召開了第一屆知識發(fā)現(xiàn)和數(shù)據(jù)挖掘國際學(xué)術(shù)會議，此后每年都召開大規(guī)模的國際會議，其研究重點也逐漸從發(fā)現(xiàn)方法轉(zhuǎn)向系統(tǒng)應(yīng)用，注重多種發(fā)現(xiàn)策略和技術(shù)的集成，以及多種學(xué)科之間的相互滲透。 數(shù)據(jù)挖掘 技術(shù)簡介 根據(jù)挖掘的任務(wù)可以分為：分類和預(yù)測模型發(fā)現(xiàn)、數(shù)據(jù)總結(jié)和聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)、相似模式發(fā)現(xiàn)和混沌模式發(fā)現(xiàn)等。 數(shù)據(jù)挖掘 技術(shù)簡介 分類是數(shù)據(jù)挖掘中一項非常重要的任務(wù)，目前在商業(yè)上的應(yīng)用最多。目前普遍認為不存在某種方法能適合各種特點的數(shù)據(jù)。如果當前訓(xùn)練例子集合中的所有實例是同類的 , 構(gòu)造一個葉節(jié)點 , 節(jié)點內(nèi)容即是該類別。 經(jīng)過剪枝 , 不僅能有效的克服噪聲 , 還使樹變得簡單 , 容易理解。 AQ是一種典型的基于規(guī)則的方法。算法就是要求得這樣的最大復(fù)合。 其后一些統(tǒng)計學(xué)家將其發(fā)展成一種系統(tǒng)的統(tǒng)計推斷方法，到本世紀 30年代形成了貝葉斯學(xué)派， 50~60年代發(fā)展成了一個有影響的統(tǒng)計學(xué)派。前者直接利用 bayes公式進行預(yù)測，把從訓(xùn)練樣本中計算出的各個屬性值和類別頻率比作為先驗概率， 并假定各個屬性之間是獨立的，就可以用 bayes公式和相應(yīng)的概率公司計算出要預(yù)測實例的對各類別的條件概率值。雖然試驗表明，神經(jīng)網(wǎng)絡(luò)在某些分類問題上具有比符號方法更好的表現(xiàn)，但是神經(jīng)網(wǎng)絡(luò)用于數(shù)據(jù)挖掘主要不利之處在于無法獲取顯式的規(guī)則。通常關(guān)于對象的可得到的信息不一定足以劃分其成員類別，換句話說，這種不精確性導(dǎo)致了對象的不可分辨性。換句話說，聚類（ clustering）是一個將數(shù)據(jù)集劃分為若干組或類的過程，并使得同一個組內(nèi)的數(shù)據(jù)對象具有較高的相似度；而不同組中的數(shù)據(jù)對象是不相似的。 數(shù)據(jù)挖掘 技術(shù)簡介 將一組物理的或抽象的對象，根據(jù)它們之間的相似程度，分為若干組；其中相似的對象構(gòu)成一組，這一過程就稱為聚類過程（ clustering）。 數(shù)據(jù)挖掘 技術(shù)簡介 在聚類分析中有大量的算法可供選擇。在數(shù)據(jù)挖掘領(lǐng)域 ,關(guān)聯(lián)規(guī)則的挖掘有著廣泛的應(yīng)用背景。 關(guān)聯(lián)規(guī)則挖掘 關(guān)聯(lián)規(guī)則是描述在一個事件中不同的項之間同時出現(xiàn)的規(guī)律的知識模式，具體地針對一個事物數(shù)據(jù)庫來說，關(guān)聯(lián)規(guī)則就是通過量化的數(shù)據(jù)描述某種物品的出現(xiàn)對另一種物品的出現(xiàn)有多大的影響。這時如果把一些抽象層次的概念也考慮進去，比如面包、牛奶更抽象的概念 —— 食品，則有可能新的更為抽象的規(guī)則。目前共有三種提高效率的思路，一種技術(shù)是減