【文章內(nèi)容簡介】 數(shù)據(jù)捕撈（data dredging）等等。其中，最常用的術(shù)語是“知識發(fā)現(xiàn)”和“數(shù)據(jù)挖掘”。1995年在加拿大召開了第一屆知識發(fā)現(xiàn)和數(shù)據(jù)挖掘（Data Ming, DM）國際學(xué)術(shù)會議。由于把數(shù)據(jù)庫中的“數(shù)據(jù)”形象地比喻成礦床，把KDD比作從數(shù)據(jù)礦山中找到蘊(yùn)藏的知識金塊。從此“數(shù)據(jù)挖掘”一詞很快流傳開來。又由于數(shù)據(jù)挖掘是KDD過程中的關(guān)鍵步驟，所以目前多數(shù)人不加區(qū)分地使用知識發(fā)現(xiàn)和數(shù)據(jù)挖掘這兩個術(shù)語。相對來講，數(shù)據(jù)挖掘主要流行于統(tǒng)計界、數(shù)據(jù)分析、數(shù)據(jù)庫和管理信息系統(tǒng)界；而知識發(fā)現(xiàn)主要流行于人工智能和機(jī)器學(xué)習(xí)界。 知識發(fā)現(xiàn)的對象知識發(fā)現(xiàn)的對象是數(shù)據(jù)集。數(shù)據(jù)集類型有：關(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、空間數(shù)據(jù)庫、時態(tài)數(shù)據(jù)庫、文本數(shù)據(jù)庫源、多媒體數(shù)據(jù)庫、異質(zhì)數(shù)據(jù)庫以及萬維網(wǎng)（Web）數(shù)據(jù)庫等。其中，關(guān)系數(shù)據(jù)庫是典型的結(jié)構(gòu)化數(shù)據(jù)。目前，隨著技術(shù)的發(fā)展，數(shù)據(jù)挖掘?qū)ο笠阎鸩綌U(kuò)大到半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，如Web數(shù)據(jù)、圖像和視頻數(shù)據(jù)以及文本數(shù)據(jù)等。關(guān)系數(shù)據(jù)庫對關(guān)系數(shù)據(jù)庫，數(shù)據(jù)挖掘方法主要是研究數(shù)據(jù)庫中屬性之間的關(guān)系，挖掘出多個屬性取值之間的規(guī)則。由于關(guān)系數(shù)據(jù)庫的特點(diǎn)，促使了數(shù)據(jù)挖掘方法的改善。關(guān)系數(shù)據(jù)庫的特點(diǎn)如下：① 數(shù)據(jù)動態(tài)性數(shù)據(jù)的動態(tài)變化是數(shù)據(jù)庫的一個主要特點(diǎn)。由于數(shù)據(jù)的存取和修改，使數(shù)據(jù)的內(nèi)容經(jīng)常發(fā)生變化，這就要求數(shù)據(jù)挖掘方法能適應(yīng)這種變化。漸增式數(shù)據(jù)挖掘方法就是針對數(shù)據(jù)變化，使挖掘的規(guī)則（知識）能滿足變化后的數(shù)據(jù)庫內(nèi)容。② 數(shù)據(jù)不完整性數(shù)據(jù)不完整性主要反映在數(shù)據(jù)庫中記錄的域值丟失或不存在（空值）。這種不完整數(shù)據(jù)給數(shù)據(jù)挖掘帶來了困難。為此，必須對數(shù)據(jù)進(jìn)行預(yù)處理，填補(bǔ)該數(shù)據(jù)域的可能值。③數(shù)據(jù)噪聲由于數(shù)據(jù)錄入等原因，造成錯誤的數(shù)據(jù)，即數(shù)據(jù)噪聲。含噪聲的數(shù)據(jù)挖掘會影響抽取模式的準(zhǔn)確性，并增加了數(shù)據(jù)挖掘的困難度。④ 數(shù)據(jù)冗余性這表現(xiàn)在同一信息在多處重復(fù)出現(xiàn)。函數(shù)依賴是一個通常的冗余形式。冗余信息可能造成錯誤的數(shù)據(jù)挖掘，至少有些挖掘的知識是用戶不感興趣的。為了避免這種情況發(fā)生，數(shù)據(jù)挖掘時，需要知道數(shù)據(jù)庫中有哪些固有的依賴關(guān)系。⑤ 數(shù)據(jù)稀疏性表現(xiàn)在實(shí)例空間中數(shù)據(jù)稀疏，數(shù)據(jù)稀疏會使數(shù)據(jù)挖掘丟失有用的模式。⑥ 海量數(shù)據(jù)數(shù)據(jù)庫中的數(shù)據(jù)在不斷增長，已出現(xiàn)很多海量數(shù)據(jù)庫。數(shù)據(jù)挖掘方法需要逐步適應(yīng)這種海量數(shù)據(jù)挖掘，如建立有效的索引機(jī)制和快速查詢方法等。文本數(shù)據(jù)庫文本是以文字串形式表示的數(shù)據(jù)文件。文本分析包括：關(guān)鍵詞或特征提??；相似檢索；文本聚類和文本分類等。文本中的特征如人名、地名、組織名等是某些文本中的重要信息，特征提取對掌握該文本的內(nèi)容很重要。① 關(guān)鍵詞或特征提取一篇文本中，標(biāo)題是該文本的高度概括。標(biāo)題中的關(guān)鍵詞是標(biāo)題的核心內(nèi)容。關(guān)鍵詞的提取對于掌握該文本的內(nèi)容至關(guān)重要。文本中的特征如人名、地名、組織名等是某些文本中的重要信息，特征提取對掌握該文本的內(nèi)容很重要。② 相似檢索對文本中關(guān)鍵詞的相似檢索是了解文本內(nèi)容的一種重要方法。如，“專家系統(tǒng)”與“人工智能”兩個關(guān)鍵詞是有一定聯(lián)系的，研究專家系統(tǒng)的文本，一定屬于人工智能的研究領(lǐng)域。③ 文本聚類對于文本標(biāo)題中關(guān)鍵詞（主題詞）的相似匹配是對文本聚類的一種簡單方法。定義關(guān)鍵詞的相似度，將便于文本的簡單聚類，類中文本滿足關(guān)鍵詞的相似度，類間文本的關(guān)鍵詞超過相似度。④ 文本分類將文本分類到各文本類中，一般需要采用一個算法，這些算法包括分類器算法、近鄰算法等，這需要按文本中的關(guān)鍵詞或特征的相似度來區(qū)分。圖像與視頻數(shù)據(jù)庫圖像與視頻數(shù)據(jù)庫是典型的多媒體數(shù)據(jù)庫。數(shù)據(jù)以點(diǎn)陣信息及幀形式存儲，數(shù)據(jù)量很大。圖像與視頻的數(shù)據(jù)挖掘包括：圖像與視頻特征提?。换趦?nèi)容的相似檢索；視頻鏡頭的編輯與組織等。① 圖像與視頻特征提取圖像與視頻特征有顏色、紋理和形狀等。這些特征提取是用基于內(nèi)容的相似檢索。如，海水是藍(lán)色、海灘是黃色、房屋的形狀及顏色等，都需要從大量圖像和視頻數(shù)據(jù)中提取。② 基于內(nèi)容的相似檢索根據(jù)圖像、視頻特征的分布、比例等進(jìn)行基于內(nèi)容的相似檢索，可以將圖像和視頻數(shù)據(jù)進(jìn)行聚類以及分類，也能完成對新圖像或視頻的識別。如，對遙感圖像或視頻的識別，這種應(yīng)用非常廣泛，例如，森林火災(zāi)的發(fā)現(xiàn)與報警，河流水災(zāi)的預(yù)報等。③ 視頻鏡頭的編輯與組織鏡頭代表一段連續(xù)動作（視頻數(shù)據(jù)流）。典型的鏡頭編輯如足球的射門、某段新聞節(jié)目等，都需要在冗長的視頻數(shù)據(jù)流中進(jìn)行自動裁取。經(jīng)過編輯的鏡頭，按某種需要重新組織，將形成特定需求的新視頻節(jié)目。如足球射門集錦，某個新聞事件的連續(xù)報道等。Web數(shù)據(jù)庫隨著Internet的發(fā)展和普及，網(wǎng)站數(shù)目的迅速增長及上網(wǎng)人數(shù)的劇烈增多，使網(wǎng)絡(luò)數(shù)據(jù)量呈指數(shù)增長，Web數(shù)據(jù)挖掘已成為新課題。Web數(shù)據(jù)挖掘具有如下特點(diǎn)：① 異構(gòu)數(shù)據(jù)集成和挖掘Web上每一站點(diǎn)是一個數(shù)據(jù)源，各數(shù)據(jù)源都是異構(gòu)的，形成了一個巨大的異構(gòu)的數(shù)據(jù)庫環(huán)境。將這些站點(diǎn)的異構(gòu)數(shù)據(jù)進(jìn)行集成，給用戶提供一個統(tǒng)一的視圖，才能在Web上進(jìn)行數(shù)據(jù)挖掘。② 半結(jié)構(gòu)化數(shù)據(jù)模型抽取Web上的數(shù)據(jù)非常復(fù)雜，沒有特定的模型描述。雖然每個站點(diǎn)上的數(shù)據(jù)是結(jié)構(gòu)化的，但各自的設(shè)計對整個網(wǎng)絡(luò)而言是一個非完全結(jié)構(gòu)化的數(shù)據(jù)，稱為半結(jié)構(gòu)化數(shù)據(jù)。對半結(jié)構(gòu)化數(shù)據(jù)模型的查詢和集成，需要尋找一種半結(jié)構(gòu)化模型抽取技術(shù)來自動抽取各站點(diǎn)的數(shù)據(jù)。如，XML是一種半結(jié)構(gòu)化的數(shù)據(jù)模型，容易實(shí)現(xiàn)Web中的信息共享與交換?？傊?，Web數(shù)據(jù)挖掘正在逐步形成熱點(diǎn)。 知識發(fā)現(xiàn)的分類知識發(fā)現(xiàn)涉及多個學(xué)科，主要包括數(shù)據(jù)庫、統(tǒng)計學(xué)和機(jī)器學(xué)習(xí)等三大主要技術(shù)。數(shù)據(jù)庫技術(shù)經(jīng)過20世紀(jì)80年代的大發(fā)展，除關(guān)系數(shù)據(jù)庫外，又陸續(xù)出現(xiàn)面向?qū)ο髷?shù)據(jù)庫、多媒體數(shù)據(jù)庫、分布式數(shù)據(jù)庫以及Web數(shù)據(jù)庫等。數(shù)據(jù)庫的應(yīng)用從一般查詢到模糊查詢和智能查詢，數(shù)據(jù)庫計算已趨向并行計算。從以上數(shù)據(jù)庫中挖掘知識正在興起并已得到迅速發(fā)展。統(tǒng)計學(xué)是一門古老學(xué)科，現(xiàn)已逐漸走向社會。成為社會調(diào)查、了解民意以及制定決策的重要手段。機(jī)器學(xué)習(xí)是人工智能的重要分支。它是在專家系統(tǒng)獲取知識出現(xiàn)瓶頸后發(fā)展起來的。機(jī)器學(xué)習(xí)的大部分方法和技術(shù)已演變?yōu)閿?shù)據(jù)挖掘方法和技術(shù)。知識發(fā)現(xiàn)可按數(shù)據(jù)庫類型、知識發(fā)現(xiàn)對象、知識發(fā)現(xiàn)任務(wù)、知識發(fā)現(xiàn)方法與技術(shù)，以及應(yīng)用等幾個方面進(jìn)行分類。（1）按數(shù)據(jù)庫類型分類知識發(fā)現(xiàn)主要是在關(guān)系數(shù)據(jù)庫中挖掘知識。隨著數(shù)據(jù)庫類型的不斷增加，逐步出現(xiàn)了不同數(shù)據(jù)庫的知識發(fā)現(xiàn)?，F(xiàn)有：關(guān)系數(shù)據(jù)的知識發(fā)現(xiàn)、模糊數(shù)據(jù)的知識發(fā)現(xiàn)、歷史數(shù)據(jù)的知識發(fā)現(xiàn)和空間數(shù)據(jù)的知識發(fā)現(xiàn)等多種不同數(shù)據(jù)庫的知識發(fā)現(xiàn)類型。（2）按知識發(fā)現(xiàn)的對象分類知識發(fā)現(xiàn)除了對數(shù)據(jù)庫這個主要的對象進(jìn)行知識發(fā)現(xiàn)外，還有文本數(shù)據(jù)知識發(fā)現(xiàn)、多媒體數(shù)據(jù)知識發(fā)現(xiàn)和Web網(wǎng)數(shù)據(jù)知識發(fā)現(xiàn)等。由于對象不同，知識發(fā)現(xiàn)的方法相差很大，文本、多媒體、Web網(wǎng)數(shù)據(jù)均是非結(jié)構(gòu)化數(shù)據(jù)，知識發(fā)現(xiàn)的難度將很大。（3）按知識發(fā)現(xiàn)的任務(wù)分類知識發(fā)現(xiàn)的任務(wù)主要有：關(guān)聯(lián)分析、時序模式、聚類、分類、偏差檢測以及預(yù)測六項。故按知識發(fā)現(xiàn)的任務(wù)分類有：關(guān)聯(lián)規(guī)則知識發(fā)現(xiàn)、序列知識發(fā)現(xiàn)、聚類知識發(fā)現(xiàn)、分類知識發(fā)現(xiàn)、偏差分析知識發(fā)現(xiàn)以及預(yù)測知識發(fā)現(xiàn)等類型。（4）按知識發(fā)現(xiàn)方法和技術(shù)分類歸納學(xué)習(xí)類、仿生物技術(shù)類、公式發(fā)現(xiàn)類、統(tǒng)計分析類、模糊數(shù)學(xué)類、可視化技術(shù)類等等。 知識發(fā)現(xiàn)的方法可粗分為：統(tǒng)計方法、機(jī)器學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)方法、數(shù)據(jù)庫方法和可視化方法。統(tǒng)計方法可細(xì)分為：回歸分析、判別分析、聚類分析、探索性分析等；機(jī)器學(xué)習(xí)可細(xì)分為：歸納學(xué)習(xí)方法、基于范例學(xué)習(xí)、遺傳算法等；神經(jīng)網(wǎng)絡(luò)可細(xì)分為：前向神經(jīng)網(wǎng)絡(luò)、自組織神經(jīng)網(wǎng)絡(luò)等；數(shù)據(jù)庫方法主要是：多維數(shù)據(jù)分析或OLAP方法，另外還有面向?qū)傩缘臍w納方法。對可視化方法主要是把數(shù)據(jù)、信息和知識轉(zhuǎn)化為可視的表示形式的過程。 知識發(fā)現(xiàn)的任務(wù)數(shù)據(jù)挖掘與知識發(fā)現(xiàn)是一個以數(shù)據(jù)庫、人工智能、數(shù)理統(tǒng)計、可