【正文】 因?yàn)槊總€(gè)用戶可能只關(guān)心很小的對(duì)自己有用的一部分信息，其余的信息對(duì)這個(gè)用戶來說就是不感興趣的，而且會(huì)淹沒所希望搜索的結(jié)果。 Web挖掘就是從 Web文檔和 Web活動(dòng)中抽取感興趣的、潛在的有用模式和隱藏的信息。于是項(xiàng)集 i和 1序列 i具有相同的支持。在一個(gè)序列集 (a set of sequences)中如果序列 s不包含于任何其他序列中，則稱序列 s為最大的 (maximal)。通常，根據(jù)規(guī)則中涉及到的層次，多層關(guān)聯(lián)規(guī)則可以分為同層關(guān)聯(lián)規(guī)則和層間關(guān)聯(lián)規(guī)則。Lk1≠。事實(shí)上，人們一般只對(duì)滿足一定的支持度和可信度的關(guān)聯(lián)規(guī)則感興趣。所有事務(wù)的全體就構(gòu)成一個(gè)事務(wù)數(shù)據(jù)庫Ｄ。 關(guān)聯(lián)規(guī)則的挖掘研究具有以下發(fā)展趨勢(shì)：一是從單一的概念層次關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)發(fā)展到多概念層次的關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)。相似或不相似的描述是基于數(shù)據(jù)描述屬性的取值來確定的。 貝葉斯方法的學(xué)習(xí)機(jī)制是利用貝葉斯公式將先驗(yàn)信息與樣本信息綜合得到后驗(yàn)信息。否則 , 根據(jù)某種策略選擇一個(gè)屬性 , 按照該屬性的不同取值 , 把當(dāng)前實(shí)例集合劃分為若干子集合。第一本關(guān)于 DM和 KDD 的國際學(xué)術(shù)雜志 《 Data Mining and Knowledge Discovery 》 也于 97 年 3 月創(chuàng)刊發(fā)行。 數(shù)據(jù)挖掘和 OLAP具有一定的互補(bǔ)性。從研究的歷史看，它們可能是數(shù)據(jù)庫、人工智能、數(shù)理統(tǒng)計(jì)、計(jì)算機(jī)科學(xué)以及其它方面的學(xué)者和工程技術(shù)人員，在數(shù)據(jù)挖掘的探討性研究過程中創(chuàng)立的理論體系。因此，從這個(gè)意義說，數(shù)據(jù)挖掘就是從數(shù)據(jù)庫、數(shù)據(jù)倉庫以及其它數(shù)據(jù)存儲(chǔ)方式中挖掘有用知識(shí)的過程。第八章 數(shù)據(jù)挖掘 人工智能 華中師范大學(xué)計(jì)算機(jī)科學(xué)系 第八章 數(shù)據(jù)挖掘 數(shù)據(jù)挖掘（ Data Mining）是一個(gè)多學(xué)科交叉研究領(lǐng)域，它融合了數(shù)據(jù)庫技術(shù)、人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、知識(shí)工程、面向?qū)ο蠓椒?、信息檢索、高性能計(jì)算以及數(shù)據(jù)可視化等最新技術(shù)的研究成果。這種描述強(qiáng)調(diào)了數(shù)據(jù)挖掘在源數(shù)據(jù)形式上的多樣性。 1997年， Mannila對(duì)當(dāng)時(shí)流行的數(shù)據(jù)挖掘的理論框架給出了綜述。在利用數(shù)據(jù)挖掘出來的結(jié)論采取行動(dòng)之前，也許要驗(yàn)證一下如果采取這樣的行動(dòng)會(huì)帶來什么樣的影響，那么 OLAP工具能回答這些問題。亞太地區(qū)于 1997 年在新加坡召開了首次 KDD 研討會(huì)，其后又在澳大利亞的墨爾本召開了第二屆，在中國北京召開了第三屆。對(duì)每個(gè)子集合重復(fù)此過程 , 直到當(dāng)前集中的實(shí)例是同類的為止。 在數(shù)據(jù)挖掘中，主要有兩種 bayes方法，即 Na239。通常就是利用（各對(duì)象間）距離來進(jìn)行表示的。也就是說在很多應(yīng)用中，挖掘規(guī)則可以作用到數(shù)據(jù)庫的不同層面上。 (3)數(shù)據(jù)項(xiàng)集的支持度 數(shù)據(jù)項(xiàng)集的支持度 (Support)就是數(shù)據(jù)項(xiàng)集出現(xiàn)的概率。因此，為了發(fā)現(xiàn)出有意義的關(guān)聯(lián)規(guī)則，需要給定兩個(gè)閾值 :最小支持度和最小可信度。k++) { (3) Ck = apriorigen ( Lk1, min_sup)。 關(guān)聯(lián)規(guī)則挖掘 序列模式挖掘 序列模式挖掘是基于時(shí)間或者其它序列的經(jīng)常發(fā)生的模式。 序列模式挖掘 一個(gè)客戶所有的事務(wù) (transactions)可以綜合的看成是一個(gè)序列，每一個(gè)事務(wù)都由相應(yīng)的一個(gè)項(xiàng)集來表示。具有最小支持 (minimum support)的項(xiàng)集稱為大項(xiàng)集 (large itemset or litemset)。 Web挖掘可以在確定權(quán)威頁面、 Web文檔分類、 Web Log挖掘、智能查詢等在很多方面發(fā)揮作用。 Web 是一個(gè)巨大的、廣泛分布的、異構(gòu)的、半結(jié)構(gòu)的、超文本 P超媒體的、相互聯(lián)系并且不斷變化的信息倉庫 , 其中包括鏈接信息、訪問使用信息等。 WEB挖掘 （ 5） web上的信息只有很小的一部分是相關(guān)的或有用的。在面臨如此龐大的信息空間以及 Web組織無序化的情況下，搜索是解決網(wǎng)絡(luò)信息無序和混亂的一個(gè)基本方法，現(xiàn)代社會(huì)的競(jìng)爭(zhēng)趨勢(shì)要求能夠?qū)@些信息進(jìn)行實(shí)時(shí)和深層次的分析，因此，如何利用數(shù)據(jù)挖掘知識(shí)，進(jìn)一步提高 Web信息搜索的性能成為眾多學(xué)者研究的熱點(diǎn)。 一個(gè)項(xiàng)集 i的支持是指那一部分在單次交易中買了項(xiàng)集 i中的項(xiàng)的那一部分客戶。前者表示項(xiàng) 3和項(xiàng) 5是先后購買的，而后者則表示項(xiàng) 3和項(xiàng) 5是同時(shí)購買的，這就是區(qū)別所在。不過，在支持度的設(shè)置問題上有一些又考慮的東西。 輸入：交易數(shù)據(jù)庫 D最小支持閾值 min_sup 輸出： Li， D中的頻繁項(xiàng)集； 處理流程： (1) L1=find_frequent_1_itemset(D)； //發(fā)現(xiàn) 1項(xiàng)集 (2) for(k=2。 如果不考慮關(guān)聯(lián)規(guī)則的支持度和可信度，那么在事務(wù)數(shù)據(jù)庫中存在無窮多的關(guān)聯(lián)規(guī)則。每一個(gè)事務(wù)賦予一個(gè)唯一的標(biāo)識(shí)符 TID。 關(guān)聯(lián)規(guī)則挖掘 關(guān)聯(lián)規(guī)則是描述在一個(gè)事件中不同的項(xiàng)之間同時(shí)出現(xiàn)的規(guī)律的知識(shí)模式，具體地針對(duì)一個(gè)事物數(shù)據(jù)庫來說，關(guān)聯(lián)規(guī)則就是通過量化的數(shù)據(jù)描述某種物品的出現(xiàn)對(duì)另一種物品的出現(xiàn)有多大的影響。換句話說，聚類（ clustering）是一個(gè)將數(shù)據(jù)集劃分為若干組或類的過程，并使得同一個(gè)組內(nèi)的數(shù)據(jù)對(duì)象具有較高的相似度；而不同組中的數(shù)據(jù)對(duì)象是不相似的。 其后一些統(tǒng)計(jì)學(xué)家將其發(fā)展成一種系統(tǒng)的統(tǒng)計(jì)推斷方法，到本世紀(jì) 30年代形成了貝葉斯學(xué)派， 50~60年代發(fā)展成了一個(gè)有影響的統(tǒng)計(jì)學(xué)派。如果當(dāng)前訓(xùn)練例子集合中的所有實(shí)例是同類的 , 構(gòu)造一個(gè)葉節(jié)點(diǎn) , 節(jié)點(diǎn)內(nèi)容即是該類別。隨著 KDD 的深入研究以及 KDD 在許多領(lǐng)域的成功應(yīng)用，于 1995 年在加拿大召開了第一屆知識(shí)發(fā)現(xiàn)和數(shù)據(jù)挖掘國際學(xué)術(shù)會(huì)議，此后每年都召開大規(guī)模的國際會(huì)議，其研究重點(diǎn)也逐漸從發(fā)現(xiàn)方法轉(zhuǎn)向系統(tǒng)應(yīng)用，注重多種發(fā)現(xiàn)策略和技術(shù)的集成，以及多種學(xué)科之間的相互滲透。它在本質(zhì)上是一個(gè)歸納的過程。 數(shù)據(jù)挖掘概述 數(shù)據(jù)挖掘方法可以是基于數(shù)學(xué)理論的，也可以是非數(shù)學(xué)的；可以是演繹的，也可以是歸納的。 數(shù)據(jù)挖掘概述 （ 1） KDD看成數(shù)據(jù)挖掘的一個(gè)特例 數(shù)據(jù)挖掘系統(tǒng)可以在關(guān)系數(shù)據(jù)庫、事務(wù)數(shù)據(jù)庫、數(shù)據(jù)倉庫、空間數(shù)據(jù)庫（ Spatial Database）、文本數(shù)據(jù)（ Text Data）以及諸如 WEB等多種數(shù)據(jù)組織形式中挖掘知識(shí)，既然如此，那么可以說數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)只是數(shù)據(jù)挖掘的一個(gè)方面，這是早期比較流行的觀點(diǎn)。經(jīng)過十幾年的研究，產(chǎn)生了許多新概念和方法。 (2) 數(shù)據(jù)挖掘是 KDD過程的一個(gè)步驟 在“知識(shí)發(fā)現(xiàn) 96國際會(huì)議” 上，許多學(xué)者建議對(duì)這兩個(gè)名詞加以區(qū)分。結(jié)合最新的研究成果，有下面一些重要的理論框架可以幫助我們準(zhǔn)確地理解數(shù)據(jù)挖掘的概念與技術(shù)特點(diǎn)。 數(shù)據(jù)挖掘概述 4. 數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)和統(tǒng)計(jì)分析方法 數(shù)據(jù)挖掘利用了人工智能（ AI）和統(tǒng)計(jì)分析的進(jìn)步所帶來的好處。目前，在 IJCAI 、 AAAI 、 VLDB 、 ACMSIGMOD 等代表人工智能與數(shù)據(jù)庫技術(shù)研究最高水平的國際學(xué)術(shù)會(huì)議上，數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)的研究都占有較大的比例，數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)的研究已經(jīng)成為當(dāng)今計(jì)算機(jī)科學(xué)與