【正文】 可以看到，對(duì)于項(xiàng)集 }I,{I 21 ，它在事 務(wù) 1， 4， 5 中都出 12 現(xiàn)了，意味著其支持度計(jì)數(shù)要增加 3 次。 大多數(shù)關(guān)聯(lián)規(guī)則挖掘任務(wù)被分解為產(chǎn)生頻繁項(xiàng)集和強(qiáng)規(guī)則兩個(gè)子任務(wù)，前者就是發(fā)現(xiàn)滿足 min_sup 的所有項(xiàng)集，后者則是在前者的基礎(chǔ)上提取所有高置信度的規(guī)則。 [14] 證明：已知非頻繁項(xiàng)目集 X，即 m in_ supsup po rt(X ) ? ，對(duì)于 X 的每個(gè)超集 Y，由性質(zhì) ，可知 m in_s ups uppo r t ( X )s uppo r t ( Y ) ?? ，可得項(xiàng)目集 Y 也是非頻繁的。關(guān)聯(lián)規(guī)則必須滿足的最小可信度被稱為最小置信度 )c on f ide nc e ( m ini m um ，簡(jiǎn)記為 min_conf 。項(xiàng)集 (itemsets) 被定義為含 k 個(gè)項(xiàng)或不含項(xiàng)的集合，分別稱 k 項(xiàng)集或空集。 (7) Web 挖掘。隨著快速產(chǎn)生連續(xù)的數(shù)據(jù)流的應(yīng)用的逐步增加，比如，網(wǎng)絡(luò)通信流、多媒體流和股票價(jià)格等的應(yīng)用，流數(shù)據(jù)挖掘必須考慮一些因素，如可用內(nèi)存有限、需要聯(lián)機(jī)分析和數(shù)據(jù)隨時(shí)間改變等因素。代表算法是 t ive )R E pr e s e nt a U s inge r ingC U R E ( C lus t ，它能夠處理 大型數(shù)據(jù)、離群點(diǎn)和具有非 球形和非均勻大小的簇的數(shù) 據(jù)。 ② 基于密度的聚類： 最常見(jiàn)的是尋找高密度區(qū)域，并且是被低密度區(qū)域分離的 DBSCAN 算法 。 ⑤ 貝葉斯分類器： 通過(guò) 樸 素 貝 葉 斯 和 貝 葉 斯 信 念 網(wǎng) 絡(luò)B B N )n e t w o r k s , b e lie f( B a ye s ia n 實(shí)現(xiàn)，前者 面對(duì)孤立的噪聲點(diǎn)和無(wú)關(guān)屬性時(shí)是健壯的， 并且相關(guān)屬性可能會(huì)降低樸素貝葉斯分類器的性能，因?yàn)閷?duì)于這些屬性，條件獨(dú)立的假設(shè)已不成立 ，但它在文本分類等應(yīng)用領(lǐng)域的性能相當(dāng)好 。 一些著名的決策樹(shù)算法包括都采用熵度量作為劃分函數(shù)的 ID3 和 算法以及使用 Gini 指標(biāo)作為劃分函數(shù)的 CART 算法，還有在決策樹(shù)生長(zhǎng)過(guò)程中使用 2χ 統(tǒng)計(jì)檢驗(yàn)確定最佳的劃分點(diǎn)的 CHAID 算法。 數(shù)據(jù)挖掘的方法 面對(duì)不同的數(shù)據(jù)挖掘任務(wù)，一種方法往往不能全部解決，而需要將多種方法相結(jié)合，取長(zhǎng)補(bǔ)短。確定了要挖掘的對(duì)象， 還需要進(jìn)行數(shù)據(jù)預(yù)處理。 (3) 聚類分析 ana lys is)(c lus ter 俗話說(shuō) 物以類聚，聚類用于發(fā)現(xiàn)數(shù)據(jù)庫(kù)中緊密相關(guān)的數(shù)據(jù)并組成不同的組，使得同一簇中的數(shù)據(jù)相互之間盡可能的相似。 數(shù)據(jù)挖掘的概念 數(shù)據(jù)挖掘 Mining) (Data 就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、 但又是潛在有用的信息和知識(shí)的過(guò)程。對(duì)本文所做的工作進(jìn)行總結(jié)，并對(duì)今后的工作提出了研究方向。首先分析了經(jīng)典的 Apriori 算法，包括算法的基本思想和核心，并通過(guò)實(shí)例分析了算法的特點(diǎn)和不足 ，同時(shí)介紹了現(xiàn)有的改進(jìn)技術(shù)。先后介紹了論文研究的背景、選題的依據(jù)及意義以及本文的主要內(nèi)容和組織結(jié)構(gòu)。 (3) Apriori 算法的改進(jìn)設(shè)計(jì)。系統(tǒng)試運(yùn)行后，優(yōu)化的課程設(shè)置 使得教師的教學(xué)過(guò)程有了明顯的改善，教學(xué)效果明顯提高，學(xué)生的課程通過(guò)率有所上升。對(duì)于兩種算法，利用同一個(gè)實(shí)例，從理論和實(shí)驗(yàn)兩個(gè)方面比較它們的性能，發(fā)現(xiàn)了改進(jìn)算法的優(yōu)越性。 選題的依據(jù)和意義 關(guān)聯(lián)規(guī)則挖掘首先是由 等人提出，用來(lái)發(fā)現(xiàn)購(gòu)物籃數(shù)據(jù)事務(wù)中各項(xiàng)之間的有趣聯(lián)系，并且提出了挖掘關(guān)聯(lián)規(guī)則的 Apriori 算法。 插圖清單 圖 3 1 費(fèi)力策略示意圖 ............................................................................... 12 圖 3 2 基于支持度的剪枝策略的實(shí)例 .......................................................... 13 圖 3 3 FPgrowth 算法偽代碼 ...................................................................... 14 圖 3 4 FPgrowth 算法挖掘流程第一步 ........................................................ 15 圖 3 5 根據(jù)表 31 構(gòu)建的 FPtree ................................................................ 16 圖 4 1 利用 Apriori 算法產(chǎn)生頻繁項(xiàng)集的偽代碼 .......................................... 22 圖 4 2 apriorigen()函數(shù)產(chǎn)生候選項(xiàng)集的偽代碼 ........................................... 23 圖 4 3 Apriori 算法中規(guī)則產(chǎn)生的偽代碼 ...................................................... 24 圖 4 4 Apriori 算法尋找 D 中頻繁項(xiàng)集的過(guò)程 .............................................. 25 圖 4 5 利用完美哈希函數(shù)挖掘 L2 ................................................................ 30 圖 4 6 利用 L2 壓縮原始數(shù) 據(jù)庫(kù) D................................................................ 31 圖 4 7 Apriori 改進(jìn)算法的數(shù)據(jù)流程圖 ......................................................... 33 圖 4 8 不同支持度下的兩種算法效率比較 (5000 條樣本數(shù)據(jù)） ..................... 35 圖 4 9 不同樣本數(shù)據(jù)下的兩種算法效率比較 (min_sup=%） ...................... 36 圖 5 1 關(guān)聯(lián)規(guī)則挖掘過(guò)程示意圖 ................................................................. 37 圖 5 2 學(xué)生成績(jī)數(shù)據(jù)挖掘系統(tǒng)模型 ............................................................. 41 圖 5 3 學(xué)生成績(jī)數(shù)據(jù)挖掘系統(tǒng)挖掘流程圖 ................................................... 41 圖 5 4 學(xué)生成績(jī)數(shù)據(jù)挖掘系統(tǒng)主界面 .......................................................... 42 圖 5 5 獲取數(shù)據(jù)模塊界面 ........................................................................... 42 圖 5 6 獲取挖掘數(shù)據(jù)成功的界面 ................................................................. 43 圖 5 7 關(guān)聯(lián)規(guī)則挖掘模塊的界面 ................................................................. 43 圖 5 8 規(guī)則結(jié)果分析模塊的界面 ................................................................. 44 圖 5 9 學(xué)生成績(jī)數(shù)據(jù)挖掘系統(tǒng)應(yīng)用前后效果對(duì)比圖 ..................................... 45 表格清單 表 3 1 事務(wù)數(shù)據(jù)庫(kù) D ................................................................................. 15 表 3 2 按結(jié) 果集 L 中的次序處理 D 中的每個(gè)事務(wù)的項(xiàng) ............................... 15 表 3 3 挖掘圖 34 的 FPtree 的結(jié)果 ........................................................... 17 表 4 1 原始事務(wù)數(shù)據(jù)庫(kù) D .......................................................................... 24 表 4 2 11 CC? 中所有 2項(xiàng)集對(duì)應(yīng)的地址表 .................................................. 29 表 4 3 分組表 (3) ....................................................................................... 32 表 4 4 分組表 (4) ....................................................................................... 32 表 5 1 學(xué)生成績(jī)表表結(jié)構(gòu) .......................................................................... 39 表 5 2 預(yù)處理后的學(xué)生成績(jī)表表結(jié)構(gòu) ......................................................... 40 1 第一章 緒論 研究背景 面臨著社會(huì)各個(gè)領(lǐng)域積累的大量數(shù)據(jù)，如何從中獲取有價(jià)值的新發(fā)現(xiàn) ，目前已成為不同學(xué)科的研究者的主要研究方向。 通過(guò)挖掘?qū)W生成績(jī)，進(jìn)一步證實(shí)了 Apriori 改進(jìn)算法的有效性和可行性，也為教學(xué)管理人員進(jìn)行課程合理設(shè)置提供了決策支持。本文針對(duì) Apriori 算法的不足，提出了一種改進(jìn)算法，并將其應(yīng)用于挖掘?qū)W生成績(jī)，從而對(duì)優(yōu)化課程設(shè)置起到一定的指導(dǎo)作用。改進(jìn)算法利用了完美哈希函數(shù)，優(yōu)化的事務(wù)壓縮技術(shù)，分組查詢計(jì)數(shù)和不利用剪枝直接產(chǎn)生候選 k 項(xiàng)集等技術(shù)，在一定程度上提升了挖掘頻繁項(xiàng)集的效率。 Performance Management Abstract Association rule mining is used to find the meaningful connections hidden in large data set, and the connections can be expressed by association rules or frequent itemsets. Currently, the association rule mining has been widely studied and applied, of which Apriori algorithm is one of the most influential mining Boolean association rule algorithms of frequent itemsets. Aiming at the shortings of Apriori algorithm, this thesis proposes an improved algorithm and applies it to mine student performances, thus plays a certain guiding role in curriculum optimization. The main contents of this thesis are as follows: (1)Firstly, it discusses and summaries the data mining technology, and emphasizes the basic concepts and ideas of association rules, and related techniques about frequent itemsets and association rules. (2)Secondly, it studies the Apriori algorithm t horoughly. And present an improved algorithm aiming at the flaws. The algorithm uses the perfect hash function, optimized affairs pression technology, the grouping inquiry counting and not using the pruning directly to produce candidate k items