【正文】 湖南工程學(xué)院畢業(yè)設(shè)計(jì)(論文)數(shù)據(jù)挖掘在教學(xué)系統(tǒng)中的應(yīng)用畢業(yè)論文第1章 數(shù)據(jù)挖掘基本理論 數(shù)據(jù)挖掘技術(shù)早期文獻(xiàn)中，數(shù)據(jù)挖掘，也稱為數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)，是從數(shù)據(jù)庫中的數(shù)據(jù)抽取隱含的、未知的和潛在有用的信息(如知識(shí)規(guī)則、約束和規(guī)律等)的非平凡的過程。確切地講，數(shù)據(jù)挖掘(簡(jiǎn)記為DM)是一種決策支持過程，它主要基于AI、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)等技術(shù)，高度自動(dòng)化地分析各組織原有的數(shù)據(jù)，做出歸納的推理，從中挖掘出潛在的模式，為管理人員決策提供支持。從功能上可以將DM的分析方法劃分為以下四種(根據(jù)IBM的劃分方法)：關(guān)聯(lián)分析；序列模式分析；分類分析；聚類分析。關(guān)聯(lián)規(guī)則挖掘算法是一種重要的數(shù)據(jù)挖掘方法。DM系統(tǒng)不是多項(xiàng)技術(shù)的簡(jiǎn)單組合，而是一個(gè)完整的整體，它還需要其他輔助技術(shù)的支持，才能完成數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、結(jié)果表述、算法評(píng)價(jià)這一系列任務(wù)。根據(jù)功能，整個(gè)DM系統(tǒng)可以大致劃分為三級(jí)結(jié)構(gòu)() DM系統(tǒng)結(jié)構(gòu)圖DM的數(shù)據(jù)分析過程可以分成數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、結(jié)果表述及評(píng)價(jià)四個(gè)步驟。數(shù)據(jù)準(zhǔn)備階段主要是準(zhǔn)備適合分析的數(shù)據(jù)；數(shù)據(jù)挖掘階段是最關(guān)鍵的階段，主要是選定合適的挖掘算法，對(duì)數(shù)據(jù)進(jìn)行分析，以得出真正合理有用的知識(shí)；結(jié)果表述階段是把挖掘階段得出的知識(shí)以便于用戶理解的方式進(jìn)行描述；評(píng)價(jià)階段是用戶根據(jù)已有的知識(shí)對(duì)挖掘的結(jié)果進(jìn)行合理性分析，若有不合理的方面，再重復(fù)上述三個(gè)步驟，以保證挖掘結(jié)果的合理性。DM與其他數(shù)據(jù)庫工具既存在區(qū)別又存在聯(lián)系。查詢工具、驗(yàn)證型工具、發(fā)掘型工具各自的側(cè)重點(diǎn)不同，因此適用范圍和針對(duì)的用戶也各不相同。發(fā)掘型的應(yīng)用主要負(fù)責(zé)從大量數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)模式，預(yù)測(cè)趨勢(shì)和行為，與驗(yàn)證型工具一個(gè)很大的不同在于，用戶在整個(gè)信息的挖掘過程中無需或只需很少的指導(dǎo)。數(shù)據(jù)挖掘就是一種發(fā)掘型工具，與驗(yàn)證型工具不同，數(shù)據(jù)挖掘是一種展望和預(yù)測(cè)的工具，它能挖掘數(shù)據(jù)間潛在的模式，發(fā)現(xiàn)經(jīng)營(yíng)者可能忽略的信息，并為企業(yè)作出前攝的、基于知識(shí)的決策。查詢工具、驗(yàn)證型工具和發(fā)掘型工具是相互補(bǔ)充的，只有很好的結(jié)合起來，才能達(dá)到最好的效果。數(shù)據(jù)挖掘被信息產(chǎn)業(yè)界視為數(shù)據(jù)庫技術(shù)的前沿，數(shù)據(jù)庫技術(shù)的新應(yīng)用領(lǐng)域。它在數(shù)據(jù)倉庫、決策支持、市場(chǎng)策略和金融預(yù)測(cè)等領(lǐng)域具有廣泛的應(yīng)用前景。全世界排名前列的大型和超大型公司95％以上都建立了數(shù)據(jù)倉庫和應(yīng)用了數(shù)據(jù)挖掘技術(shù)。 關(guān)聯(lián)規(guī)則挖掘算法尋找頻繁子集的方法是根據(jù)所有頻繁發(fā)生的集合的子集也是頻繁發(fā)生的。為了生成頻繁項(xiàng)目集，首先遍歷數(shù)據(jù)庫，收集每個(gè)項(xiàng)目集的支持度，取其支持度不低于最低支持度的項(xiàng)目集構(gòu)成頻繁項(xiàng)目集的集合L1；然后兩兩連接L1中的項(xiàng)目集，形成二維項(xiàng)目集的集合，再次遍歷數(shù)據(jù)庫，收集每個(gè)侯選二維項(xiàng)目的支持?jǐn)?shù)，取其支持?jǐn)?shù)不低于最低支持項(xiàng)目集構(gòu)成頻繁二項(xiàng)集的集合I2；如此迭代，直到新的侯選集n維集合為空時(shí)為止。 關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)假設(shè)每個(gè)頻繁集的支持度都得到，記作P( )，∈頻繁集，那么可信度Confidence(Ll／L2)=P( 1nL2)／p( 1)。如果Confidence(L1／L2)滿足最低信任度，那么這條規(guī)則存在，是有意義的。在已經(jīng)提出的許多算法中，R．Agrawal等人在文獻(xiàn)中提出的Apriori算法是最有影響的。除了最初提出的性能較Apriori差的AIS算法及其面向SQL的變體SETM，目前已知的大多數(shù)算法都是以Apriori為核心，或是其變體，或是其擴(kuò)展。Apriori是一種寬度優(yōu)先算法，通過對(duì)數(shù)據(jù)庫D的多趟掃描來發(fā)現(xiàn)所有的頻繁項(xiàng)目集，在每一趟k中只考慮具有同一長(zhǎng)度k(即項(xiàng)目集中所含項(xiàng)目的個(gè)數(shù))的所有項(xiàng)目集。在第1趟掃描中，Apriori算法計(jì)算I中所有單個(gè)項(xiàng)目的支持度，生成所有長(zhǎng)度為I的頻繁項(xiàng)目集。在后續(xù)的每一趟k中，首先以前一趟中所發(fā)現(xiàn)的所有頻繁項(xiàng)目集為基礎(chǔ)，生成所有新的候選項(xiàng)目集，即潛在的頻繁項(xiàng)目集，然后掃描數(shù)據(jù)庫D，計(jì)算這些候選項(xiàng)目集的支持度，最后確定侯選項(xiàng)目集中哪一些真正成為頻繁項(xiàng)目集。重復(fù)上述過程直到再也發(fā)現(xiàn)不了新的頻繁項(xiàng)目集。算法高效的關(guān)鍵在于生成較小的候選項(xiàng)目集，也就是盡可能不生成和計(jì)算那些不可能成為頻繁項(xiàng)目集的侯選項(xiàng)目集。 聚類分析算法聚類分析是數(shù)據(jù)挖掘中的一個(gè)很活躍的研究領(lǐng)域，并提出了許多聚類算法。這些算法可以被分為劃分方法、層次方法、基于密度方法、基于網(wǎng)格方法和基于模型方法。 劃分方法(PAM:PArtitioning method)首先創(chuàng)建k個(gè)劃分，k為要?jiǎng)?chuàng)建的劃分個(gè)數(shù)；然后利用一個(gè)循環(huán)定位技術(shù)通過將對(duì)象從一個(gè)劃分移到另一個(gè)劃分來幫助改善劃分質(zhì)量。典型的劃分方法包括：kmeans，kmedoids，CLARA，CLARANS FCM。 層次方法(hierarchical method)創(chuàng)建一個(gè)層次以分解給定的數(shù)據(jù)集。該方法可以分為自上而下（分解）和自下而上（合并）兩種操作方式。為彌補(bǔ)分解與合并的不足，層次合并經(jīng)常要與其它聚類方法相結(jié)合，如循環(huán)定位。典型的這類方法包括：第一個(gè)是：BIRCH方法，它首先利用樹的結(jié)構(gòu)對(duì)對(duì)象集進(jìn)行劃分；然后再利用其它聚類方法對(duì)這些聚類進(jìn)行優(yōu)化。第二個(gè)是：CURE方法，它利用固定數(shù)目代表對(duì)象來表示相應(yīng)聚類；然后對(duì)各聚類按照指定量（向聚類中心）進(jìn)行收縮。第三個(gè)是ROCK方法，它利用聚類間的連接進(jìn)行聚類合并。最后一個(gè)CHEMALOEN，它則是在層次聚類時(shí)構(gòu)造動(dòng)態(tài)模型。 基于密度方法根據(jù)密度完成對(duì)象的聚類。它根據(jù)對(duì)象周圍的密度（如DBSCAN）不斷增長(zhǎng)聚類。典型的基于密度方法包括：DBSCAN:該算法通過不斷生長(zhǎng)足夠高密度區(qū)域來進(jìn)行聚類；它能從含有噪聲的空間數(shù)據(jù)庫中發(fā)現(xiàn)任意形狀的聚類。此方法將一個(gè)聚類定義為一組“密度連接”的點(diǎn)集。個(gè)聚類，而是為自動(dòng)交互的聚類分析計(jì)算出一個(gè)增強(qiáng)聚類順序。 基于網(wǎng)格方法首先將對(duì)象空間劃分為有限個(gè)單元以構(gòu)成網(wǎng)格結(jié)構(gòu)；然后利用網(wǎng)格結(jié)構(gòu)完成聚類。STING 就是一個(gè)利用網(wǎng)格單元保存的統(tǒng)計(jì)信息進(jìn)行基于網(wǎng)格聚類的方法。CLIQUE和WaveCluster 則是一個(gè)將基于網(wǎng)格與基于密度相結(jié)合的方法。 于模型方法包括：統(tǒng)計(jì)方法COBWEB：是一個(gè)常用的且簡(jiǎn)單的增量式概念聚類方法。它的輸入對(duì)象是采用符號(hào)量（屬性值）對(duì)來加以描述的。采用分類樹的形式來創(chuàng)建一個(gè)層次聚類。 分類分析若預(yù)測(cè)的變量是離散的(如批準(zhǔn)或否決一項(xiàng)貸款)，這類問題就稱為分類；如果預(yù)測(cè)的變量是連續(xù)的(如預(yù)測(cè)漲跌情況)，這類問題稱為回歸。分類一直為人們所關(guān)注。常用的方法有決策樹、神經(jīng)網(wǎng)絡(luò)、貝葉斯、粗糙集等方法。分類分析要分析數(shù)據(jù)庫中的一組對(duì)象，找出其共同屬性，構(gòu)造分類模型，然后利用分類模型對(duì)其它的數(shù)據(jù)對(duì)象進(jìn)行分類。分類目標(biāo)是分析訓(xùn)練集中的數(shù)據(jù)，利用數(shù)據(jù)中能得到的特征，為每一類建立一個(gè)恰當(dāng)?shù)拿枋龌蚰Ｐ?，然后根?jù)這些分類描述對(duì)測(cè)試數(shù)據(jù)進(jìn)行分類或產(chǎn)生更恰當(dāng)?shù)拿枋?。?章 數(shù)據(jù)挖掘技術(shù)的應(yīng)用 挖掘在成績(jī)分析中的運(yùn)用 現(xiàn)有成績(jī)分析的弊端教師簡(jiǎn)單的以考試分?jǐn)?shù)來評(píng)價(jià)學(xué)生學(xué)習(xí)效果,教師在成績(jī)分析這方面所花的時(shí)間較多,在一定程度上牽扯了教師的精力, 使教師沒有更多的精力關(guān)注教學(xué)的設(shè)計(jì)和過程的組織。在傳統(tǒng)考試中,由于時(shí)間和條件的限制,教師只能從有限的幾個(gè)方面來分析考試,如根據(jù)最高分、最低分、平均分了解班級(jí)的整體水平,憑自己的印象尋找錯(cuò)誤率較高的題目加以講解等。在進(jìn)行年級(jí)成績(jī)分析的時(shí)候,只是對(duì)成績(jī)本身進(jìn)行了簡(jiǎn)單統(tǒng)計(jì)的描述。 數(shù)據(jù)挖掘的應(yīng)用 (1) 對(duì)試題的分析與評(píng)價(jià) 通過分析考試成績(jī)及參與考試的樣本,警告出現(xiàn)異常反應(yīng)的試題,以及對(duì)專家估計(jì)的試題屬性值進(jìn)行自動(dòng)校正等等。主要從試題的難度、區(qū)分度、迷惑力幾方面來評(píng)價(jià)。其中難度用通過率體現(xiàn),通過率為組成試卷提供選題依據(jù),影響著分?jǐn)?shù)的分布形態(tài),離散程度,從而制約著測(cè)驗(yàn)的信度和效度。一般而言,整個(gè)試卷的難度平均為 ,各個(gè)試題難度均勻分布在 ～。區(qū)分度反應(yīng)了一個(gè)題目的鑒別能力,由其可以得到三個(gè)方面的信息,題目能否有效的測(cè)量或預(yù)測(cè)所要了解的某些特性或正態(tài)。題目能否與其他題目一致的分辨被試。以及被試在該試題的得分和測(cè)驗(yàn)總分?jǐn)?shù)間一致性如何。區(qū)分度取值介于(+1,1)。迷惑力指多項(xiàng)選擇體中供選擇用的非正確答案被考生選中的可能性,因此這項(xiàng)指標(biāo)只對(duì)多項(xiàng)選擇題有意義。通常用一次測(cè)驗(yàn)中選中某錯(cuò)誤答案的次數(shù)來估計(jì)大案的迷惑效力?？荚囍心骋贿x項(xiàng)無一人選擇,說明該選項(xiàng)無迷惑力。如果選用的人數(shù)多且低分組的選用多于高分組,說明該選項(xiàng)的迷惑力強(qiáng)。如果高、低分組選某項(xiàng)的人數(shù)較少且人數(shù)接近,說明該選項(xiàng)的迷惑力較弱。此參數(shù)對(duì)于成績(jī)的分析意義不大,而且我們獲得的數(shù)據(jù)只是學(xué)生一試題一分?jǐn)?shù),沒有喧響。這樣的數(shù)據(jù),所以此參數(shù)在成績(jī)分析中沒有采納。(2) 對(duì)試卷的分析與評(píng)價(jià)對(duì)試卷的分析可以利用關(guān)聯(lián)規(guī)則對(duì)試卷數(shù)據(jù)庫進(jìn)行分析來得到某次考試的有效性、可信度、得分分布等信息。評(píng)價(jià)從信度、效度、標(biāo)準(zhǔn)分?jǐn)?shù)幾方面來進(jìn)行。其中信度包括由客觀題構(gòu)成的試卷的信度和由主觀題構(gòu)成的試卷的信度、由主觀題和客觀題并存的試卷的信度,對(duì)信度系數(shù)的大小度量,應(yīng)結(jié)合測(cè)驗(yàn)的用途、條件、內(nèi)容來看。效度用以了解測(cè)驗(yàn)的質(zhì)量和功能,為進(jìn)一步改進(jìn)測(cè)驗(yàn)或是在幾個(gè)同類測(cè)驗(yàn)中合理選擇提供依據(jù)。利用效標(biāo)關(guān)系、效度進(jìn)行預(yù)測(cè)。(3) 對(duì)學(xué)生的分析與評(píng)價(jià)學(xué)生在測(cè)驗(yàn)后總是關(guān)心自己的成績(jī),關(guān)心自己成績(jī)的排名,關(guān)心自己哪些知識(shí)點(diǎn)掌握的好,哪些知識(shí)點(diǎn)掌握得不好,想知道進(jìn)一步努力的方向。可以利用分析學(xué)生的歷次考試成績(jī)及試卷中各題的得分,分析學(xué)生的進(jìn)步情況、學(xué)習(xí)障礙、知識(shí)點(diǎn)和知識(shí)單元的掌握情況等等。其中包括利用 Z分?jǐn)?shù)對(duì)應(yīng)曲線圖對(duì)學(xué)生同時(shí)進(jìn)行的各科目測(cè)試成績(jī)進(jìn)行的橫向比較、利用 Z分?jǐn)?shù)對(duì)應(yīng)曲線圖及二列相關(guān)系數(shù)的分析對(duì)學(xué)生分?jǐn)?shù)在歷次測(cè)驗(yàn)中進(jìn)行的縱向比較、利用成績(jī)分布曲線得出學(xué)生成績(jī)頻數(shù)分布圖等。(4) 對(duì)知識(shí)點(diǎn)的分析與評(píng)價(jià)教師除了關(guān)心學(xué)生的考試情況,如成績(jī)分布、平均分、與其他學(xué)生的比較等。更關(guān)心學(xué)生對(duì)知識(shí)點(diǎn)的掌握情況。分析學(xué)生已掌握的教學(xué)內(nèi)容和未掌握的教學(xué)內(nèi)容來找出教學(xué)的薄弱環(huán)節(jié),通過分析學(xué)生的異質(zhì)反應(yīng),找到需要單獨(dú)輔導(dǎo)的學(xué)生。這是對(duì)知識(shí)點(diǎn)的分析與評(píng)價(jià)的主要任務(wù),可以結(jié)合數(shù)據(jù)挖掘的相關(guān)功能幫助分析各科成績(jī)或?qū)W生歷次成績(jī)與總體成績(jī)的相關(guān)性、回歸性和方差齊性來了解學(xué)生某測(cè)試中各知識(shí)點(diǎn)的掌握情況、學(xué)生對(duì)某個(gè)知識(shí)點(diǎn)的總體掌握情況等。 分類規(guī)則挖掘在智能題庫系統(tǒng)中的應(yīng)用 運(yùn)用數(shù)據(jù)挖掘技術(shù)實(shí)現(xiàn)智能題庫系統(tǒng)首先，設(shè)計(jì)數(shù)據(jù)庫，數(shù)據(jù)庫中包含題庫，答案庫和答案關(guān)鍵字庫，題型庫中包含科目，題號(hào)，題型，題目，難度，分值等字段；答案庫中包括科目，題號(hào)，分值，答案，答案序號(hào)（用于標(biāo)識(shí)同一題的多個(gè)答案）等字段其中題號(hào)是關(guān)鍵字；答案關(guān)鍵字庫中包含題號(hào)，答案序號(hào)，權(quán)值和答案關(guān)鍵字。其次：將答案輸入答案庫。對(duì)于客觀題，輸入唯一的答案即可；對(duì)于主觀題，要求命題教師盡量給出多個(gè)參考答案并將每個(gè)答案的關(guān)鍵字及其所對(duì)應(yīng)的權(quán)值、答案序號(hào)輸入答案關(guān)鍵字庫。 采用決策樹算法 為每個(gè)問題的答案構(gòu)造一個(gè)二叉樹，每個(gè)分支要么是一個(gè)新的決策點(diǎn)，要么是一個(gè)葉子節(jié)點(diǎn)。在沿著決策樹叢上到下的遍歷過程中，對(duì)每個(gè)問題的不同回答導(dǎo)致不同的分支，最后到達(dá)一個(gè)葉子節(jié)點(diǎn)，每個(gè)葉子節(jié)點(diǎn)都會(huì)對(duì)應(yīng)確定的權(quán)值，通過對(duì)權(quán)值的計(jì)算判定得分。如：對(duì)于一道政治主觀題，主要看答案是否包括得分點(diǎn)，因此先針對(duì)答案構(gòu)造一個(gè)二叉樹，查詢答案表和答案關(guān)鍵字表，將考生的答案按答題要點(diǎn)進(jìn)行劃分，繼續(xù)跟大案關(guān)鍵字庫進(jìn)行比較，如果不符合則停止向下搜索，否則繼續(xù)劃分直到不能再分為止。 采用模糊論方法利用模糊集合理論,對(duì)實(shí)際問題進(jìn)行模糊判斷、模糊決策、模糊模式識(shí)別、模糊簇聚分析。由于主觀題答案很靈活，答案不可能完全匹配，采用此方法將考生答案與答案庫中的答案進(jìn)行對(duì)照，以確定答案的正確度，從而更客觀準(zhǔn)確的評(píng)定主觀題分?jǐn)?shù)。 答案關(guān)鍵字庫的完善由于主觀題的答案具有多樣性，又因?yàn)閰⒖即鸢负痛鸢柑卣魇怯擅}教師根據(jù)經(jīng)驗(yàn)給出也存在一定的主觀性，因此，答案庫和答案關(guān)鍵字庫需要不斷地進(jìn)行完善。我們可以借助人工智能專家系統(tǒng)的思想，通過知識(shí)的不斷積累不斷完善答案庫和答案關(guān)鍵字庫，使其包越來越完善的答案相關(guān)聯(lián)情況，達(dá)到自學(xué)習(xí)的目的。首先，將參考答案作為測(cè)試集，對(duì)各題的分類樹進(jìn)行測(cè)試，檢查測(cè)試結(jié)果。然后針對(duì)結(jié)果，為滿分的序列建立基本的相關(guān)性。如果結(jié)果出現(xiàn)問題，就對(duì)相關(guān)性進(jìn)行一定的修正，再反復(fù)測(cè)試直至成功。這樣基本可以確定滿分的關(guān)鍵字序號(hào)及其中關(guān)鍵字之間的相關(guān)性。然后，再從實(shí)際考核試卷中挑選一些典型的零分樣本作為測(cè)試集，對(duì)各題的決策樹進(jìn)行測(cè)試，用于確定零分的關(guān)鍵字序列及其關(guān)鍵字之間的相關(guān)性。最后，從答案關(guān)鍵字庫中提取出關(guān)鍵字在決策樹中的有用屬性剔除無用屬性。 答案特征庫的維護(hù)雖然閱卷系統(tǒng)具有了一定的數(shù)據(jù)挖掘功能從而可以不斷地自我完善，但是它并不能完全地脫離人工干預(yù)；教師還應(yīng)對(duì)閱卷結(jié)果進(jìn)行評(píng)價(jià)，可以由系統(tǒng)隨機(jī)的在每個(gè)分?jǐn)?shù)檔挑選出一個(gè)答案供教師評(píng)價(jià)，同時(shí)，將記錄在案的特殊答案調(diào)出，由教師確定其正確性。教師可以在評(píng)價(jià)過程中，給出一些新關(guān)鍵字組合并將其編入答案關(guān)鍵字庫。這樣不但充分保證了系統(tǒng)對(duì)考生的高度負(fù)責(zé)，提高了系統(tǒng)的客觀性與公正性，而且對(duì)自身的答案特征庫進(jìn)行了維護(hù)。隨著閱卷次數(shù)的增多，整個(gè)系統(tǒng)必將越來越可靠。 題庫管理 添加試題 在試題庫中加入編好的試題。有兩種方式加入：?jiǎn)晤}錄入，按預(yù)置的試題格式一道一道地填寫；批量錄入，將多道試題按預(yù)定的格式形成一個(gè)TXT文件，由錄入程序一次性地錄入題庫。 查詢?cè)囶} 用戶在查詢界面中輸入試題查詢參數(shù)（包括試題中所有的屬性參數(shù)，并可實(shí)現(xiàn)邏輯組合），查出符合條件的試題，供后續(xù)修改或刪除處理。 修改試題 查詢出試題后，可對(duì)試題的各項(xiàng)參數(shù)及試題內(nèi)容進(jìn)行修改。 刪除試題 查詢出試題后，可刪除該試題。 遠(yuǎn)程收集試題 各地教師可通過網(wǎng)絡(luò)提交試題，提交后試題存儲(chǔ)在一個(gè)緩沖試題庫中，自動(dòng)形成標(biāo)準(zhǔn)的RTF文檔，供學(xué)科專家審查修改，然后批量錄入題庫。 預(yù)置組卷策略 對(duì)于一些常見的考試組卷，可以預(yù)置一些常用的組卷策略，教師組卷時(shí)可以選擇現(xiàn)成的組卷策略，無需重復(fù)輸入復(fù)雜的參數(shù)便可組卷。