【正文】 name姓名String20YN無password密碼String20YN無headImg頭像String255YN無gender性別String2YN男，女state狀態(tài)（是否激活）String20YN是，否mobile手機String20YN無郵箱String20YN無birthday生日Date0YN日期memo說明String255YN無Student表，包含學(xué)生學(xué)號，班級，候選題目：字段名描述類型長度可否為空主鍵值域sId學(xué)生學(xué)號String32NY無Dept班級String20YN無scmList候選題SCMap　YNSCMapContent表，包含題號，標(biāo)題，題目內(nèi)容，關(guān)鍵字，候選學(xué)生：字段名描述類型長度可否為空主鍵值域cid題目id值String32NY無Title題目標(biāo)題String32YN無Detail題目內(nèi)容String255YN無coreWord關(guān)鍵字String20YN無scmList候選學(xué)生SCMap　YNSCMapSCMap表，對應(yīng)id，學(xué)號，題號，比重：字段名描述類型長度可否為空主鍵值域Idid值String32NY無Stu學(xué)生Student　YNStudentCont題目Content　YNContentscImop可能性String20YN無系統(tǒng)會預(yù)先為每個即將登陸用戶創(chuàng)建賬戶，其中帳戶名為每位學(xué)生的學(xué)號，記錄為Student類中的account字段，表示該用戶的用戶名。在線教學(xué)系統(tǒng)作為一種輔助教學(xué)的手段，大部分智能教學(xué)系統(tǒng)缺乏有效的學(xué)習(xí)資源推薦機制，使得用戶在面對海量資源時，無法準(zhǔn)確地尋找到滿足自身學(xué)習(xí)需求的學(xué)習(xí)資料，進(jìn)而導(dǎo)致用戶學(xué)習(xí)興趣下降，無法發(fā)揮教輔系統(tǒng)的最大作用。如果支持度和置信度都超過了相應(yīng)的閾值，則從X到Y(jié)的規(guī)則被認(rèn)為是有效的。 基于內(nèi)容的 CF 的原理和基于用戶的 CF 類似，只是在計算鄰居時采用內(nèi)容本身，而不是從用戶的角度，即基于用戶對內(nèi)容的偏好找到相似的內(nèi)容，然后根據(jù)用戶的歷史偏好，推薦相似的內(nèi)容給他。每個用戶都有自己的歷史提交序列，影響序列的因素有：提交成績（Result或者Score）、提交題目的難度（Level），利用這兩個因素整合出可以體現(xiàn)當(dāng)前時間點下哪些習(xí)題是適合當(dāng)前學(xué)生的序列。 (5)存儲層：以特定的格式對挖掘過后的結(jié)果進(jìn)行存儲。如圖 ，整個 WEKA 數(shù)據(jù)挖掘系統(tǒng)的過程包括輸入要測試的數(shù)據(jù)集，然后對待測數(shù)據(jù)進(jìn)行預(yù)處理，再將處理后的數(shù)據(jù)集置于一種學(xué)習(xí)方案中并分析其結(jié)果或是將已學(xué)習(xí)到的模型來預(yù)測未知的實例，或是將數(shù)據(jù)集置于不同的學(xué)習(xí)方案中，針對各種方案的學(xué)習(xí)結(jié)果進(jìn)行模式評估，以找出最佳性能的學(xué)習(xí)方案。WEKA的全名是懷卡托智能分析環(huán)境（Waikato Environment for Knowledge Analysis）,它是由懷卡托大學(xué)研究而成的，是一個完全開放的數(shù)據(jù)挖掘工作平臺，集合了大量能承擔(dān)數(shù)據(jù)挖掘任務(wù)的機器學(xué)習(xí)算法，包括對數(shù)據(jù)進(jìn)行預(yù)處理、分類、聚類、關(guān)聯(lián)規(guī)則、屬性選擇以及在新的交互式界面上實現(xiàn)可視化等。而最小支持度閾值和最小置信度閾值也是決定一個事務(wù)集合是否是頻繁事務(wù)集和一個關(guān)聯(lián)規(guī)則是否成立的決定因素。Apriori算法思路實現(xiàn)簡單，通過迭代不斷通過K1元頻繁項目集生成K元頻繁項目集，直到不能生成為止，最終可以得到最大頻繁項目集。圖 2 給出了一個例子，對于用戶 A，根據(jù)用戶的歷史偏好，這里只計算得到一個鄰居 用戶C，然后將用戶C喜歡的物品D 推薦給用戶A。對應(yīng)于Kmeans來說就是我們一開始不知道每個樣例對應(yīng)隱含變量也就是最佳類別。由于我們事先不知道類別y，那么我們首先可以對每個樣例假定一個y吧，但是怎么知道假定的對不對呢？怎么評價假定的好不好呢？我們使用樣本的極大似然估計來度量，這里是就是x和y的聯(lián)合分布P(x,y)了。Kmeans是要將J調(diào)整到最小。重復(fù)迭代第一步和第二步直到質(zhì)心不變或者變化很小。固定聚類數(shù)的鄰居: Kmeans算法是很典型的基于距離的聚類算法，采用距離作為相似性的評價指標(biāo)，即認(rèn)為兩個對象的距離越近，其相似度就越大。b皮爾遜相關(guān)系數(shù)（Pearson Correlation Coefficient）皮爾遜相關(guān)系數(shù)一般用于計算兩個定距變量間聯(lián)系的緊密程度，它的取值在 [1，+1] 之間。歸一化：如前面講到的，在計算用戶對物品的喜好程度時，可能需要對不同的行為數(shù)據(jù)進(jìn)行加權(quán)。要理解什么是協(xié)同過濾 (Collaborative Filtering, 簡稱 CF) [5]，首先想一個簡單的問題，如果你現(xiàn)在想看個電影，但你不知道具體看哪部，你會怎么做？大部分的人會問問周圍的朋友，看看最近有什么好看的電影推薦，而我們一般更傾向于從口味比較類似的朋友那里得到推薦。將算法研究重點放到對知識結(jié)構(gòu)與習(xí)題資源本身的信息的利用和處理上，以解決在ITS系統(tǒng)中為學(xué)生從海量資源中進(jìn)行個性化資源推薦的問題，并將通過實驗證明該算法和系統(tǒng)的理論價值與應(yīng)用價值。為了能夠提高個性化推薦系統(tǒng)的準(zhǔn)確率，本論文摒棄單一的協(xié)同過濾方法，提出新的推薦方法思路并將其理論應(yīng)用智能在線學(xué)習(xí)系統(tǒng)中，更大的發(fā)揮在線學(xué)習(xí)系統(tǒng)個性化推薦的作用，為學(xué)生提供更優(yōu)質(zhì)的服務(wù)。個性化推薦系統(tǒng)設(shè)計畢業(yè)論文目錄1 研究目的 1 研究背景及意義 1 推薦系統(tǒng)現(xiàn)狀 2 論文內(nèi)容與章節(jié)安排 32 理論支持與相關(guān)技術(shù)的應(yīng)用與背景 4 相應(yīng)的推薦算法及數(shù)學(xué)原理 4 Weka的技術(shù)介紹與應(yīng)用 15 Weka系統(tǒng)簡介 15 Weka系統(tǒng)的特點與應(yīng)用 153 習(xí)題個性化推薦系統(tǒng)的設(shè)計原理 19 研究難題解決 19 基于記憶的過濾 20 基于用戶的協(xié)同過濾 20 基于內(nèi)容的協(xié)同過濾 22 基于規(guī)則的過濾 22 通過比例因子進(jìn)行優(yōu)化 244 系統(tǒng)的實現(xiàn) 25 需求分析 25 概要設(shè)計 26 數(shù)據(jù)采集與預(yù)處理階段 26 數(shù)據(jù)處理階段 26 數(shù)據(jù)庫的設(shè)計 28 推薦系統(tǒng)的總體結(jié)構(gòu) 30 系統(tǒng)詳細(xì)設(shè)計 31 用戶信息管理模塊 31 用戶推薦模塊 34 用戶搜索模塊 36 系統(tǒng)的開發(fā)環(huán)境 365 總結(jié) 42參考文獻(xiàn) 44致謝辭 45附錄 46附錄1 英文原文 46附錄2 中文原文 54附錄3 部分代碼 591 研究目的智能在線學(xué)習(xí)系統(tǒng)[1]是個性化推薦的一種應(yīng)用，本文介紹的是基于OJ數(shù)據(jù)的習(xí)題個性化推薦系統(tǒng)，本章簡要介紹個性化推薦的概念、背景與國內(nèi)外研究現(xiàn)狀，并且針對目前流行的推薦方法予以介紹。目前對于個性化推薦系統(tǒng)的研究正處于高速發(fā)展期,相關(guān)的推薦算法也已在電子商務(wù)領(lǐng)域、個性化搜索等領(lǐng)域得到一定程度的發(fā)展和應(yīng)用。對于介紹基于OJ數(shù)據(jù)的習(xí)題個性化推薦系統(tǒng)論文以下內(nèi)容安排如下：第二部分側(cè)重介紹本系統(tǒng)數(shù)據(jù)處理過程中依據(jù)的理論知識背景及技術(shù)應(yīng)用；第三部分講述了習(xí)題推薦系統(tǒng)實現(xiàn)過程中遇到的難題及整個系統(tǒng)的設(shè)計思路；第四部分描述系統(tǒng)實現(xiàn)的詳細(xì)步驟；第五部分總結(jié)了本系統(tǒng)設(shè)計與實現(xiàn)過程中的心得與體會。這就是協(xié)同過濾的核心思想。但可以想象，不同行為的數(shù)據(jù)取值可能相差很大，比如，用戶的查看數(shù)據(jù)必然比購買數(shù)據(jù)大的多，如何將各個行為的數(shù)據(jù)統(tǒng)一在一個相同的取值范圍中，從而使得加權(quán)求和得到的總體喜好更加精確，就需要我們進(jìn)行歸一化處理。sx, sy是 x 和 y 的樣品標(biāo)準(zhǔn)偏差。該算法認(rèn)為簇是由距離靠近的對象組成的，因此把得到緊湊且獨立的簇作為最終目標(biāo)。Kmeans面對的第一個問題是如何保證收斂，前面的算法中強調(diào)結(jié)束條件就是收斂，可以證明的是Kmeans完全可以保證收斂性。假設(shè)當(dāng)前J沒有達(dá)到最小值，那么首先可以固定每個類的質(zhì)心，調(diào)整每個樣例的所屬的類別來讓J函數(shù)減少，同樣，固定，調(diào)整每個類的質(zhì)心也可以使J減小。如果找到的y能夠使P(x,y)最大，那么我們找到的y就是樣例x的最佳類別了，x順手就聚類了。最開始可以隨便指定一個給它，然后為了讓P(x,y)最大（這里是要讓J最小），我們求出在給定c情況下，J最小時的（前面提到的其他未知參數(shù)），然而此時發(fā)現(xiàn)，可以有更好的（質(zhì)心與樣例距離最小的類別）指定給樣例，那么得到重新調(diào)整，上述過程就開始重復(fù)了，直到?jīng)]有更好的指定。 CF 的基本原理(2)基于內(nèi)容的協(xié)同過濾基于內(nèi)容（物品）的CF的原理和基于用戶的CF類似，只是在計算鄰居時采用物品本身，而不是從用戶的角度，即基于用戶對物品的偏好找到相似的物品，然后根據(jù)用戶的歷史偏好，推薦相似的物品給他。Apriori算法存在的問題是每次迭代都要判斷生成K元集合的K1元子集是否都是頻繁項目集，計算量巨大；并且Apriori算法是一個挖掘最大頻繁項目集的算法，無法得到全部頻繁模式集合。因此這兩個閾值也決定了推薦系統(tǒng)的準(zhǔn)確率和召回率。 WEKA系統(tǒng)的實現(xiàn)源自Eibe Frank等學(xué)者在機器學(xué)習(xí)方面的研究積累，1998年之前的WEKA版本是用C++來實現(xiàn)的，從1998年起，Eibe Frank開始用Java語言重新編寫該系統(tǒng)，這一舉動還得到了項目組里其它成員以及若干自由軟件人的幫助。 下面簡單介紹數(shù)據(jù)挖掘流程的每個層次： (1)數(shù)據(jù)輸入層：是整個數(shù)據(jù)挖掘的準(zhǔn)備階段，數(shù)據(jù)輸入方式有三種，分別為打開當(dāng)?shù)匚募瑪?shù)據(jù)庫導(dǎo)入。
數(shù)據(jù)挖掘系統(tǒng)3習(xí)題個性化推薦系統(tǒng)的設(shè)計原理在了解個性化推薦基本算法的基礎(chǔ)之上，本節(jié)主要將會講述在開發(fā)基于OJ數(shù)據(jù)的習(xí)題個性化推薦系統(tǒng)過程中解決的難題，除此以外將會具體介紹怎樣將基于記憶的協(xié)同過濾和基于規(guī)則的協(xié)同過濾兩種方法融合之后運用到本系統(tǒng)之中，真正的將用戶的歷史習(xí)題記錄利用率達(dá)到最大化，進(jìn)而提高推薦習(xí)題對用戶的準(zhǔn)確率。利用用戶都有自己的歷史提交序列，具有下面性質(zhì)的序列:（1）該序列是一個鏈表，該鏈表的每個元素隱含（真正存儲不需要六個）有六個個成員變量:變量a題目號（對應(yīng)題目表中的id）、變量b題目得分（用于進(jìn)行基于用戶的協(xié)同過濾）、變量c(對應(yīng)題目表中的關(guān)鍵詞屬性知識點，用于下面分析基于習(xí)題內(nèi)容的協(xié)同過濾）、變量d(權(quán)重信息，用于排序）、變量 e題目難度、f提交次數(shù).權(quán)重的計算：① 對題目得分和題目難度進(jìn)行數(shù)據(jù)歸一化；②(e*t)/（b*f）(e表示題目難度，t表示答題時間，b表示題目得分Score,f表示提交次數(shù))；② 權(quán)重決定了習(xí)題未來出現(xiàn)在推薦題目中的概率大小。系統(tǒng)中Content類的初始化，在Content類中包包含了題號cId,標(biāo)題title，題目內(nèi)容detail,歷史習(xí)題記錄scmList,關(guān)鍵字coreWord,基于內(nèi)容（習(xí)題）的協(xié)同過濾，簡單而言就是傳遞信息：我做了A題目，感覺掌握不牢固，還想做同一類型下的題目，weka得告訴我A題目的類型下的題目還有什么。習(xí)題個性化推薦利用運用關(guān)聯(lián)規(guī)則最廣的Apriori算法，構(gòu)建序列模式分析樹（得到候選題Contents3），利用學(xué)生成績表進(jìn)行聚類分析；(得到候選題Contents4)，通過比例因子得到基于規(guī)則的過濾下的候選題ContentB。為了能夠解決在海量題庫中為學(xué)生提供個性化資源推薦的問題，本系統(tǒng)將基于用戶的協(xié)同過濾、基于內(nèi)容的協(xié)同過濾和基于規(guī)則的過濾三種常用方法結(jié)合在一起。未注冊的帳戶名激活狀態(tài)為否，當(dāng)用戶第一次登陸時，系統(tǒng)會請求用戶注冊相關(guān)信息并將該用戶激活，注冊成功即可登陸系統(tǒng)使用相關(guān)功能（本系統(tǒng)中未初始化的用戶名不能注冊登錄使用）。Struts作為系統(tǒng)的整體基礎(chǔ)架構(gòu)，負(fù)責(zé)MVC的分離，在Struts框架的模型部分，控制業(yè)務(wù)跳轉(zhuǎn)，利用Hibernate框架對持久層提供支持。(4)服務(wù)器硬件環(huán)境：處理器:i5處理器內(nèi)存：16GB 內(nèi)存硬盤：300GB 硬盤(5)服務(wù)器軟件環(huán)境操作系統(tǒng)：window 8Java：Apache 服務(wù)器：5總結(jié)大學(xué)時光即將結(jié)束，畢業(yè)設(shè)計是大學(xué)的最后一次作品，是步入社會參與項目規(guī)劃建設(shè)極好的演練，是四年學(xué)習(xí)生活的總結(jié)和提高，和做真實項目開發(fā)工作相似，必須要有嚴(yán)謹(jǐn)和實事求是的科學(xué)態(tài)度。但是這次畢業(yè)設(shè)計的過程中同樣暴露出自己相關(guān)專業(yè)基礎(chǔ)的仍然有很多需改進(jìn)之處。雖然之前對學(xué)校OJ系統(tǒng)不怎么了解，但是通過知道老師的給我的資料和自己找相關(guān)的網(wǎng)上資源對OJ系統(tǒng)有了一定的了解。在這個期間，如果沒有老師的細(xì)心指導(dǎo)，而是自己一個人獨自做設(shè)計，也不與任何人交流，這是完全不行的，設(shè)計其實也是一個團隊的工作，如果不能與他人進(jìn)行良好的溝通與交流，做出的設(shè)計也只是只有自己一個人會欣賞，而別人卻不一定會認(rèn)可你的設(shè)計，所以在這次畢業(yè)設(shè)計過程中，我懂得了一個道理，團結(jié)就是力量，多溝通與交流，吸取別人的建議，工作才會更加的順利。Ghaznavi Ghoushchi. Personalized remendation of learning material using sequential pattern mining and attribute based collaborative filtering, Volume 19 Issue 4, December 2014Pages 713735本論文是在我的導(dǎo)師悉心指導(dǎo)下完成的。Apriori algorithm。 Garc2