【正文】 name姓名String20YN無password密碼String20YN無headImg頭像String255YN無gender性別String2YN男，女state狀態(tài)（是否激活）String20YN是，否mobile手機String20YN無郵箱String20YN無birthday生日Date0YN日期memo說明String255YN無Student表，包含學生學號，班級，候選題目：字段名描述類型長度可否為空主鍵值域sId學生學號String32NY無Dept班級String20YN無scmList候選題SCMap　YNSCMapContent表，包含題號，標題，題目內(nèi)容，關(guān)鍵字，候選學生：字段名描述類型長度可否為空主鍵值域cid題目id值String32NY無Title題目標題String32YN無Detail題目內(nèi)容String255YN無coreWord關(guān)鍵字String20YN無scmList候選學生SCMap　YNSCMapSCMap表，對應id，學號，題號，比重：字段名描述類型長度可否為空主鍵值域Idid值String32NY無Stu學生Student　YNStudentCont題目Content　YNContentscImop可能性String20YN無系統(tǒng)會預先為每個即將登陸用戶創(chuàng)建賬戶，其中帳戶名為每位學生的學號，記錄為Student類中的account字段，表示該用戶的用戶名。在線教學系統(tǒng)作為一種輔助教學的手段，大部分智能教學系統(tǒng)缺乏有效的學習資源推薦機制，使得用戶在面對海量資源時，無法準確地尋找到滿足自身學習需求的學習資料，進而導致用戶學習興趣下降，無法發(fā)揮教輔系統(tǒng)的最大作用。如果支持度和置信度都超過了相應的閾值，則從X到Y(jié)的規(guī)則被認為是有效的。 基于內(nèi)容的 CF 的原理和基于用戶的 CF 類似，只是在計算鄰居時采用內(nèi)容本身，而不是從用戶的角度，即基于用戶對內(nèi)容的偏好找到相似的內(nèi)容，然后根據(jù)用戶的歷史偏好，推薦相似的內(nèi)容給他。每個用戶都有自己的歷史提交序列，影響序列的因素有：提交成績（Result或者Score）、提交題目的難度（Level），利用這兩個因素整合出可以體現(xiàn)當前時間點下哪些習題是適合當前學生的序列。 (5)存儲層：以特定的格式對挖掘過后的結(jié)果進行存儲。如圖 ，整個 WEKA 數(shù)據(jù)挖掘系統(tǒng)的過程包括輸入要測試的數(shù)據(jù)集，然后對待測數(shù)據(jù)進行預處理，再將處理后的數(shù)據(jù)集置于一種學習方案中并分析其結(jié)果或是將已學習到的模型來預測未知的實例，或是將數(shù)據(jù)集置于不同的學習方案中，針對各種方案的學習結(jié)果進行模式評估，以找出最佳性能的學習方案。WEKA的全名是懷卡托智能分析環(huán)境（Waikato Environment for Knowledge Analysis）,它是由懷卡托大學研究而成的，是一個完全開放的數(shù)據(jù)挖掘工作平臺，集合了大量能承擔數(shù)據(jù)挖掘任務的機器學習算法，包括對數(shù)據(jù)進行預處理、分類、聚類、關(guān)聯(lián)規(guī)則、屬性選擇以及在新的交互式界面上實現(xiàn)可視化等。而最小支持度閾值和最小置信度閾值也是決定一個事務集合是否是頻繁事務集和一個關(guān)聯(lián)規(guī)則是否成立的決定因素。Apriori算法思路實現(xiàn)簡單，通過迭代不斷通過K1元頻繁項目集生成K元頻繁項目集，直到不能生成為止，最終可以得到最大頻繁項目集。圖 2 給出了一個例子，對于用戶 A，根據(jù)用戶的歷史偏好，這里只計算得到一個鄰居 用戶C，然后將用戶C喜歡的物品D 推薦給用戶A。對應于Kmeans來說就是我們一開始不知道每個樣例對應隱含變量也就是最佳類別。由于我們事先不知道類別y，那么我們首先可以對每個樣例假定一個y吧，但是怎么知道假定的對不對呢？怎么評價假定的好不好呢？我們使用樣本的極大似然估計來度量，這里是就是x和y的聯(lián)合分布P(x,y)了。Kmeans是要將J調(diào)整到最小。重復迭代第一步和第二步直到質(zhì)心不變或者變化很小。固定聚類數(shù)的鄰居: Kmeans算法是很典型的基于距離的聚類算法，采用距離作為相似性的評價指標，即認為兩個對象的距離越近，其相似度就越大。b皮爾遜相關(guān)系數(shù)（Pearson Correlation Coefficient）皮爾遜相關(guān)系數(shù)一般用于計算兩個定距變量間聯(lián)系的緊密程度，它的取值在 [1，+1] 之間。歸一化：如前面講到的，在計算用戶對物品的喜好程度時，可能需要對不同的行為數(shù)據(jù)進行加權(quán)。要理解什么是協(xié)同過濾 (Collaborative Filtering, 簡稱 CF) [5]，首先想一個簡單的問題，如果你現(xiàn)在想看個電影，但你不知道具體看哪部，你會怎么做？大部分的人會問問周圍的朋友，看看最近有什么好看的電影推薦，而我們一般更傾向于從口味比較類似的朋友那里得到推薦。將算法研究重點放到對知識結(jié)構(gòu)與習題資源本身的信息的利用和處理上，以解決在ITS系統(tǒng)中為學生從海量資源中進行個性化資源推薦的問題，并將通過實驗證明該算法和系統(tǒng)的理論價值與應用價值。為了能夠提高個性化推薦系統(tǒng)的準確率，本論文摒棄單一的協(xié)同過濾方法，提出新的推薦方法思路并將其理論應用智能在線學習系統(tǒng)中，更大的發(fā)揮在線學習系統(tǒng)個性化推薦的作用，為學生提供更優(yōu)質(zhì)的服務。個性化推薦系統(tǒng)設計畢業(yè)論文目錄1 研究目的 1 研究背景及意義 1 推薦系統(tǒng)現(xiàn)狀 2 論文內(nèi)容與章節(jié)安排 32 理論支持與相關(guān)技術(shù)的應用與背景 4 相應的推薦算法及數(shù)學原理 4 Weka的技術(shù)介紹與應用 15 Weka系統(tǒng)簡介 15 Weka系統(tǒng)的特點與應用 153 習題個性化推薦系統(tǒng)的設計原理 19 研究難題解決 19 基于記憶的過濾 20 基于用戶的協(xié)同過濾 20 基于內(nèi)容的協(xié)同過濾 22 基于規(guī)則的過濾 22 通過比例因子進行優(yōu)化 244 系統(tǒng)的實現(xiàn) 25 需求分析 25 概要設計 26 數(shù)據(jù)采集與預處理階段 26 數(shù)據(jù)處理階段 26 數(shù)據(jù)庫的設計 28 推薦系統(tǒng)的總體結(jié)構(gòu) 30 系統(tǒng)詳細設計 31 用戶信息管理模塊 31 用戶推薦模塊 34 用戶搜索模塊 36 系統(tǒng)的開發(fā)環(huán)境 365 總結(jié) 42參考文獻 44致謝辭 45附錄 46附錄1 英文原文 46附錄2 中文原文 54附錄3 部分代碼 591 研究目的智能在線學習系統(tǒng)[1]是個性化推薦的一種應用，本文介紹的是基于OJ數(shù)據(jù)的習題個性化推薦系統(tǒng)，本章簡要介紹個性化推薦的概念、背景與國內(nèi)外研究現(xiàn)狀，并且針對目前流行的推薦方法予以介紹。目前對于個性化推薦系統(tǒng)的研究正處于高速發(fā)展期,相關(guān)的推薦算法也已在電子商務領(lǐng)域、個性化搜索等領(lǐng)域得到一定程度的發(fā)展和應用。對于介紹基于OJ數(shù)據(jù)的習題個性化推薦系統(tǒng)論文以下內(nèi)容安排如下：第二部分側(cè)重介紹本系統(tǒng)數(shù)據(jù)處理過程中依據(jù)的理論知識背景及技術(shù)應用；第三部分講述了習題推薦系統(tǒng)實現(xiàn)過程中遇到的難題及整個系統(tǒng)的設計思路；第四部分描述系統(tǒng)實現(xiàn)的詳細步驟；第五部分總結(jié)了本系統(tǒng)設計與實現(xiàn)過程中的心得與體會。這就是協(xié)同過濾的核心思想。但可以想象，不同行為的數(shù)據(jù)取值可能相差很大，比如，用戶的查看數(shù)據(jù)必然比購買數(shù)據(jù)大的多，如何將各個行為的數(shù)據(jù)統(tǒng)一在一個相同的取值范圍中，從而使得加權(quán)求和得到的總體喜好更加精確，就需要我們進行歸一化處理。sx, sy是 x 和 y 的樣品標準偏差。該算法認為簇是由距離靠近的對象組成的，因此把得到緊湊且獨立的簇作為最終目標。Kmeans面對的第一個問題是如何保證收斂，前面的算法中強調(diào)結(jié)束條件就是收斂，可以證明的是Kmeans完全可以保證收斂性。假設當前J沒有達到最小值，那么首先可以固定每個類的質(zhì)心，調(diào)整每個樣例的所屬的類別來讓J函數(shù)減少，同樣，固定，調(diào)整每個類的質(zhì)心也可以使J減小。如果找到的y能夠使P(x,y)最大，那么我們找到的y就是樣例x的最佳類別了，x順手就聚類了。最開始可以隨便指定一個給它，然后為了讓P(x,y)最大（這里是要讓J最小），我們求出在給定c情況下，J最小時的（前面提到的其他未知參數(shù)），然而此時發(fā)現(xiàn)，可以有更好的（質(zhì)心與樣例距離最小的類別）指定給樣例，那么得到重新調(diào)整，上述過程就開始重復了，直到?jīng)]有更好的指定。 CF 的基本原理(2)基于內(nèi)容的協(xié)同過濾基于內(nèi)容（物品）的CF的原理和基于用戶的CF類似，只是在計算鄰居時采用物品本身，而不是從用戶的角度，即基于用戶對物品的偏好找到相似的物品，然后根據(jù)用戶的歷史偏好，推薦相似的物品給他。Apriori算法存在的問題是每次迭代都要判斷生成K元集合的K1元子集是否都是頻繁項目集，計算量巨大；并且Apriori算法是一個挖掘最大頻繁項目集的算法，無法得到全部頻繁模式集合。因此這兩個閾值也決定了推薦系統(tǒng)的準確率和召回率。 WEKA系統(tǒng)的實現(xiàn)源自Eibe Frank等學者在機器學習方面的研究積累，1998年之前的WEKA版本是用C++來實現(xiàn)的，從1998年起，Eibe Frank開始用Java語言重新編寫該系統(tǒng)，這一舉動還得到了項目組里其它成員以及若干自由軟件人的幫助。 下面簡單介紹數(shù)據(jù)挖掘流程的每個層次： (1)數(shù)據(jù)輸入層：是整個數(shù)據(jù)挖掘的準備階段，數(shù)據(jù)輸入方式有三種，分別為打開當?shù)匚募?，?shù)據(jù)庫導入。
數(shù)據(jù)挖掘系統(tǒng)3習題個性化推薦系統(tǒng)的設計原理在了解個性化推薦基本算法的基礎之上，本節(jié)主要將會講述在開發(fā)基于OJ數(shù)據(jù)的習題個性化推薦系統(tǒng)過程中解決的難題，除此以外將會具體介紹怎樣將基于記憶的協(xié)同過濾和基于規(guī)則的協(xié)同過濾兩種方法融合之后運用到本系統(tǒng)之中，真正的將用戶的歷史習題記錄利用率達到最大化，進而提高推薦習題對用戶的準確率。利用用戶都有自己的歷史提交序列，具有下面性質(zhì)的序列:（1）該序列是一個鏈表，該鏈表的每個元素隱含（真正存儲不需要六個）有六個個成員變量:變量a題目號（對應題目表中的id）、變量b題目得分（用于進行基于用戶的協(xié)同過濾）、變量c(對應題目表中的關(guān)鍵詞屬性知識點，用于下面分析基于習題內(nèi)容的協(xié)同過濾）、變量d(權(quán)重信息，用于排序）、變量 e題目難度、f提交次數(shù).權(quán)重的計算：① 對題目得分和題目難度進行數(shù)據(jù)歸一化；②(e*t)/（b*f）(e表示題目難度，t表示答題時間，b表示題目得分Score,f表示提交次數(shù))；② 權(quán)重決定了習題未來出現(xiàn)在推薦題目中的概率大小。系統(tǒng)中Content類的初始化，在Content類中包包含了題號cId,標題title，題目內(nèi)容detail,歷史習題記錄scmList,關(guān)鍵字coreWord,基于內(nèi)容（習題）的協(xié)同過濾，簡單而言就是傳遞信息：我做了A題目，感覺掌握不牢固，還想做同一類型下的題目，weka得告訴我A題目的類型下的題目還有什么。習題個性化推薦利用運用關(guān)聯(lián)規(guī)則最廣的Apriori算法，構(gòu)建序列模式分析樹（得到候選題Contents3），利用學生成績表進行聚類分析；(得到候選題Contents4)，通過比例因子得到基于規(guī)則的過濾下的候選題ContentB。為了能夠解決在海量題庫中為學生提供個性化資源推薦的問題，本系統(tǒng)將基于用戶的協(xié)同過濾、基于內(nèi)容的協(xié)同過濾和基于規(guī)則的過濾三種常用方法結(jié)合在一起。未注冊的帳戶名激活狀態(tài)為否，當用戶第一次登陸時，系統(tǒng)會請求用戶注冊相關(guān)信息并將該用戶激活，注冊成功即可登陸系統(tǒng)使用相關(guān)功能（本系統(tǒng)中未初始化的用戶名不能注冊登錄使用）。Struts作為系統(tǒng)的整體基礎架構(gòu)，負責MVC的分離，在Struts框架的模型部分，控制業(yè)務跳轉(zhuǎn)，利用Hibernate框架對持久層提供支持。(4)服務器硬件環(huán)境：處理器:i5處理器內(nèi)存：16GB 內(nèi)存硬盤：300GB 硬盤(5)服務器軟件環(huán)境操作系統(tǒng)：window 8Java：Apache 服務器：5總結(jié)大學時光即將結(jié)束，畢業(yè)設計是大學的最后一次作品，是步入社會參與項目規(guī)劃建設極好的演練，是四年學習生活的總結(jié)和提高，和做真實項目開發(fā)工作相似，必須要有嚴謹和實事求是的科學態(tài)度。但是這次畢業(yè)設計的過程中同樣暴露出自己相關(guān)專業(yè)基礎的仍然有很多需改進之處。雖然之前對學校OJ系統(tǒng)不怎么了解，但是通過知道老師的給我的資料和自己找相關(guān)的網(wǎng)上資源對OJ系統(tǒng)有了一定的了解。在這個期間，如果沒有老師的細心指導，而是自己一個人獨自做設計，也不與任何人交流，這是完全不行的，設計其實也是一個團隊的工作，如果不能與他人進行良好的溝通與交流，做出的設計也只是只有自己一個人會欣賞，而別人卻不一定會認可你的設計，所以在這次畢業(yè)設計過程中，我懂得了一個道理，團結(jié)就是力量，多溝通與交流，吸取別人的建議，工作才會更加的順利。Ghaznavi Ghoushchi. Personalized remendation of learning material using sequential pattern mining and attribute based collaborative filtering, Volume 19 Issue 4, December 2014Pages 713735本論文是在我的導師悉心指導下完成的。Apriori algorithm。 Garc2