【正文】 原文（復(fù)印件）。 4 個性化推薦系統(tǒng)面臨的挑戰(zhàn) 5 數(shù)據(jù)與技術(shù)集成問題 6 第二章 協(xié)同過濾推薦系統(tǒng) 12 協(xié)同過濾推薦系統(tǒng)的優(yōu)點 18 基于 Spearman 相關(guān)性算 法 25 第四章 實驗結(jié)果及其分析 26 評價指標(biāo) 31 總結(jié) 31 展望 31 致 謝 本課題針對目前在電子商務(wù)領(lǐng)域應(yīng)用最成功也是最廣泛的協(xié)同過濾推薦系統(tǒng)技術(shù)進(jìn)行了學(xué)習(xí)研究，并具體實現(xiàn)了其中的典型算法 ―― 基于項目的和基于用戶的協(xié)同過濾算法， Slope One 算法等。一方面，基于 因特網(wǎng) 的虛擬企業(yè)不再需要像傳統(tǒng)的物理環(huán)境下企業(yè)那樣的實體投資，企業(yè)與顧客、供應(yīng)商等建立起更直接的聯(lián)系，電子商務(wù) 模式為企業(yè)發(fā)展提供了更多的機會；同時， 因特網(wǎng) 的發(fā)展正在極大地改變 社會 每個人的生活，人們不出家門就可隨心所欲地得到自己想要的商品，網(wǎng)上購物的經(jīng)歷讓 大眾 感受到電子商務(wù)帶來的驚喜。 20xx年 8 月，《 Communications of the ACM》再次組織了個性化服務(wù)的?？?，個性化服務(wù)的研究己經(jīng)進(jìn)入快速發(fā)展階段 [3]。 推薦有三個組成要素：推薦候選對象、用戶、推薦方法 ， 個性化推薦系統(tǒng)的基本框架如圖 所示。 在當(dāng)今的電子商務(wù)領(lǐng)域中，協(xié)同過濾推薦是研究最多，也最為成功，應(yīng)用最為廣泛的個性化推薦方法。管理規(guī)則就是在一個交易數(shù)據(jù)庫中統(tǒng)計購買了商品集 X 的交易中有多大比例的交易同時購買了商品集Y，其直觀的意義就是用戶在購買某些商品的時候有多大傾向去購買另外一些商品。效用知識 (Functional Knowledge)是一種關(guān)于一個項目如何滿足某一特定用戶的知識，因此能解釋需要和推薦的關(guān)系，所以用戶資料可以是任何能支持推理的知識結(jié)構(gòu)，它可以是用戶已經(jīng)規(guī)范化的查詢，也可以是一個更詳細(xì)的用戶需 要的表示。實時性也是推薦系統(tǒng)與通常的數(shù)據(jù)挖掘技術(shù)顯著不同的一個特點 ； (3)組成結(jié)構(gòu)： 一個完整的推薦系統(tǒng)由三部分構(gòu)成：行為記錄模塊、模型分析模塊和推薦模塊。而對于基于內(nèi)容的推薦系統(tǒng)來說，由于往往需要對內(nèi)容進(jìn)行特征抽取和索引，就會需要提供更多的領(lǐng)域知識和內(nèi)容屬性。當(dāng)前大部分的電子商務(wù)推薦系統(tǒng)都只利用了一部分可用信息來產(chǎn)生推薦。 本設(shè)計 的結(jié) 構(gòu)安排如下： 第一章主要分析了個性化推薦系統(tǒng)的背景與現(xiàn)狀，介紹了個性化推薦領(lǐng)域主要的技術(shù)和面臨的挑戰(zhàn)，最后給出了 本設(shè)計 的結(jié)構(gòu)安排。 協(xié)同過濾技術(shù)可以分為兩類：基于用戶 (Userbased)的協(xié) 同過濾 、 基于項目(Itembased)的協(xié)同過濾 [10]。 基于用戶的協(xié)同過濾技術(shù)在個性化推薦系統(tǒng)中獲得了極大的成功，但它有自身的局限性。大多數(shù)情況下，基于用戶的推薦技術(shù)表現(xiàn)要略好于基于 資源項 的方法。這種方式被稱為“顯式評分”方法。 數(shù)據(jù)挖掘通常并不需要使用所擁有的所有數(shù)據(jù)，有些數(shù)據(jù)對象和數(shù)據(jù)屬性對建立模型、獲得模式是沒有影響的，這些數(shù)據(jù)的加入會大大影響挖掘效率，甚至還可能導(dǎo)致挖掘結(jié)果的偏差，因此，有效地選擇數(shù)據(jù)是很有必要的 [7]。數(shù)據(jù)集成將多個數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行合并處理，解決語意模糊性并整合成一致的數(shù)據(jù)存儲。最初其目的是為了發(fā)現(xiàn)交易數(shù)據(jù)庫 (也稱為事務(wù)數(shù)據(jù)庫 )中不同商品之間的聯(lián)系規(guī)則。他們之間的相似性是通過計算兩個向量之間角度的余弦值來得到的。正式的形式是，項目 i和 j 之間的相似度可以表示為 ,22,( ) ( )( , )( ) ( )u i u u j uuUu U u i u u U u j uR R R Rsi m i jR R R R??????????????? 公式 () 這里 _uR 是第 u 個用戶的評分平均值。在實踐中，采用余弦或關(guān)聯(lián)相似的相關(guān)措施計算出的評分可能誤導(dǎo)兩個評分向量是冷漠的 ， 但可能有很高的相基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計與實現(xiàn) 第二章 協(xié)同過濾推薦系統(tǒng) 12 似性。 (1)TopN 推薦 ： 這里的 TopN 和一般網(wǎng)站 (比如 digg)上見到的“最熱門”列表是不同的。 特性分析 協(xié)同過濾 推薦作為當(dāng)前電子商務(wù)網(wǎng)站中應(yīng)用最成功最廣泛的技術(shù) 之一 ，相比其他個性化推薦技術(shù)，協(xié)同過濾推薦具有下列 優(yōu)點 [1]： (1)能夠過濾難以進(jìn)行機器自動內(nèi)容分析的信息，如藝術(shù)品，音樂等 ； (2)共享其他人的經(jīng)驗，避免了內(nèi)容分析的不完全和不精確，并且能夠基于一些復(fù)雜的，難以表述的概念 (如信息質(zhì)量、個人品味 )進(jìn)行過濾 ； (3)有推薦新信息的能力 ， 可以發(fā)現(xiàn)內(nèi)容上完全不相似的信息，用戶對推薦信息的內(nèi)容事先是預(yù)料不到的 ， 這也是協(xié)同過濾和基于內(nèi)容的過濾一個較大的差別，基于內(nèi)容的過濾推薦很多都是用戶本來就熟悉的內(nèi)容，而協(xié)同過濾可以發(fā)現(xiàn)用戶潛在的但自己尚未發(fā)現(xiàn)的興趣偏好 ； 基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計與實現(xiàn) 第二章 協(xié)同過濾推薦系統(tǒng) 13 (4)能夠有效 地 使用其他相似用戶的反饋信息，較少用戶的反饋量，加快個性化學(xué)習(xí)的速度。當(dāng)用戶評價過的內(nèi)容之間找不到交集時，就難以判斷用戶的口味是否相似，難以找到相似用戶集，導(dǎo)致推薦效果大大降低。在設(shè)計本模型時，參考了數(shù)據(jù)挖掘 的 基本模型。在基于資源的協(xié)同過濾算法中唯一的不同是除去了圖中的近鄰計算和偏好偏差。 模塊 用戶對系統(tǒng)中項目的評分即為用戶的偏好，這是協(xié)同過濾推薦系統(tǒng)中非常關(guān)鍵的數(shù)據(jù)結(jié)構(gòu)。 基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計與實現(xiàn) 第三章 協(xié)同過濾推薦系統(tǒng)設(shè)計 17 圖 數(shù)據(jù)管理模塊以及和其他模塊的關(guān)系 由于個性化推薦系統(tǒng)需要處理大量的數(shù)據(jù)，所以需要進(jìn)行數(shù)據(jù)庫和文件的讀取操作，本課題采用的是文件操作與 MySQL 數(shù)據(jù)庫操作。 Pearson相關(guān)性算法 基于 Pearson 相關(guān)性算法是應(yīng)用最為廣泛的相關(guān)性算法，它既可以用于基于用戶的協(xié)同過濾系統(tǒng) 中，也可以用于基于資源項的協(xié)同過濾系統(tǒng)中。 本數(shù)據(jù)結(jié)構(gòu)記錄了用戶的偏好，是用于計算相似度和其他算法的基礎(chǔ)。 基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計與實現(xiàn) 第三章 協(xié)同過濾推薦系統(tǒng)設(shè)計 15 推 薦 系 統(tǒng)近 鄰 計 算相 關(guān) 計 算偏 好 偏 差數(shù) 據(jù) 管 理 器用 戶偏 好 項 目偏 好 項 目 圖 協(xié)同過濾系統(tǒng)總體架構(gòu) DataManager的模塊設(shè)計 在協(xié)同過濾推薦系統(tǒng)中，需要從服務(wù)器中讀取大量的數(shù)據(jù)來做計算推薦，數(shù)據(jù)來源可能是數(shù)據(jù)文件或者數(shù)據(jù)庫，所以需要專門的數(shù)據(jù)處理模塊來負(fù)責(zé)數(shù)據(jù)的讀取更新和管理。由于個性化推薦系統(tǒng) 的實時性特性，需要非常注意個性化推薦的效率。其中， 協(xié)同過濾技術(shù) 的研究取得了重大的進(jìn)步。這個問題，也被稱之為協(xié)同過濾的“冷啟動”問題 [8]。 豆瓣網(wǎng) 上的“排行”欄目，應(yīng)該是傳統(tǒng)的“熱門”列表，不是 TopN 推薦。這里基本思路是使用和加權(quán)和 技術(shù)相同的形式，但是取代了相似項目 N 的行評分值 ,unR ，這個模型使用基于線性回歸模型的近似值 ,`unR 。一旦基于相似性措施孤立出最相似的項目的集合，下一步就是尋找到目標(biāo)用戶的評分和使用技術(shù)去獲得的預(yù)測。 在這種情況下，兩個項目 i和 j 之間的相似性是通過計算 Pearson 的相關(guān)性 ,ijcorr來衡量的。協(xié)同過濾的出發(fā)點是尋找與你興趣相同的一組用戶，術(shù)語叫做“最近鄰”。因此，模式集成涉及實體識別，通常借助于數(shù)據(jù)庫或數(shù)據(jù)倉庫的原數(shù)據(jù)進(jìn)行模式識別，幫助避免模式集成中的錯誤。 數(shù)據(jù)預(yù)處理模塊包含兩個方面 [7]：一是從多個數(shù)據(jù)源去整合挖掘所需要的數(shù)據(jù)，保證數(shù)據(jù)的綜合性、易用性和數(shù)據(jù)的時效性；另外一方面就是如何從現(xiàn)有數(shù)據(jù)中衍生出所需要的指標(biāo)，這主要取決于數(shù)據(jù)挖掘者的分析經(jīng)驗和工具的方便性。基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計與實現(xiàn) 第二章 協(xié)同過濾推薦系統(tǒng) 9 這導(dǎo)致這種系統(tǒng)通常更多出現(xiàn)在實驗室或者論文里面。 基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計與實現(xiàn) 第二章 協(xié)同過濾推薦系統(tǒng) 8 Slope One算法 Slope One 算法是由 Daniel Lemire 教 授在 20xx 年提出的一個 基于資源項的 推薦算法 [12]。 和基于用戶的推薦系統(tǒng)相比，基于 資源項 的推薦系統(tǒng)最大的改進(jìn)是更具有擴展性。 一旦系統(tǒng)能夠識別一個用戶的同好用戶，就能夠?qū)⑺麄冏罡信d趣的內(nèi)容作為當(dāng)前用戶的推薦結(jié)果推薦給這個用戶。 第三章主要講述了協(xié)同過濾推薦系統(tǒng)的設(shè)計架構(gòu)和典型推薦算法的實現(xiàn)，包括基于項目的協(xié)同過濾算法和基于用戶的協(xié)同過濾算法以及 Slope One 算法等。 這是一個不可回避的問題 ， 因為要想建立個性化 Web 系統(tǒng)就必須有用戶的參與 ，同時還要分析用戶反饋的信息 ， 如果使用 Cookies 一類技術(shù) ， 這就可能涉及到用戶的基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計與實現(xiàn) 第一章 緒論 6 隱私 .目前的 Web 個性化技術(shù)還不能很好地解決這個問題 ， 即在實現(xiàn)個性化服務(wù)地同時而又不侵犯用戶的隱私。 電子商務(wù)推薦系統(tǒng)在研究和實踐中都非常成功 ， 但是 ， 隨著電子商務(wù)系統(tǒng)規(guī)模越來越大 ， 電子商務(wù)推薦系統(tǒng)也面臨著一系列挑戰(zhàn)。這部分看起來簡單，其實需要非常仔細(xì)的設(shè)計。研究和應(yīng)用最多的是內(nèi)容推薦和協(xié)同過濾推薦的組合。 算法的第一步關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)最為 關(guān)鍵且最耗時，是算法的瓶頸，但可以離線進(jìn)行。 2． 基于內(nèi)容的推薦 基于內(nèi)容的推薦 (Contentbased Remendation)是信息過濾技術(shù)的延續(xù)與發(fā)展，它是建立在項目的內(nèi)容信息上作出推薦的，而不需要依據(jù)用戶對項目的評價意見，更多地需要用機器學(xué)習(xí)的方法從關(guān)于內(nèi)容的特征描述的事例中得到用戶的興趣資料。 個性化推薦的最大的優(yōu)點在于，它能收集用戶特征資料并根據(jù)用戶特 征，如興趣偏好，為用戶主動作出個性化的推薦。 20xx 年，美國 NSF基金開始支持有關(guān)個性化服務(wù)的研究。因此，需要商家提供一些智能化的選購指導(dǎo)，根據(jù)用戶的興趣愛好推薦用戶可能感興趣或是滿意的商品，使用戶能夠很方便地得到自己所需要得到的商品。 最后利用美國明尼蘇達(dá)大學(xué)的世界上最大的開放數(shù)據(jù)集 MovieLens 進(jìn)行了協(xié)同過濾算法不同衍化版本的實驗分析 ， 試驗結(jié)果 表明 用戶聚類的算法要比基于用戶的算法在性能上要好得多，同時在質(zhì)量上也比基于用戶的算法要好。 30 本章小結(jié) 21 SlopeOne 算法推薦 17 基于資源項相關(guān)性算法 16 用戶模塊 10 生成推薦結(jié)果 7 基于用戶的協(xié)同過濾算法 5 隱私問題 圖表整潔，布局合理，文字注釋必須使用工程字書寫，不準(zhǔn)用徒手畫 3）畢業(yè)論文須用 A4 單面打印，論文 50 頁以上的雙面打印 4）圖表應(yīng)繪制于無格子的頁面上 5）軟件工程類課題應(yīng)有程序清單，并提供電子文檔