【正文】 原文（復(fù)印件）。 4 個(gè)性化推薦系統(tǒng)面臨的挑戰(zhàn) 5 數(shù)據(jù)與技術(shù)集成問(wèn)題 6 第二章 協(xié)同過(guò)濾推薦系統(tǒng) 12 協(xié)同過(guò)濾推薦系統(tǒng)的優(yōu)點(diǎn) 18 基于 Spearman 相關(guān)性算 法 25 第四章 實(shí)驗(yàn)結(jié)果及其分析 26 評(píng)價(jià)指標(biāo) 31 總結(jié) 31 展望 31 致 謝 本課題針對(duì)目前在電子商務(wù)領(lǐng)域應(yīng)用最成功也是最廣泛的協(xié)同過(guò)濾推薦系統(tǒng)技術(shù)進(jìn)行了學(xué)習(xí)研究，并具體實(shí)現(xiàn)了其中的典型算法 ―― 基于項(xiàng)目的和基于用戶(hù)的協(xié)同過(guò)濾算法， Slope One 算法等。一方面，基于 因特網(wǎng) 的虛擬企業(yè)不再需要像傳統(tǒng)的物理環(huán)境下企業(yè)那樣的實(shí)體投資，企業(yè)與顧客、供應(yīng)商等建立起更直接的聯(lián)系，電子商務(wù) 模式為企業(yè)發(fā)展提供了更多的機(jī)會(huì)；同時(shí)， 因特網(wǎng) 的發(fā)展正在極大地改變 社會(huì) 每個(gè)人的生活，人們不出家門(mén)就可隨心所欲地得到自己想要的商品，網(wǎng)上購(gòu)物的經(jīng)歷讓 大眾 感受到電子商務(wù)帶來(lái)的驚喜。 20xx年 8 月，《 Communications of the ACM》再次組織了個(gè)性化服務(wù)的專(zhuān)刊，個(gè)性化服務(wù)的研究己經(jīng)進(jìn)入快速發(fā)展階段 [3]。 推薦有三個(gè)組成要素：推薦候選對(duì)象、用戶(hù)、推薦方法 ， 個(gè)性化推薦系統(tǒng)的基本框架如圖 所示。 在當(dāng)今的電子商務(wù)領(lǐng)域中，協(xié)同過(guò)濾推薦是研究最多，也最為成功，應(yīng)用最為廣泛的個(gè)性化推薦方法。管理規(guī)則就是在一個(gè)交易數(shù)據(jù)庫(kù)中統(tǒng)計(jì)購(gòu)買(mǎi)了商品集 X 的交易中有多大比例的交易同時(shí)購(gòu)買(mǎi)了商品集Y，其直觀的意義就是用戶(hù)在購(gòu)買(mǎi)某些商品的時(shí)候有多大傾向去購(gòu)買(mǎi)另外一些商品。效用知識(shí) (Functional Knowledge)是一種關(guān)于一個(gè)項(xiàng)目如何滿足某一特定用戶(hù)的知識(shí)，因此能解釋需要和推薦的關(guān)系，所以用戶(hù)資料可以是任何能支持推理的知識(shí)結(jié)構(gòu)，它可以是用戶(hù)已經(jīng)規(guī)范化的查詢(xún)，也可以是一個(gè)更詳細(xì)的用戶(hù)需 要的表示。實(shí)時(shí)性也是推薦系統(tǒng)與通常的數(shù)據(jù)挖掘技術(shù)顯著不同的一個(gè)特點(diǎn) ； (3)組成結(jié)構(gòu)： 一個(gè)完整的推薦系統(tǒng)由三部分構(gòu)成：行為記錄模塊、模型分析模塊和推薦模塊。而對(duì)于基于內(nèi)容的推薦系統(tǒng)來(lái)說(shuō)，由于往往需要對(duì)內(nèi)容進(jìn)行特征抽取和索引，就會(huì)需要提供更多的領(lǐng)域知識(shí)和內(nèi)容屬性。當(dāng)前大部分的電子商務(wù)推薦系統(tǒng)都只利用了一部分可用信息來(lái)產(chǎn)生推薦。 本設(shè)計(jì) 的結(jié) 構(gòu)安排如下： 第一章主要分析了個(gè)性化推薦系統(tǒng)的背景與現(xiàn)狀，介紹了個(gè)性化推薦領(lǐng)域主要的技術(shù)和面臨的挑戰(zhàn)，最后給出了 本設(shè)計(jì) 的結(jié)構(gòu)安排。 協(xié)同過(guò)濾技術(shù)可以分為兩類(lèi)：基于用戶(hù) (Userbased)的協(xié) 同過(guò)濾 、 基于項(xiàng)目(Itembased)的協(xié)同過(guò)濾 [10]。 基于用戶(hù)的協(xié)同過(guò)濾技術(shù)在個(gè)性化推薦系統(tǒng)中獲得了極大的成功，但它有自身的局限性。大多數(shù)情況下，基于用戶(hù)的推薦技術(shù)表現(xiàn)要略好于基于 資源項(xiàng) 的方法。這種方式被稱(chēng)為“顯式評(píng)分”方法。 數(shù)據(jù)挖掘通常并不需要使用所擁有的所有數(shù)據(jù)，有些數(shù)據(jù)對(duì)象和數(shù)據(jù)屬性對(duì)建立模型、獲得模式是沒(méi)有影響的，這些數(shù)據(jù)的加入會(huì)大大影響挖掘效率，甚至還可能導(dǎo)致挖掘結(jié)果的偏差，因此，有效地選擇數(shù)據(jù)是很有必要的 [7]。數(shù)據(jù)集成將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行合并處理，解決語(yǔ)意模糊性并整合成一致的數(shù)據(jù)存儲(chǔ)。最初其目的是為了發(fā)現(xiàn)交易數(shù)據(jù)庫(kù) (也稱(chēng)為事務(wù)數(shù)據(jù)庫(kù) )中不同商品之間的聯(lián)系規(guī)則。他們之間的相似性是通過(guò)計(jì)算兩個(gè)向量之間角度的余弦值來(lái)得到的。正式的形式是，項(xiàng)目 i和 j 之間的相似度可以表示為 ,22,( ) ( )( , )( ) ( )u i u u j uuUu U u i u u U u j uR R R Rsi m i jR R R R??????????????? 公式 () 這里 _uR 是第 u 個(gè)用戶(hù)的評(píng)分平均值。在實(shí)踐中，采用余弦或關(guān)聯(lián)相似的相關(guān)措施計(jì)算出的評(píng)分可能誤導(dǎo)兩個(gè)評(píng)分向量是冷漠的 ， 但可能有很高的相基于客戶(hù)資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計(jì)與實(shí)現(xiàn) 第二章 協(xié)同過(guò)濾推薦系統(tǒng) 12 似性。 (1)TopN 推薦 ： 這里的 TopN 和一般網(wǎng)站 (比如 digg)上見(jiàn)到的“最熱門(mén)”列表是不同的。 特性分析 協(xié)同過(guò)濾 推薦作為當(dāng)前電子商務(wù)網(wǎng)站中應(yīng)用最成功最廣泛的技術(shù) 之一 ，相比其他個(gè)性化推薦技術(shù)，協(xié)同過(guò)濾推薦具有下列 優(yōu)點(diǎn) [1]： (1)能夠過(guò)濾難以進(jìn)行機(jī)器自動(dòng)內(nèi)容分析的信息，如藝術(shù)品，音樂(lè)等 ； (2)共享其他人的經(jīng)驗(yàn)，避免了內(nèi)容分析的不完全和不精確，并且能夠基于一些復(fù)雜的，難以表述的概念 (如信息質(zhì)量、個(gè)人品味 )進(jìn)行過(guò)濾 ； (3)有推薦新信息的能力 ， 可以發(fā)現(xiàn)內(nèi)容上完全不相似的信息，用戶(hù)對(duì)推薦信息的內(nèi)容事先是預(yù)料不到的 ， 這也是協(xié)同過(guò)濾和基于內(nèi)容的過(guò)濾一個(gè)較大的差別，基于內(nèi)容的過(guò)濾推薦很多都是用戶(hù)本來(lái)就熟悉的內(nèi)容，而協(xié)同過(guò)濾可以發(fā)現(xiàn)用戶(hù)潛在的但自己尚未發(fā)現(xiàn)的興趣偏好 ； 基于客戶(hù)資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計(jì)與實(shí)現(xiàn) 第二章 協(xié)同過(guò)濾推薦系統(tǒng) 13 (4)能夠有效 地 使用其他相似用戶(hù)的反饋信息，較少用戶(hù)的反饋量，加快個(gè)性化學(xué)習(xí)的速度。當(dāng)用戶(hù)評(píng)價(jià)過(guò)的內(nèi)容之間找不到交集時(shí)，就難以判斷用戶(hù)的口味是否相似，難以找到相似用戶(hù)集，導(dǎo)致推薦效果大大降低。在設(shè)計(jì)本模型時(shí)，參考了數(shù)據(jù)挖掘 的 基本模型。在基于資源的協(xié)同過(guò)濾算法中唯一的不同是除去了圖中的近鄰計(jì)算和偏好偏差。 模塊 用戶(hù)對(duì)系統(tǒng)中項(xiàng)目的評(píng)分即為用戶(hù)的偏好，這是協(xié)同過(guò)濾推薦系統(tǒng)中非常關(guān)鍵的數(shù)據(jù)結(jié)構(gòu)。 基于客戶(hù)資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計(jì)與實(shí)現(xiàn) 第三章 協(xié)同過(guò)濾推薦系統(tǒng)設(shè)計(jì) 17 圖 數(shù)據(jù)管理模塊以及和其他模塊的關(guān)系 由于個(gè)性化推薦系統(tǒng)需要處理大量的數(shù)據(jù)，所以需要進(jìn)行數(shù)據(jù)庫(kù)和文件的讀取操作，本課題采用的是文件操作與 MySQL 數(shù)據(jù)庫(kù)操作。 Pearson相關(guān)性算法 基于 Pearson 相關(guān)性算法是應(yīng)用最為廣泛的相關(guān)性算法，它既可以用于基于用戶(hù)的協(xié)同過(guò)濾系統(tǒng) 中，也可以用于基于資源項(xiàng)的協(xié)同過(guò)濾系統(tǒng)中。 本數(shù)據(jù)結(jié)構(gòu)記錄了用戶(hù)的偏好，是用于計(jì)算相似度和其他算法的基礎(chǔ)。 基于客戶(hù)資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計(jì)與實(shí)現(xiàn) 第三章 協(xié)同過(guò)濾推薦系統(tǒng)設(shè)計(jì) 15 推 薦 系 統(tǒng)近 鄰 計(jì) 算相 關(guān) 計(jì) 算偏 好 偏 差數(shù) 據(jù) 管 理 器用 戶(hù)偏 好 項(xiàng) 目偏 好 項(xiàng) 目 圖 協(xié)同過(guò)濾系統(tǒng)總體架構(gòu) DataManager的模塊設(shè)計(jì) 在協(xié)同過(guò)濾推薦系統(tǒng)中，需要從服務(wù)器中讀取大量的數(shù)據(jù)來(lái)做計(jì)算推薦，數(shù)據(jù)來(lái)源可能是數(shù)據(jù)文件或者數(shù)據(jù)庫(kù)，所以需要專(zhuān)門(mén)的數(shù)據(jù)處理模塊來(lái)負(fù)責(zé)數(shù)據(jù)的讀取更新和管理。由于個(gè)性化推薦系統(tǒng) 的實(shí)時(shí)性特性，需要非常注意個(gè)性化推薦的效率。其中， 協(xié)同過(guò)濾技術(shù) 的研究取得了重大的進(jìn)步。這個(gè)問(wèn)題，也被稱(chēng)之為協(xié)同過(guò)濾的“冷啟動(dòng)”問(wèn)題 [8]。 豆瓣網(wǎng) 上的“排行”欄目，應(yīng)該是傳統(tǒng)的“熱門(mén)”列表，不是 TopN 推薦。這里基本思路是使用和加權(quán)和 技術(shù)相同的形式，但是取代了相似項(xiàng)目 N 的行評(píng)分值 ,unR ，這個(gè)模型使用基于線性回歸模型的近似值 ,`unR 。一旦基于相似性措施孤立出最相似的項(xiàng)目的集合，下一步就是尋找到目標(biāo)用戶(hù)的評(píng)分和使用技術(shù)去獲得的預(yù)測(cè)。 在這種情況下，兩個(gè)項(xiàng)目 i和 j 之間的相似性是通過(guò)計(jì)算 Pearson 的相關(guān)性 ,ijcorr來(lái)衡量的。協(xié)同過(guò)濾的出發(fā)點(diǎn)是尋找與你興趣相同的一組用戶(hù)，術(shù)語(yǔ)叫做“最近鄰”。因此，模式集成涉及實(shí)體識(shí)別，通常借助于數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)的原數(shù)據(jù)進(jìn)行模式識(shí)別，幫助避免模式集成中的錯(cuò)誤。 數(shù)據(jù)預(yù)處理模塊包含兩個(gè)方面 [7]：一是從多個(gè)數(shù)據(jù)源去整合挖掘所需要的數(shù)據(jù)，保證數(shù)據(jù)的綜合性、易用性和數(shù)據(jù)的時(shí)效性；另外一方面就是如何從現(xiàn)有數(shù)據(jù)中衍生出所需要的指標(biāo)，這主要取決于數(shù)據(jù)挖掘者的分析經(jīng)驗(yàn)和工具的方便性?；诳蛻?hù)資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計(jì)與實(shí)現(xiàn) 第二章 協(xié)同過(guò)濾推薦系統(tǒng) 9 這導(dǎo)致這種系統(tǒng)通常更多出現(xiàn)在實(shí)驗(yàn)室或者論文里面。 基于客戶(hù)資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計(jì)與實(shí)現(xiàn) 第二章 協(xié)同過(guò)濾推薦系統(tǒng) 8 Slope One算法 Slope One 算法是由 Daniel Lemire 教 授在 20xx 年提出的一個(gè) 基于資源項(xiàng)的 推薦算法 [12]。 和基于用戶(hù)的推薦系統(tǒng)相比，基于 資源項(xiàng) 的推薦系統(tǒng)最大的改進(jìn)是更具有擴(kuò)展性。 一旦系統(tǒng)能夠識(shí)別一個(gè)用戶(hù)的同好用戶(hù)，就能夠?qū)⑺麄冏罡信d趣的內(nèi)容作為當(dāng)前用戶(hù)的推薦結(jié)果推薦給這個(gè)用戶(hù)。 第三章主要講述了協(xié)同過(guò)濾推薦系統(tǒng)的設(shè)計(jì)架構(gòu)和典型推薦算法的實(shí)現(xiàn)，包括基于項(xiàng)目的協(xié)同過(guò)濾算法和基于用戶(hù)的協(xié)同過(guò)濾算法以及 Slope One 算法等。 這是一個(gè)不可回避的問(wèn)題 ， 因?yàn)橐虢€(gè)性化 Web 系統(tǒng)就必須有用戶(hù)的參與 ，同時(shí)還要分析用戶(hù)反饋的信息 ， 如果使用 Cookies 一類(lèi)技術(shù) ， 這就可能涉及到用戶(hù)的基于客戶(hù)資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計(jì)與實(shí)現(xiàn) 第一章 緒論 6 隱私 .目前的 Web 個(gè)性化技術(shù)還不能很好地解決這個(gè)問(wèn)題 ， 即在實(shí)現(xiàn)個(gè)性化服務(wù)地同時(shí)而又不侵犯用戶(hù)的隱私。 電子商務(wù)推薦系統(tǒng)在研究和實(shí)踐中都非常成功 ， 但是 ， 隨著電子商務(wù)系統(tǒng)規(guī)模越來(lái)越大 ， 電子商務(wù)推薦系統(tǒng)也面臨著一系列挑戰(zhàn)。這部分看起來(lái)簡(jiǎn)單，其實(shí)需要非常仔細(xì)的設(shè)計(jì)。研究和應(yīng)用最多的是內(nèi)容推薦和協(xié)同過(guò)濾推薦的組合。 算法的第一步關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)最為 關(guān)鍵且最耗時(shí)，是算法的瓶頸，但可以離線進(jìn)行。 2． 基于內(nèi)容的推薦 基于內(nèi)容的推薦 (Contentbased Remendation)是信息過(guò)濾技術(shù)的延續(xù)與發(fā)展，它是建立在項(xiàng)目的內(nèi)容信息上作出推薦的，而不需要依據(jù)用戶(hù)對(duì)項(xiàng)目的評(píng)價(jià)意見(jiàn)，更多地需要用機(jī)器學(xué)習(xí)的方法從關(guān)于內(nèi)容的特征描述的事例中得到用戶(hù)的興趣資料。 個(gè)性化推薦的最大的優(yōu)點(diǎn)在于，它能收集用戶(hù)特征資料并根據(jù)用戶(hù)特 征，如興趣偏好，為用戶(hù)主動(dòng)作出個(gè)性化的推薦。 20xx 年，美國(guó) NSF基金開(kāi)始支持有關(guān)個(gè)性化服務(wù)的研究。因此，需要商家提供一些智能化的選購(gòu)指導(dǎo)，根據(jù)用戶(hù)的興趣愛(ài)好推薦用戶(hù)可能感興趣或是滿意的商品，使用戶(hù)能夠很方便地得到自己所需要得到的商品。 最后利用美國(guó)明尼蘇達(dá)大學(xué)的世界上最大的開(kāi)放數(shù)據(jù)集 MovieLens 進(jìn)行了協(xié)同過(guò)濾算法不同衍化版本的實(shí)驗(yàn)分析 ， 試驗(yàn)結(jié)果 表明 用戶(hù)聚類(lèi)的算法要比基于用戶(hù)的算法在性能上要好得多，同時(shí)在質(zhì)量上也比基于用戶(hù)的算法要好。 30 本章小結(jié) 21 SlopeOne 算法推薦 17 基于資源項(xiàng)相關(guān)性算法 16 用戶(hù)模塊 10 生成推薦結(jié)果 7 基于用戶(hù)的協(xié)同過(guò)濾算法 5 隱私問(wèn)題 圖表整潔，布局合理，文字注釋必須使用工程字書(shū)寫(xiě)，不準(zhǔn)用徒手畫(huà) 3）畢業(yè)論文須用 A4 單面打印，論文 50 頁(yè)以上的雙面打印 4）圖表應(yīng)繪制于無(wú)格子的頁(yè)面上 5）軟件工程類(lèi)課題應(yīng)有程序清單，并提供電子文檔