【正文】 要的 [7]。在數(shù)據(jù)中消除錯誤和不一致，并解決對象識別問題的過程。數(shù)據(jù)集成將多個數(shù)據(jù)源中的數(shù)據(jù)進行合并處理，解決語意模糊性并整合成一致的數(shù)據(jù)存儲。這種數(shù)據(jù)語義上的歧義性是數(shù)據(jù)集成的最大難點。最初其目的是為了發(fā)現(xiàn)交易數(shù)據(jù)庫 (也稱為事務(wù)數(shù)據(jù)庫 )中不同商品之間的聯(lián)系規(guī)則。例如項目 i和項目 j 之間相似性計算的本質(zhì)是首先去找出對這兩個項目都已經(jīng)評價的用戶集，然后利用相似性計算技術(shù)來產(chǎn)生相似 度 。他們之間的相似性是通過計算兩個向量之間角度的余弦值來得到的。將為項目 i 和 j 均評分的評分預(yù)測 推薦結(jié)果 評分 Ri,j TOPN推薦 輸入評分矩陣 協(xié)同過濾算法 輸出接口 基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計與實現(xiàn) 第二章 協(xié)同過濾推薦系統(tǒng) 11 用戶集表示為 U，那么相關(guān)相似度可表示為 , 22,( ) ( )( , )( ) ( )u i i u j juUiju U u i i u U u j jR R R Rsi m i j c orrR R R R???????????????? 公式 () 在這里 ,uiR 表示用戶 u 對項目 i的評分，而 _iR 則是第 i個項目的評分平均值。正式的形式是，項目 i和 j 之間的相似度可以表示為 ,22,( ) ( )( , )( ) ( )u i u u j uuUu U u i u u U u j uR R R Rsi m i jR R R R??????????????? 公式 () 這里 _uR 是第 u 個用戶的評分平均值。 顧名思義，這種方法通過計算該用戶在與項目 i相似項目上的評分總和來計算用戶 u 對項目 i 的評分預(yù)測，每一個評分是根據(jù)項目 i 與項目 j 之間的相似度來做加權(quán)的。在實踐中，采用余弦或關(guān)聯(lián)相似的相關(guān)措施計算出的評分可能誤導(dǎo)兩個評分向量是冷漠的 ， 但可能有很高的相基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計與實現(xiàn) 第二章 協(xié)同過濾推薦系統(tǒng) 12 似性。NiRR? ? ???? ? ? 公式 () 回歸模型的兩個參數(shù) ? 和 ? 是通過仔細(xì)檢查兩個評分向量來決定的， ? 是該回歸模型的誤差。 (1)TopN 推薦 ： 這里的 TopN 和一般網(wǎng)站 (比如 digg)上見到的“最熱門”列表是不同的。與傳統(tǒng)關(guān)聯(lián)規(guī)則針對全部數(shù)據(jù)進行挖掘不同的是，此方法僅對最近鄰用戶的購買記錄進行關(guān)聯(lián)規(guī)則挖掘。 特性分析 協(xié)同過濾 推薦作為當(dāng)前電子商務(wù)網(wǎng)站中應(yīng)用最成功最廣泛的技術(shù) 之一 ，相比其他個性化推薦技術(shù)，協(xié)同過濾推薦具有下列 優(yōu)點 [1]： (1)能夠過濾難以進行機器自動內(nèi)容分析的信息，如藝術(shù)品，音樂等 ； (2)共享其他人的經(jīng)驗，避免了內(nèi)容分析的不完全和不精確，并且能夠基于一些復(fù)雜的，難以表述的概念 (如信息質(zhì)量、個人品味 )進行過濾 ； (3)有推薦新信息的能力 ， 可以發(fā)現(xiàn)內(nèi)容上完全不相似的信息，用戶對推薦信息的內(nèi)容事先是預(yù)料不到的 ， 這也是協(xié)同過濾和基于內(nèi)容的過濾一個較大的差別，基于內(nèi)容的過濾推薦很多都是用戶本來就熟悉的內(nèi)容，而協(xié)同過濾可以發(fā)現(xiàn)用戶潛在的但自己尚未發(fā)現(xiàn)的興趣偏好 ； 基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計與實現(xiàn) 第二章 協(xié)同過濾推薦系統(tǒng) 13 (4)能夠有效 地 使用其他相似用戶的反饋信息，較少用戶的反饋量，加快個性化學(xué)習(xí)的速度。設(shè)想一下，對于一個擁有上百萬用戶的網(wǎng)站來說，每計算一個用戶都將涉及到上百萬次的比較，更不要說其中會帶來的大量數(shù)據(jù)庫 I/O 操作 的開銷。當(dāng)用戶評價過的內(nèi)容之間找不到交集時，就難以判斷用戶的口味是否相似，難以找到相似用戶集，導(dǎo)致推薦效果大大降低。了解 協(xié)同過濾 工作流程， 目的在于 推薦 引擎的模型設(shè)計提供理論基礎(chǔ)；了解 協(xié)同過濾推薦 算法的核心思想及其暴露出來的瓶頸問題，并熟悉一些改進思想， 為 解決這些問題 尋找突破口。在設(shè)計本模型時，參考了數(shù)據(jù)挖掘 的 基本模型。 實現(xiàn)協(xié)同過濾系統(tǒng)的基于項目和基于用戶的個性化推薦算法，并根據(jù) Slope One 算法思想和用戶聚簇算法的思想，實現(xiàn)具體功能。在基于資源的協(xié)同過濾算法中唯一的不同是除去了圖中的近鄰計算和偏好偏差。 + g e t I t e m ( ) I D : i n t N a m e : s t r i n gG e n e r i c I t e m 圖 資源項類 在個性化推薦系統(tǒng)中，需要注意的是 需要 保證在任何時候任何地方，都要保證用戶數(shù)據(jù)只能至多存在一個實例在進行訪問。 模塊 用戶對系統(tǒng)中項目的評分即為用戶的偏好，這是協(xié)同過濾推薦系統(tǒng)中非常關(guān)鍵的數(shù)據(jù)結(jié)構(gòu)。用戶類在相關(guān)性以及近鄰用戶算法中非常重要。 基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計與實現(xiàn) 第三章 協(xié)同過濾推薦系統(tǒng)設(shè)計 17 圖 數(shù)據(jù)管理模塊以及和其他模塊的關(guān)系 由于個性化推薦系統(tǒng)需要處理大量的數(shù)據(jù)，所以需要進行數(shù)據(jù)庫和文件的讀取操作，本課題采用的是文件操作與 MySQL 數(shù)據(jù)庫操作。 對于系統(tǒng)中的用戶 X 和用戶 Y，下列的值代表的意義如下所示： (1)sumX2：用戶 X 的所有偏好值的平方和 ； (2)sumY2：用戶 X 的所有偏好值的平方和 ； (3)sumXY：是指那些用戶 X 和用戶 Y 都給予評分的項目上，用戶 X 和用戶 Y的偏好值的和 。 Pearson相關(guān)性算法 基于 Pearson 相關(guān)性算法是應(yīng)用最為廣泛的相關(guān)性算法，它既可以用于基于用戶的協(xié)同過濾系統(tǒng) 中，也可以用于基于資源項的協(xié)同過濾系統(tǒng)中。用戶類的類圖結(jié)構(gòu)如 圖 所示 。 本數(shù)據(jù)結(jié)構(gòu)記錄了用戶的偏好，是用于計算相似度和其他算法的基礎(chǔ)。因為在相關(guān)性計算那個步驟需要大量的比較操作，用戶類必須要有比較操作，因此封裝之后的單例模式的 用戶類如 圖 。 基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計與實現(xiàn) 第三章 協(xié)同過濾推薦系統(tǒng)設(shè)計 15 推 薦 系 統(tǒng)近 鄰 計 算相 關(guān) 計 算偏 好 偏 差數(shù) 據(jù) 管 理 器用 戶偏 好 項 目偏 好 項 目 圖 協(xié)同過濾系統(tǒng)總體架構(gòu) DataManager的模塊設(shè)計 在協(xié)同過濾推薦系統(tǒng)中，需要從服務(wù)器中讀取大量的數(shù)據(jù)來做計算推薦，數(shù)據(jù)來源可能是數(shù)據(jù)文件或者數(shù)據(jù)庫，所以需要專門的數(shù)據(jù)處理模塊來負(fù)責(zé)數(shù)據(jù)的讀取更新和管理。 (2)在性能設(shè)計上，本模型要達到提高個性化推薦產(chǎn)生的有效率、準(zhǔn)確率以及可理解性 。由于個性化推薦系統(tǒng) 的實時性特性，需要非常注意個性化推薦的效率。 協(xié)同過濾推薦系統(tǒng)的總體設(shè) 計可以分為五個大模塊：數(shù)據(jù)管理模塊(DataManager)；相關(guān)性計算模塊 (包括用戶相關(guān)性 (UserCorrelation)和項目相關(guān)性(ItemCorrelation))；近鄰用戶模塊 (UserNeighborhood)； 推薦模塊 (Remender)和 工具模塊 (Common)。其中， 協(xié)同過濾技術(shù) 的研究取得了重大的進步。在任何一個網(wǎng)站中，用戶的評分記錄或者購買記錄，相對整個可供選擇的內(nèi)容集來說，都是很小的一部分。這個問題，也被稱之為協(xié)同過濾的“冷啟動”問題 [8]。它最 突出的優(yōu)點就是，可以幫助你發(fā)現(xiàn)你感興趣的而以前卻從來沒有注意過的商品。 豆瓣網(wǎng) 上的“排行”欄目，應(yīng)該是傳統(tǒng)的“熱門”列表，不是 TopN 推薦。通常根據(jù)推薦目的的不同，可以進行多種形式的推薦。這里基本思路是使用和加權(quán)和 技術(shù)相同的形式，但是取代了相似項目 N 的行評分值 ,unR ，這個模型使用基于線性回歸模型的近似值 ,`unR 。加權(quán)是由相似度和的形式以確保預(yù)測是在預(yù)定的范圍內(nèi)。一旦基于相似性措施孤立出最相似的項目的集合，下一步就是尋找到目標(biāo)用戶的評分和使用技術(shù)去獲得的預(yù)測。在項目為基礎(chǔ)的情況下，使用基本的余弦相似度計算，有一個致命的缺陷就是，不同的用戶之間評分的幅度不同沒有考慮在內(nèi)。 在這種情況下，兩個項目 i和 j 之間的相似性是通過計算 Pearson 的相關(guān)性 ,ijcorr來衡量的。目前使用比較多的相似度算法包括， Pearson 相關(guān)系數(shù) (Person Correlation Coefficient)、余弦相似性 (Cosinebased Similarity)以及調(diào)整余弦相似性 (Adjusted Consine Similarity)。協(xié)同過濾的出發(fā)點是尋找與你興趣相同的一組用戶，術(shù)語叫做“最近鄰”。如定義時間、數(shù)值、字符等數(shù)據(jù)加載格式。因此，模式集成涉及實體識別，通常借助于數(shù)據(jù)庫或數(shù)據(jù)倉庫的原數(shù)據(jù)進行模式識別，幫助避免模式集成中的錯誤。數(shù)據(jù)的不一致性導(dǎo)致數(shù)據(jù)挖掘結(jié)果的可信度的降低，數(shù)據(jù)清理去 除噪聲或無關(guān)數(shù)據(jù)，并處理數(shù)據(jù)中缺失的數(shù)據(jù)域 [7]。 數(shù)據(jù)預(yù)處理模塊包含兩個方面 [7]：一是從多個數(shù)據(jù)源去整合挖掘所需要的數(shù)據(jù)，保證數(shù)據(jù)的綜合性、易用性和數(shù)據(jù)的時效性；另外一方面就是如何從現(xiàn)有數(shù)據(jù)中衍生出所需要的指標(biāo)，這主要取決于數(shù)據(jù)挖掘者的分析經(jīng)驗和工具的方便性。一種研究得比較多的方法是 網(wǎng)絡(luò)數(shù)據(jù)挖掘 (Web Mining)?；诳蛻糍Y料挖掘的電子商務(wù)網(wǎng)站的設(shè)計與實現(xiàn) 第二章 協(xié)同過濾推薦系統(tǒng) 9 這導(dǎo)致這種系統(tǒng)通常更多出現(xiàn)在實驗室或者論文里面。 表 用戶評分?jǐn)?shù)據(jù)矩陣 1Item ... jItem ... nItem 1User 1,R ... 1,jR ... ... ... ... ... ... ... ... iUser ,1kR ... ,ijR ... ... ... ... ... ... ... ... mUser ... ... ... ... ,mnR 建立一個協(xié)同過濾系統(tǒng)通常需要三個步驟 ：興趣數(shù)據(jù)的收集與處理，最近鄰搜索和生成推薦結(jié)果 。 基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計與實現(xiàn) 第二章 協(xié)同過濾推薦系統(tǒng) 8 Slope One算法 Slope One 算法是由 Daniel Lemire 教 授在 20xx 年提出的一個 基于資源項的 推薦算法 [12]。所以，比起用戶， 資源項 之間的相似性計算需要的計算量要少很多，從而大大降低了在線計算量，提高系統(tǒng)性能。 和基于用戶的推薦系統(tǒng)相比，基于 資源項 的推薦系統(tǒng)最大的改進是更具有擴展性。這種 相似用戶通常被稱為最近鄰居(Nearest Neighbor)。 一旦系統(tǒng)能夠識別一個用戶的同好用戶，就能夠?qū)⑺麄冏罡信d趣的內(nèi)容作為當(dāng)前用戶的推薦結(jié)果推薦給這個用戶。 第五章是進行了畢業(yè)設(shè)計工作的總結(jié)與致謝。 第三章主要講述了協(xié)同過濾推薦系統(tǒng)的設(shè)計架構(gòu)和典型推薦算法的實現(xiàn)，包括基于項目的協(xié)同過濾算法和基于用戶的協(xié)同過濾算法以及 Slope One