【正文】 于項目 （ Itembased）的協(xié)同過濾統(tǒng)稱為 基于記憶 （ Memorybased）的協(xié)同過濾技術(shù)，他們 具有一個共同 的缺點 就 是會遇到數(shù)據(jù) 稀疏 的問題，難以處理大資料量 ， 影響即時結(jié)果。 在真實的推薦系統(tǒng)中，用戶對產(chǎn)品的評分記錄相對于系統(tǒng)中的項目總數(shù)而言是微乎其微的。據(jù)統(tǒng)計，在 Amazon 中，用戶評價的書籍占系統(tǒng)中所有書籍的比例最多也只能達到 1%2%。這樣就造成了用戶 評分矩陣的極度稀疏，評分矩陣的稀疏導(dǎo)致協(xié)同推薦在計算用戶之間的相似度時，無法獲取充足的數(shù)據(jù)來源。 因此 ，在這樣情況下， 發(fā)展出 了 基于模型 的協(xié)同過濾技術(shù) (Modelbased Collaborative Filtering)。 這種方法 通過使用觀察到的用戶打分行為數(shù)據(jù)來訓(xùn)練一個能夠解釋這些訓(xùn)練數(shù)據(jù)的數(shù)學(xué)模型，并通過使用這個模型對未知的用戶對待推薦物品的喜好程度進行預(yù)測?；谀Ｐ驮O(shè)計的合理程度，可以針對基于記憶的推薦算法中的 不足，更加契合地適應(yīng)現(xiàn)實世界中的數(shù)據(jù)及推薦問題。根據(jù)應(yīng)用需求及 模型的不同，一般來說，分類模型更適合解決用戶評價為類別信息的問題，而回歸模型及基于奇異值分解的方法則更適合應(yīng)用于用戶評價為數(shù)字分數(shù)的情況。 在基于模型的推薦算法中，最為經(jīng)典的模型包括了貝葉斯置信網(wǎng)絡(luò)模型，聚類模型，隱參數(shù)模型以及馬爾科夫決策過程模型等等。 貝葉斯置信網(wǎng)是一個由三元組 ,NA? ?? 構(gòu)成的有向無環(huán)圖。其中，每個節(jié)點 nN? 代表 一個隨機變量，每個有向 邊 aA? 代表其鏈接的兩個變量之間存在的概率關(guān)系，同時， ? 代表一個子節(jié)點與其父親節(jié)點之間的條件概率表 [24]。貝葉斯置信網(wǎng)常被用來構(gòu)造分類器，解決分類問題。簡單貝葉斯分類器（ naive Bayes）第 二 章 相關(guān)背景 第 17 頁 適用于二值分類情況，而現(xiàn)實中的推薦數(shù)據(jù)，一般不存在二值化的情況。為此，文獻 [25]提出使用簡單貝葉斯協(xié)同過濾算法，將其轉(zhuǎn)化到多類別的任務(wù)上，所得出的結(jié)論是，簡單貝葉斯方法和基于 Pearson 相關(guān)系數(shù)的協(xié)同推薦算法相比，只能得到較差的推薦準(zhǔn)確性，但是可以在數(shù)據(jù)擴展性及計算速度方面得到改善。針對其不足之處，擴展邏輯回歸 ELR（ Extended Logistic Regression）被引入到基于貝葉斯置信網(wǎng)的協(xié)同過濾算法中 [26]。 ELR 是一種梯度下降的算法 ，用于學(xué)習(xí)判別參數(shù)以最大化條件似然函數(shù)?；?ELR 的經(jīng)典算法 NBELR（ naive Bayes optimized by ELR）可以取得較 Pearson 相關(guān)系數(shù)方法更好的預(yù)測結(jié)果，但是需要更多的時間進行模型的訓(xùn)練 [27]。 聚類模型的主要思想是，聚類后的數(shù)據(jù)中，同一類別中的數(shù)據(jù)彼此之間的相似程度較之與其他類別間數(shù)據(jù)的相似程度要高。最常用的聚類 是 衡量兩個數(shù)據(jù)樣本間距離的度量包括 Minkowski 距離及 Pearson 相 關(guān)系數(shù)。 Minkowski 距離定義為： 1( , )n qqiiid X Y x y???? （ ） 其中， ix 和 iy 分別是向量 X 和 Y 的第 i 維，當(dāng) 1q? 時， d 退化為 Manhattan距離，當(dāng) 2q? 時， d 退化為歐氏距離 [28]。聚類算法使用在協(xié)同過濾中時，一般首先對數(shù)據(jù)樣本進行聚類，然后在聚集成的每一個小類中，應(yīng)用基于記憶的協(xié)同過濾算法。由于最后使用基于記憶的協(xié)同過濾算法的數(shù)據(jù)樣本數(shù)量較全部樣本集大為減少，所以聚類模型在數(shù)據(jù)可擴展性方面有著巨大優(yōu)勢。但是，其計算開銷較普通的推薦算法有較大提升，這也成為其無法廣泛應(yīng)用的一個原因。 隱參數(shù)模型通過使用統(tǒng)計建模的方法，引入隱類別變量來描述用戶的興趣檔案。從概念上進行描述，它將用戶 的興趣 喜好 使用互相重疊的用戶群組來表示。這種方法最大的特點就在于它具有較高的數(shù)據(jù)可擴展性和準(zhǔn)確率。示像模型（ Aspect Model）是由 文獻 [29]提出的一種概率隱空間模型。它將用戶的每一次評分看作是一組評分因子的凸集合。多項式混合模型（ Multinomial Mixture Model）在多項式模型（ Multinomial Model）的基礎(chǔ)上，假設(shè)所有的用戶可以分為若干類，并且代表評分信息的多個因子互相之間以及其與用戶的身 份信息之間都是獨立的。用戶評分檔案模型（ User Rating Profile Model） [30]結(jié)合了這兩種模型，并且應(yīng)用了更高語義層次的隱迪理克萊分布 LDA（ Latent Dirichlet Allocation）模型 [57]，取得了較前兩種模型更高的準(zhǔn)確率。 基于馬爾科夫決策過程模型的推薦算法，與普通將推薦看作預(yù)測問題的 處理第 二 章 相關(guān)背景 第 18 頁 方法不同，將整個推薦過程看作是一個連續(xù)的優(yōu)化問題 [31]。馬爾科夫決策過程是一個用于解決連續(xù)隨機決策問題的模型，其應(yīng)用場景為一個物體通過一系列動作對周圍環(huán)境發(fā)生影響。每一個馬爾科夫決策過程都可以描述為一個四元組,S A R Pr??，其中， S 是一組狀態(tài)， A 是一組動作， R 是對每組狀態(tài) 動作對定義的獎勵函數(shù)， Pr 是在給定動作下狀態(tài)間轉(zhuǎn)化的概率 [32]。在推薦問題中，狀態(tài)對應(yīng)被推薦項目組，動作對應(yīng)對一個項目進行推薦，獎勵函數(shù)對應(yīng)推薦后購買發(fā)生時獲取的利潤。當(dāng)用戶被推薦了某個項目后，其狀態(tài)會因此轉(zhuǎn)變，或者接受這次推薦，或者接受未推薦的，或者什么都不做。根據(jù)實際數(shù)據(jù)上的實驗，這種方法可以在結(jié)果準(zhǔn)確度上取得較大的提升。但是，其計算復(fù)雜度較高，必須使用近似的算法。近似算法基本可分為三類：值函數(shù)近似，基于策略的優(yōu)化，以及隨機采樣。這一部分的研究內(nèi)容，被認為是未來研究工作的一個可能的熱點。 跟基于記憶的協(xié)同過濾方法 相比， 基于模型的協(xié)同過濾可以離線計算，適用于大型的網(wǎng)站系統(tǒng)中。但是基于模型的協(xié)同過濾算法也有它的不足，就是建立模型的時間復(fù)雜度過高，建模工作量大，導(dǎo)致新的模型相對于舊的模型在數(shù)據(jù)同步上有一定的延遲。 節(jié)和 節(jié)分別介紹了基于內(nèi)容的推薦方法和協(xié)同過濾的推薦方法。 和基于內(nèi)容的 過濾 方法 相比，協(xié)同過濾 具有如下 優(yōu)點 ： (1) 解決了基于內(nèi)容的過濾方法中資源特征不易提取的問題 ； (2) 可以處理缺少用戶特征信息或者產(chǎn)品特征信息的情況， 推薦中考慮了資源質(zhì)量以及用戶觀點等因素 ； (3) 可以發(fā)現(xiàn)用戶的新興趣。有推薦新信息的能力 ，用戶不僅 僅只能接受到與過去相似的資源， 還 可以發(fā)現(xiàn)內(nèi)容上完全不相似的信息 ； (4) 能夠 利用到社會網(wǎng)絡(luò)結(jié)構(gòu)信息，利用相似用戶的反饋信息 ，加快個性化學(xué)習(xí)的速度 。 正因為有如此多的優(yōu)點，協(xié)同推薦逐漸成為個性化推薦中最受歡迎的技術(shù)，在商業(yè) 應(yīng)用上也 成為迄今為止最成功的技術(shù) [11]， 取得了不錯的成績。 Amazon，Youtube[39]， 淘寶 [40]，都采用了協(xié)同過濾的技術(shù)來提高服務(wù)質(zhì)量。 個性化社區(qū)推薦方法 第 二 章 相關(guān)背景 第 19 頁 社區(qū)推薦是近年來剛剛興起的研究熱點，國內(nèi)外已有一些學(xué)者對此課題展開了相關(guān)的研究。社區(qū)推薦是為了給用戶推薦其感興趣的社區(qū)，用戶和其所組成的社區(qū)正是反應(yīng)了社會網(wǎng)絡(luò)中的關(guān)系網(wǎng)絡(luò)。社會網(wǎng)絡(luò)中最有價值的數(shù)據(jù)就是結(jié)構(gòu)化的關(guān)系數(shù)據(jù)?；谟脩舻膶傩砸约熬W(wǎng)絡(luò)中已觀察到的用戶之間的聯(lián)系，來預(yù)測用戶的下一步行為是社會網(wǎng)絡(luò)的一個主要任務(wù)。因此，在社區(qū)推薦中，協(xié)同推薦最大限度的利用 了社會網(wǎng)絡(luò)中最有價值的信息，是最重要的推薦手段 。 目前普遍采用的方法都是基于協(xié)同過濾的推薦。 Liu Ji 等 [41]提出了一種基于網(wǎng)絡(luò)社區(qū)的協(xié)同過濾推薦算法，通過對用戶社會網(wǎng)絡(luò)的特征向量進行加權(quán)來增強在協(xié)同推薦中社區(qū)的貢獻。該算法考慮了不同用戶的打分的風(fēng)格不同，提出一種方法去歸一化用戶的評分值，然后就可以基于相似性對同一個社區(qū)中的用戶進行推薦。 通過分析“ general neighborhood”問題， Li Yu[42]提出了“ munity neighborhood”的概念，并基于此提出了一種基于社區(qū)的協(xié)同推薦算法。為了解決此算法中由于數(shù)據(jù)稀疏帶來的問題，提出了一種 Apriori 分數(shù)，可以預(yù)先填滿用戶 項目矩陣，從而在一定程度上解決了數(shù)據(jù)稀疏的問題。 在 Vishvas Vasuki 等人的工作 [43]中，提出了一種通過現(xiàn)有的用戶和社區(qū)之間的從屬網(wǎng)絡(luò)關(guān)系，預(yù)測用戶和社區(qū)之間新的從屬關(guān)系的方法。作者提出了兩個算法去將這些社會網(wǎng)絡(luò)組合起來：一種是基于圖 的相似性，一種是利用潛在因素去建模用戶和社區(qū)。實驗結(jié)果表明，前者在準(zhǔn)確率和效率上都要高于后者。 一個社區(qū)中的成員也許會對其他社區(qū)的主題感興趣，因此不同主題的社區(qū)之間往往也有著聯(lián)系，這對發(fā)掘用戶的新興趣有著極大的幫助?；谶@樣的思想，Wang Fang[44]提出了一種建立多興趣社區(qū)群的方法。在這種多興趣社區(qū)群上，用戶可以獲得超出他們現(xiàn)有興趣之外的更多的個性化推薦。 由于對網(wǎng)絡(luò)的文件和動態(tài)網(wǎng)絡(luò)數(shù)據(jù)缺乏一個統(tǒng)一的模式，使用 傳統(tǒng)的數(shù)據(jù)管理和搜索技術(shù) 進行 信息管理和網(wǎng)絡(luò)數(shù)據(jù)檢索的效率往往都不理想。為了解決這個問題， Yanchun Zhang 等 [45]通過了 Web 挖掘的網(wǎng)絡(luò)社區(qū)的分析方法，在對 Web文檔的內(nèi)容、超鏈接、用戶訪問日志和語義分析的基礎(chǔ)上，制定了各種方法或算法來構(gòu)造和分析 Web 社區(qū)，并進行推薦。首先提出了一種基于使用程度的網(wǎng)頁發(fā)現(xiàn)策略，然后在此基礎(chǔ)上，利用 PLSA 進行用戶聚類，建立用戶描述文檔。然后提出了一種算法，可以發(fā)現(xiàn)相近的用戶描 述文檔，來進行協(xié)同推薦。 HanGyu Ko 等 [46]提出了一種算法，可以根據(jù)用戶的社會關(guān)系以及用戶的第 二 章 相關(guān)背景 第 20 頁 喜好，識別和推薦潛在的 IPTV 社區(qū)。 該算法通過計算用戶的相似度，提取出用戶中的潛在社區(qū)，并將其與實際存在的社區(qū)進行整合，完成給用戶的社區(qū)推薦以及 鼓勵用戶創(chuàng)建 出新的社區(qū)。 陳瓊等 [47]根據(jù)社會網(wǎng)絡(luò)的動態(tài)變化特性，通過分析網(wǎng) 絡(luò)的動 態(tài)演變過程、網(wǎng)絡(luò)個體的行為特征及個體間 聯(lián)系的變化，研究動態(tài)社區(qū)及其個體的動態(tài)特性的形式化描述方法，提出了節(jié)點 (個體 )間的動態(tài)屬性相似度計算方法和基于節(jié)點 (個體 )間的動態(tài)屬性相似度計算的社區(qū)推薦算法。 BARNA [48]提出了基于群組相似度的社區(qū)推薦算法，通過計算群組間的相似度為社區(qū)中的成員推薦其他社區(qū)。 以上的幾種社區(qū)推薦方法基本都是采用了基于 記憶 的協(xié)同過濾方法，但是它們具有一個共同的缺點就是會遇到數(shù)據(jù)稀疏 的問 題，難以處理大資料量 ， 影響即時結(jié)果。 因此，在這樣情況下，基于模型的協(xié)同過濾技術(shù)逐漸成為了社區(qū)推薦的發(fā)展方向。目前已有一些基于模型的協(xié)同過濾社區(qū)推薦方法的相關(guān)工作，我們將在 節(jié)中詳細介紹。 本章小結(jié) 本章首先 介紹了 個性化推薦技術(shù)出現(xiàn)的背景及發(fā)展前景，然后分別介紹了現(xiàn)在兩種主要的個性化推薦方法：基于內(nèi)容的推薦方法和基于協(xié)同過濾的推薦方法，并分析它們的優(yōu)缺點，指出現(xiàn)在主流的推薦方法已經(jīng)從基于內(nèi)容的推薦轉(zhuǎn)為協(xié)同推薦。最后，本章介紹了現(xiàn)在 已有的一些個性化社區(qū)推薦方法。 第 三 章 基于在線軟約束 LDA算法的社區(qū)推薦方法 第 21 頁 第三章 基于 在線軟約束 LDA 的 社 區(qū)推薦算 法 個性化社區(qū)推薦是當(dāng)前互聯(lián)網(wǎng)迅猛發(fā)展情況下的研究熱點。本章首先 介紹 虛擬社區(qū)的相關(guān)背景， 從普通用戶對虛擬社區(qū)的體驗入手，分析 個性 化社區(qū)推薦的實際意義；其次，根據(jù)現(xiàn)有的研究成果和相關(guān)應(yīng)用，總結(jié) 社區(qū)推薦算法的發(fā)展現(xiàn)狀，指出現(xiàn)有算法的不足之處；然后提出一種基于軟約束 LDA 算 法的社區(qū)推薦算法，并通過實驗證明該算法的可行性和優(yōu)勢；最后設(shè)計 一個在線系統(tǒng)框架以實現(xiàn) 實時 更新。 研究背景 虛擬 社區(qū) （ Virtual Community） 是一種基于互聯(lián)網(wǎng)的社區(qū)網(wǎng)絡(luò) ， 起源于 BBS（ Bulletin Board System）。 它 是指由網(wǎng)民在 網(wǎng)絡(luò)上 進行社會互動 而 形成的 由共同興趣的人集合形成的 活動場所。虛擬社區(qū) 類似于 現(xiàn)實社區(qū) ，也 擁有 場所、人群、組織 和 成員 ，同時也 提供各種交流信息的手段，使社區(qū) 成員 得以互動。 虛擬社區(qū)為每一個用戶提供了很多與其他用戶交流的功能，例如社區(qū)通信、電子郵箱，還可以即時聊天。 用戶可以在虛擬社區(qū)中 發(fā)帖 ，這是虛擬社區(qū)最基本也是最主要的功能。它讓 用戶可以以文字的形式表達 出 自己的思想 。用戶的 討論、提問、回答問題 和 投票等 最終都以帖子的形式出現(xiàn)。 虛擬社區(qū) 打破了 地域的限制，人們 只需要一臺 聯(lián)網(wǎng)的電腦 就可以跟 全球 任 何地方的人暢所欲言。在虛擬社區(qū)中，用戶用 ID 號標(biāo)識自己， ID 號可以依據(jù)個人愛好隨意而定。用戶也可以根據(jù)自己的喜好自由選擇所加入的社區(qū)。虛擬社區(qū)主要通過內(nèi)容和主題來吸引“人氣”和點擊率。 目前在國內(nèi)有 一些 以興趣 愛好休閑娛樂為主 的極富 影響 力的 虛擬社區(qū) ， 有豆瓣 [49]、天涯社區(qū) [50]、人人網(wǎng) [6]、開心網(wǎng) [51]等。 這 些 社區(qū) 中有些注冊 會員 已經(jīng)達到幾千萬，同時在線人數(shù)也達到幾十萬 。這一切說明國內(nèi)的虛擬社區(qū)已有一定的影響和規(guī)模 ， 有著廣闊的研究和發(fā)展空間。 以豆瓣為例，如圖 所示，用戶登錄之后，可以選擇自己所感興趣的討論組，加入進去參與討論和交流。這些豆瓣小組就是一個個的用戶自發(fā)建立的社