【正文】 主題。表示詞匯記號(hào)屬于主題的概率。表示主題屬于當(dāng)前文檔的概率。假設(shè)總共有個(gè)文檔，個(gè)潛在主題，個(gè)唯一性詞匯。我們用表示對(duì)于主題，個(gè)詞匯上的多項(xiàng)分布，其中是個(gè)唯一性詞匯表中的詞匯；用表示對(duì)于文檔，個(gè)潛在主題上的多項(xiàng)分布。于是，文檔中詞匯的概率為： （）LDA模型采用Dirichlet分布作為多項(xiàng)分布和的共軛先驗(yàn)。所謂Dirichlet分布是指，對(duì)于多項(xiàng)分布，對(duì)應(yīng)的Dirichlet分布概率密度為： （）其中，參數(shù)稱為多項(xiàng)式的超參數(shù)，是文檔中主題出現(xiàn)次數(shù)的先驗(yàn)觀測(cè)，可以理解為在見到任何文檔文字之前，主題被抽樣的頻數(shù)。為了簡(jiǎn)化模型，LDA采用了均衡的Dirchlet分布，即令超參數(shù)。 LDA的圖模型示意圖超參數(shù)分別通過Dirichlet分布來控制文檔上的主題分布和主題上的詞匯分布，這兩個(gè)分布再共同決定文檔中的每個(gè)詞匯記號(hào)。對(duì)于文檔，它的所有已知和潛在變量的聯(lián)合分布為： （）消去變量，得到： （）對(duì)于整個(gè)文檔集，其似然值為： （）將社區(qū)用戶共生矩陣作為L(zhǎng)DA的訓(xùn)練數(shù)據(jù)，就可以訓(xùn)練出相應(yīng)的生成模型，從而得到用戶之間的相似度、社區(qū)之間的相似度等信息，完成最終的推薦。文獻(xiàn)[55]將LDA應(yīng)用于社區(qū)推薦，利用一種二值的LDA方法來進(jìn)行社區(qū)推薦，具體做法是：把每個(gè)用戶看成一個(gè)文檔，用戶所參與的每個(gè)社區(qū)看成是該文檔中的單詞。此算法的輸入數(shù)據(jù)是一個(gè)二值的用戶社區(qū)關(guān)系矩陣，矩陣中的每個(gè)元素只有0或者1兩種取值，0代表用戶沒有參加此社區(qū)，1代表用戶參加了此社區(qū)。然后用LDA模型去估計(jì)主題社區(qū)分布和用戶主題分布，依據(jù)這兩個(gè)分布就可以給用戶推薦社區(qū)了。以上兩節(jié)詳細(xì)介紹了兩種現(xiàn)在比較流行的基于模型的協(xié)同過濾社區(qū)推薦方法。可以看出，基于ARM的方法能夠準(zhǔn)確的挖掘出社區(qū)之間的直接關(guān)聯(lián)，但是卻不能挖掘出社區(qū)之間的間接聯(lián)系?；ヂ?lián)網(wǎng)用戶和社區(qū)的關(guān)系數(shù)據(jù)往往是非常稀疏的，這就給基于ARM的方法帶來了很大的麻煩，運(yùn)行效率十分低下，并且可以挖掘出的規(guī)則非常有限。相比較而言，二值的LDA方法就可以挖掘出社區(qū)之間的間接聯(lián)系，從而解決了數(shù)據(jù)稀疏的問題，并且運(yùn)行起來更加高效，比基于ARM的方法快速很多。但是，二值的LDA方法也有它的不足之處，它用簡(jiǎn)單的二值的矩陣來表示用戶和社區(qū)的關(guān)系，忽略了不同用戶與社區(qū)關(guān)系強(qiáng)弱有差異，也沒能考慮用戶興趣隨著時(shí)間的發(fā)展變化。當(dāng)有新用戶加入的時(shí)候，不能及時(shí)快速的更新模型參數(shù)，沒有良好的可擴(kuò)展性。為了解決以上這些問題，本文提出了一種基于在線軟約束LDA算法的社區(qū)推薦方法，下一節(jié)將詳細(xì)介紹該算法。 基于軟約束LDA的社區(qū)推薦算法 模型的建立二值的用戶社區(qū)關(guān)系矩陣只有0或者1兩種狀態(tài)，這只能表明用戶是否參與了某個(gè)社區(qū)。但是，在實(shí)際的虛擬社區(qū)中，用戶和社區(qū)之間的關(guān)系是非常復(fù)雜的。假設(shè)一個(gè)用戶同時(shí)參與了和兩個(gè)社區(qū)，但是他對(duì)于這兩個(gè)社區(qū)的喜好程度是不同的，在社區(qū)中，該用戶訪問和發(fā)帖的次數(shù)要遠(yuǎn)遠(yuǎn)多于在中的發(fā)帖次數(shù)，那么他對(duì)于的喜愛要高于。如果將用戶與社區(qū)的關(guān)系強(qiáng)弱考慮到模型中去，顯而易見可以更加準(zhǔn)確的挖掘用戶的潛在行為，更好地為用戶進(jìn)行社區(qū)推薦。直觀的，我們選擇用戶在社區(qū)上的發(fā)帖次數(shù)去衡量用戶與社區(qū)的關(guān)系強(qiáng)弱。我們用來表示第個(gè)用戶與他所參與的第個(gè)社區(qū)之間的關(guān)系，用來表示第個(gè)用戶在他所參與的第個(gè)社區(qū)上的發(fā)帖次數(shù)，則有如下公式： （）之所以不直接用發(fā)帖次數(shù)去衡量用戶與社區(qū)的關(guān)系強(qiáng)弱，而是選擇先歸一化，就是考慮到不同用戶訪問互聯(lián)網(wǎng)的習(xí)慣不同，有些人喜歡多發(fā)帖多參與社區(qū)討論，而有些人則相對(duì)發(fā)帖較少，但是他們對(duì)于所參與的社區(qū)都有著同樣的不同程度的偏好。例如，用戶在某社區(qū)上共發(fā)了10個(gè)帖子，他在所有社區(qū)上的總發(fā)帖數(shù)量為20，那么可以見得該社區(qū)是他非常喜愛的社區(qū)。用戶也在社區(qū)上共發(fā)了10個(gè)帖子，但是他在所有社區(qū)上的總發(fā)帖數(shù)量為300，那么他對(duì)于社區(qū)的喜愛程度就不怎么明顯了。得到了用戶與社區(qū)關(guān)系強(qiáng)弱，就可以將其作為軟約束，應(yīng)用到我們的模型中去。具體做法是，在我們的算法中，將每個(gè)用戶看作一個(gè)文檔，用戶參與的每個(gè)社區(qū)看成是文檔中的單詞，而用戶與社區(qū)的關(guān)系強(qiáng)弱看作是用戶文檔中同一個(gè)社區(qū)單詞的出現(xiàn)次數(shù)。則對(duì)于指定用戶，他會(huì)對(duì)社區(qū)感興趣的概率為： （）其中是潛在主題。表示社區(qū)屬于主題的概率，表示用戶從主題中選擇社區(qū)加入的概率。對(duì)于用戶文檔集合，在給定Dirichlet先驗(yàn)和主題數(shù)目的情況下，可以用LDA估計(jì)主題社區(qū)分布和用戶主題分布。 模型參數(shù)的求解我們采用Gibbs采樣[59]來求解模型參數(shù)。Gibbs采樣利用一個(gè)蒙特卡羅過程來估計(jì)主題社區(qū)的后驗(yàn)分布。主題的分配采樣于： （）其中，其中，表示除去當(dāng)前的主題之后剩下的所有主題分配，表示社區(qū)被分配到主題的總次數(shù)，表示主題被分配給用戶的次數(shù)，表示主題總共出現(xiàn)了幾次，表示總共被分配的主題數(shù)目。以上的這些量，全部是除去當(dāng)前正準(zhǔn)備更新的主題。是社區(qū)的總數(shù)目，是潛在主題的數(shù)目。和是采用經(jīng)驗(yàn)值的參數(shù)；利用從后驗(yàn)概率中得到的一系列采樣值，我們就可以得到想要的統(tǒng)計(jì)值。我們可以通過如下公式，計(jì)算出主題社區(qū)分布和用戶主題分布： （） （）在本文中，Gibbs采樣的具體過程如下：初始階段，我們先隨機(jī)的為每個(gè)用戶文檔中的每個(gè)社區(qū)單詞分配一個(gè)潛在主題集合。例如，我們給社區(qū)單詞分配主題集合。 主題集合分配，更新每一個(gè)分配好的主題。重復(fù)這個(gè)Gibbs采樣過程，做一定次數(shù)的迭代，直到模型參數(shù)收斂。模型參數(shù)一旦收斂，我們就可以為用戶進(jìn)行社區(qū)推薦，做法是為候選社區(qū)進(jìn)行打分，分?jǐn)?shù)越高，則越應(yīng)該優(yōu)先推薦給用戶： （）。其中N1，N2，N3，N4四個(gè)矩陣的元素分別是，。 基于軟約束的LDA社區(qū)推薦算法流程 實(shí)驗(yàn)結(jié)果為了驗(yàn)證算法的準(zhǔn)確性，我們用Myspace的用戶數(shù)據(jù)做了實(shí)驗(yàn)。Myspace是一個(gè)非常知名的在線交友社區(qū)，在全球擁有超過2億7千萬(wàn)注冊(cè)用戶。Myspace是以SNS為基礎(chǔ)的娛樂平臺(tái)，是全球最大的在線交友平臺(tái)，提供免費(fèi)的微型博客、個(gè)人主頁(yè)、個(gè)人空間、電子相冊(cè)、博客空間、音樂和視頻上傳空間等服務(wù)。通過在 MySpace 上創(chuàng)建私人社區(qū)，可以與不斷增多的朋友分享照片、日志和愛好。這些私人社區(qū)共分為33個(gè)類別，包括了音樂、游戲、體育等等，其中還有一個(gè)“其它”類，內(nèi)容涵蓋面非常廣泛。 Myspace社區(qū)登陸界面我們用爬蟲抓取了Myspace上的10814個(gè)社區(qū)中409093個(gè)用戶的信息，作為我們的實(shí)驗(yàn)數(shù)據(jù)集。考慮到數(shù)據(jù)的準(zhǔn)確性，我們沒有從“其它”類別中抓取數(shù)據(jù)，因此我們的數(shù)據(jù)集中的社區(qū)分為32個(gè)類別，包括音樂、健康、寵物等等。實(shí)驗(yàn)參數(shù)設(shè)定如下：：由于數(shù)據(jù)集中的社區(qū)分為32個(gè)類別，因此我們將潛在主題的數(shù)目設(shè)定為32。：我們將Gibbs采樣的迭代次數(shù)設(shè)為200。：：為了檢驗(yàn)我們的算法訓(xùn)練出來的主題社區(qū)分布的準(zhǔn)確性，我們對(duì)于訓(xùn)練出來的32個(gè)主題，分別選出在這些主題上概率分布最高的10個(gè)社區(qū)。 主題聚類結(jié)果，用我們的算法訓(xùn)練出來的主題，基本上與網(wǎng)站本身對(duì)于社區(qū)的分類相符合。主題下概率分布最高的幾個(gè)社區(qū)基本都來自于同一個(gè)分類。這證明了，我們的算法學(xué)習(xí)出來的主題基本上能夠反映真實(shí)世界中社區(qū)之間的關(guān)系。緊接著，我們通過實(shí)驗(yàn)比較了基于軟約束的LDA算法（SLDA）與二值的LDA算法（BLDA）以及ARM算法的推薦效果。社區(qū)推薦算法需要為用戶推薦個(gè)用戶最有可能感興趣的社區(qū)。我們采用的評(píng)價(jià)策略如下：首先，對(duì)于任意一個(gè)用戶，我們從他已經(jīng)參與的社區(qū)中隨機(jī)剔除一個(gè)社區(qū)，然后余下的已經(jīng)參與的社區(qū)構(gòu)成這個(gè)用戶的訓(xùn)練集；接著，我們隨機(jī)選擇個(gè)用戶未參與的社區(qū)，再加上之前被剔除的社區(qū)，總共個(gè)社區(qū)構(gòu)成該用戶的測(cè)試集。我們同時(shí)使用SLDA和BLDA給這個(gè)社區(qū)排序。對(duì)于社區(qū)，總共有從1到共種可能的排序結(jié)果。我們所希望見到的結(jié)果是社區(qū)排名第一，也就是說，它的評(píng)分值超過所有其它的個(gè)用戶未參加的社區(qū)。實(shí)驗(yàn)中，我們?nèi)≈禐?01，也就是說，我們需要從用戶未參與的社區(qū)中隨機(jī)抽取100個(gè)社區(qū)來構(gòu)成他的測(cè)試集。橫軸是排序百分比，它是體現(xiàn)推薦質(zhì)量的指標(biāo)。排序百分比為0%表示的排序?yàn)?。排序百分比為100%表示的排序?yàn)?01。排序百分比越低，則說明推薦效果越好。 SLDA vs BLDA/ARM，SLDA曲線明顯比BLDA曲線和ARM曲線更快地達(dá)到最高點(diǎn)，這說明了我們的算法跟BLDA和ARM相比，有著更好的表現(xiàn)。 在線更新模型參數(shù)本文所提出的基于模型的協(xié)同推薦算法，雖然可以避免數(shù)據(jù)稀疏的問題，但是卻存在著可擴(kuò)展性的問題。當(dāng)有新用戶加入時(shí)，自適應(yīng)的推薦系統(tǒng)需要更新模型參數(shù)[62]。因?yàn)楸疚奶岢龅纳鐓^(qū)推薦算法是基于LDA模型的算法，當(dāng)模型參數(shù)要更新的時(shí)候，需要基于整個(gè)用戶數(shù)據(jù)集來重建模型。當(dāng)系統(tǒng)已經(jīng)包括了N個(gè)用戶并且平均每個(gè)用戶參與了L個(gè)社區(qū)，那么這種重建行為的時(shí)間復(fù)雜度為O(T * N * L * l)。雖說從貝葉斯推斷的角度來看，這是最優(yōu)的辦法，但是它太過于耗費(fèi)時(shí)間。為了解決這個(gè)問題，我們提出了一個(gè)在線更新模型的系統(tǒng)框架。 在線更新系統(tǒng)。 在線更新系統(tǒng)流程初始由爬蟲單元搜集一定規(guī)模的用戶文檔，用本文提出的SLDA算法建立并且計(jì)算出概率分布模型。當(dāng)有新用戶加入時(shí)，維持原有的訓(xùn)練好的模型參數(shù)不變，單獨(dú)為新加入的用戶文檔訓(xùn)練模型。具體做法是：首先，隨機(jī)地給新用戶文檔中的社區(qū)單詞分配主題；，而維持原有模型中主題的分配不變。這種情況下，通常只需要迭代很少的次數(shù)就可以達(dá)到收斂，在我們的實(shí)驗(yàn)中只需要做到10次迭代，即取，新用戶數(shù)據(jù)中的社區(qū)對(duì)應(yīng)的主題分配就收斂了。因此，計(jì)算的復(fù)雜度降為O(T * 1 * L * h)。，我們將該算法命名為SOLDA算法。其中N1，N2，N3，N4四個(gè)矩陣的元素分別是原有模型的，。nN1，nN2，nN3，nN4四個(gè)矩陣的元素分別是為新加入的用戶訓(xùn)練的模型參數(shù)。 在線更新算法SOLDA流程考慮到這個(gè)在線更新方法是一個(gè)增量的方法，可以實(shí)現(xiàn)實(shí)時(shí)運(yùn)算，但是會(huì)對(duì)準(zhǔn)確率產(chǎn)生一定的影響。因此實(shí)際的系統(tǒng)應(yīng)用中，必須每隔一定的時(shí)間間隔就要將整個(gè)模型的參數(shù)離線重新運(yùn)算一次，以保證整個(gè)系統(tǒng)的精度。這樣就既能保證準(zhǔn)確性，又能解決離線更新數(shù)據(jù)與在線應(yīng)用脫節(jié)的問題。 實(shí)驗(yàn)結(jié)果為了保證在線更新算法的可行性，我們用實(shí)驗(yàn)測(cè)試了在線模塊對(duì)整個(gè)系統(tǒng)的推薦質(zhì)量的影響。在我們的實(shí)驗(yàn)中，我們從用戶集合中選擇20%的用戶。選擇測(cè)試集后剩下的部分?jǐn)?shù)據(jù)同另外50%的用戶數(shù)據(jù)組成了初始訓(xùn)練集。最后還剩下30%的用戶數(shù)據(jù)將會(huì)應(yīng)用我們的在線算法，一個(gè)一個(gè)的加入到模型的訓(xùn)練過程中去。隨著訓(xùn)練數(shù)據(jù)的增加，我們分別選用50%，60%，70%，80%這四個(gè)階段的模型參數(shù)去測(cè)試推薦效果?？梢钥闯?，應(yīng)用我們的在線算法，隨著訓(xùn)練集的增加，推薦質(zhì)量逐漸上升。這證明了我們的在線算法可以收斂并且得到很好的結(jié)果。實(shí)驗(yàn)中。完全可以達(dá)到在線運(yùn)算的要求。 在線運(yùn)算對(duì)推薦質(zhì)量的影響 本章小結(jié)本章首先介紹了現(xiàn)在效果較好的兩種基于模型的協(xié)同社區(qū)推薦方法：基于ARM的方法和二值的LDA的方法，并分析了它們的不足。這兩種方法雖然都能獲得較好的結(jié)果，但是容易遇到由于數(shù)據(jù)觀察的限制所導(dǎo)致的過擬合現(xiàn)象以及計(jì)算量龐大的問題。并且這些方法忽略了用戶與社區(qū)之間的關(guān)系強(qiáng)弱，也沒能考慮用戶興趣隨著時(shí)間的發(fā)展變化。如果有新用戶加入，無(wú)法及時(shí)快速的更新模型，沒有良好的可擴(kuò)展性。其次，我們提出了一種基于軟約束的LDA的社區(qū)推薦算法，以用戶與社區(qū)的關(guān)系強(qiáng)弱作為軟約束，通過LDA模型，訓(xùn)練出用戶主題分布與主題社區(qū)分布，并依此給用戶進(jìn)行推薦。為了提高算法的可擴(kuò)展性，我們提出了在線更新模型參數(shù)的算法。實(shí)驗(yàn)結(jié)果表明，我們算法的效果要遠(yuǎn)遠(yuǎn)高于之前的算法。第四章 基于時(shí)間信息的社區(qū)推薦算法第四章 基于時(shí)間信息的社區(qū)推薦算法第三章所提出的基于在線軟約束LDA的社區(qū)推薦算法，沒有考慮用戶興趣隨時(shí)間的變化。本章在之前算法的基礎(chǔ)上，提出一個(gè)基于興趣變化的社區(qū)推薦算法，通過分析用戶興趣隨時(shí)間的發(fā)展變化，對(duì)用戶主題分布進(jìn)行修正。 提出問題目前已有的社區(qū)推薦算法，都沒有考慮到用戶興趣隨時(shí)間的發(fā)展變化，但是這點(diǎn)往往是影響推薦系統(tǒng)的用戶體驗(yàn)的很重要的方面。舉個(gè)例子來說明，對(duì)于某用戶來說，他同時(shí)參加了“basketball”和“football”這兩個(gè)社區(qū)，并且在這兩個(gè)社區(qū)上都有30次發(fā)帖次數(shù)，但是該用戶在“basketball”上的發(fā)帖都集中在最近一段時(shí)間，而他在“football”上的發(fā)帖都是一年之前所發(fā)。那么，按照之前那些不考慮用戶興趣隨時(shí)間變化的算法，會(huì)認(rèn)為用戶對(duì)這兩個(gè)社區(qū)的興趣度是相同的。但是，實(shí)際情況中，明顯可以看出，用戶的興趣點(diǎn)已經(jīng)從“football”轉(zhuǎn)移到了“basketball”上，我們?cè)诮o用戶做推薦的時(shí)候，更應(yīng)該推薦跟“basketball”相關(guān)的社區(qū)，而推薦跟“football”相關(guān)的社區(qū)就顯得不合時(shí)宜了。以上的例子顯示出了將時(shí)間信息考慮進(jìn)用戶興趣建模的重要性?，F(xiàn)有的社區(qū)推薦算法中，還沒有考慮時(shí)間信息的算法。本文所提出的基于在線軟約束LDA的社區(qū)推薦算法，雖然在準(zhǔn)確率和效率上都有很好的表現(xiàn)，但是依然沒有考慮這方面的信息。為了彌補(bǔ)這個(gè)不足，我們?cè)谥暗幕谲浖s束的LDA社區(qū)推薦算法的基礎(chǔ)上，提出了一種改進(jìn)的基于時(shí)間信息的社區(qū)推薦算法。 基于時(shí)間信息的社區(qū)推