【正文】 主題。表示詞匯記號屬于主題的概率。表示主題屬于當前文檔的概率。假設(shè)總共有個文檔，個潛在主題，個唯一性詞匯。我們用表示對于主題，個詞匯上的多項分布，其中是個唯一性詞匯表中的詞匯；用表示對于文檔，個潛在主題上的多項分布。于是，文檔中詞匯的概率為： （）LDA模型采用Dirichlet分布作為多項分布和的共軛先驗。所謂Dirichlet分布是指，對于多項分布，對應(yīng)的Dirichlet分布概率密度為： （）其中，參數(shù)稱為多項式的超參數(shù)，是文檔中主題出現(xiàn)次數(shù)的先驗觀測，可以理解為在見到任何文檔文字之前，主題被抽樣的頻數(shù)。為了簡化模型，LDA采用了均衡的Dirchlet分布，即令超參數(shù)。 LDA的圖模型示意圖超參數(shù)分別通過Dirichlet分布來控制文檔上的主題分布和主題上的詞匯分布，這兩個分布再共同決定文檔中的每個詞匯記號。對于文檔，它的所有已知和潛在變量的聯(lián)合分布為： （）消去變量，得到： （）對于整個文檔集，其似然值為： （）將社區(qū)用戶共生矩陣作為LDA的訓(xùn)練數(shù)據(jù)，就可以訓(xùn)練出相應(yīng)的生成模型，從而得到用戶之間的相似度、社區(qū)之間的相似度等信息，完成最終的推薦。文獻[55]將LDA應(yīng)用于社區(qū)推薦，利用一種二值的LDA方法來進行社區(qū)推薦，具體做法是：把每個用戶看成一個文檔，用戶所參與的每個社區(qū)看成是該文檔中的單詞。此算法的輸入數(shù)據(jù)是一個二值的用戶社區(qū)關(guān)系矩陣，矩陣中的每個元素只有0或者1兩種取值，0代表用戶沒有參加此社區(qū)，1代表用戶參加了此社區(qū)。然后用LDA模型去估計主題社區(qū)分布和用戶主題分布，依據(jù)這兩個分布就可以給用戶推薦社區(qū)了。以上兩節(jié)詳細介紹了兩種現(xiàn)在比較流行的基于模型的協(xié)同過濾社區(qū)推薦方法?？梢钥闯?，基于ARM的方法能夠準確的挖掘出社區(qū)之間的直接關(guān)聯(lián)，但是卻不能挖掘出社區(qū)之間的間接聯(lián)系?；ヂ?lián)網(wǎng)用戶和社區(qū)的關(guān)系數(shù)據(jù)往往是非常稀疏的，這就給基于ARM的方法帶來了很大的麻煩，運行效率十分低下，并且可以挖掘出的規(guī)則非常有限。相比較而言，二值的LDA方法就可以挖掘出社區(qū)之間的間接聯(lián)系，從而解決了數(shù)據(jù)稀疏的問題，并且運行起來更加高效，比基于ARM的方法快速很多。但是，二值的LDA方法也有它的不足之處，它用簡單的二值的矩陣來表示用戶和社區(qū)的關(guān)系，忽略了不同用戶與社區(qū)關(guān)系強弱有差異，也沒能考慮用戶興趣隨著時間的發(fā)展變化。當有新用戶加入的時候，不能及時快速的更新模型參數(shù)，沒有良好的可擴展性。為了解決以上這些問題，本文提出了一種基于在線軟約束LDA算法的社區(qū)推薦方法，下一節(jié)將詳細介紹該算法。 基于軟約束LDA的社區(qū)推薦算法 模型的建立二值的用戶社區(qū)關(guān)系矩陣只有0或者1兩種狀態(tài)，這只能表明用戶是否參與了某個社區(qū)。但是，在實際的虛擬社區(qū)中，用戶和社區(qū)之間的關(guān)系是非常復(fù)雜的。假設(shè)一個用戶同時參與了和兩個社區(qū)，但是他對于這兩個社區(qū)的喜好程度是不同的，在社區(qū)中，該用戶訪問和發(fā)帖的次數(shù)要遠遠多于在中的發(fā)帖次數(shù)，那么他對于的喜愛要高于。如果將用戶與社區(qū)的關(guān)系強弱考慮到模型中去，顯而易見可以更加準確的挖掘用戶的潛在行為，更好地為用戶進行社區(qū)推薦。直觀的，我們選擇用戶在社區(qū)上的發(fā)帖次數(shù)去衡量用戶與社區(qū)的關(guān)系強弱。我們用來表示第個用戶與他所參與的第個社區(qū)之間的關(guān)系，用來表示第個用戶在他所參與的第個社區(qū)上的發(fā)帖次數(shù)，則有如下公式： （）之所以不直接用發(fā)帖次數(shù)去衡量用戶與社區(qū)的關(guān)系強弱，而是選擇先歸一化，就是考慮到不同用戶訪問互聯(lián)網(wǎng)的習(xí)慣不同，有些人喜歡多發(fā)帖多參與社區(qū)討論，而有些人則相對發(fā)帖較少，但是他們對于所參與的社區(qū)都有著同樣的不同程度的偏好。例如，用戶在某社區(qū)上共發(fā)了10個帖子，他在所有社區(qū)上的總發(fā)帖數(shù)量為20，那么可以見得該社區(qū)是他非常喜愛的社區(qū)。用戶也在社區(qū)上共發(fā)了10個帖子，但是他在所有社區(qū)上的總發(fā)帖數(shù)量為300，那么他對于社區(qū)的喜愛程度就不怎么明顯了。得到了用戶與社區(qū)關(guān)系強弱，就可以將其作為軟約束，應(yīng)用到我們的模型中去。具體做法是，在我們的算法中，將每個用戶看作一個文檔，用戶參與的每個社區(qū)看成是文檔中的單詞，而用戶與社區(qū)的關(guān)系強弱看作是用戶文檔中同一個社區(qū)單詞的出現(xiàn)次數(shù)。則對于指定用戶，他會對社區(qū)感興趣的概率為： （）其中是潛在主題。表示社區(qū)屬于主題的概率，表示用戶從主題中選擇社區(qū)加入的概率。對于用戶文檔集合，在給定Dirichlet先驗和主題數(shù)目的情況下，可以用LDA估計主題社區(qū)分布和用戶主題分布。 模型參數(shù)的求解我們采用Gibbs采樣[59]來求解模型參數(shù)。Gibbs采樣利用一個蒙特卡羅過程來估計主題社區(qū)的后驗分布。主題的分配采樣于： （）其中，其中，表示除去當前的主題之后剩下的所有主題分配，表示社區(qū)被分配到主題的總次數(shù)，表示主題被分配給用戶的次數(shù)，表示主題總共出現(xiàn)了幾次，表示總共被分配的主題數(shù)目。以上的這些量，全部是除去當前正準備更新的主題。是社區(qū)的總數(shù)目，是潛在主題的數(shù)目。和是采用經(jīng)驗值的參數(shù)；利用從后驗概率中得到的一系列采樣值，我們就可以得到想要的統(tǒng)計值。我們可以通過如下公式，計算出主題社區(qū)分布和用戶主題分布： （） （）在本文中，Gibbs采樣的具體過程如下：初始階段，我們先隨機的為每個用戶文檔中的每個社區(qū)單詞分配一個潛在主題集合。例如，我們給社區(qū)單詞分配主題集合。 主題集合分配，更新每一個分配好的主題。重復(fù)這個Gibbs采樣過程，做一定次數(shù)的迭代，直到模型參數(shù)收斂。模型參數(shù)一旦收斂，我們就可以為用戶進行社區(qū)推薦，做法是為候選社區(qū)進行打分，分數(shù)越高，則越應(yīng)該優(yōu)先推薦給用戶： （）。其中N1，N2，N3，N4四個矩陣的元素分別是，。 基于軟約束的LDA社區(qū)推薦算法流程 實驗結(jié)果為了驗證算法的準確性，我們用Myspace的用戶數(shù)據(jù)做了實驗。Myspace是一個非常知名的在線交友社區(qū)，在全球擁有超過2億7千萬注冊用戶。Myspace是以SNS為基礎(chǔ)的娛樂平臺，是全球最大的在線交友平臺，提供免費的微型博客、個人主頁、個人空間、電子相冊、博客空間、音樂和視頻上傳空間等服務(wù)。通過在 MySpace 上創(chuàng)建私人社區(qū)，可以與不斷增多的朋友分享照片、日志和愛好。這些私人社區(qū)共分為33個類別，包括了音樂、游戲、體育等等，其中還有一個“其它”類，內(nèi)容涵蓋面非常廣泛。 Myspace社區(qū)登陸界面我們用爬蟲抓取了Myspace上的10814個社區(qū)中409093個用戶的信息，作為我們的實驗數(shù)據(jù)集?？紤]到數(shù)據(jù)的準確性，我們沒有從“其它”類別中抓取數(shù)據(jù)，因此我們的數(shù)據(jù)集中的社區(qū)分為32個類別，包括音樂、健康、寵物等等。實驗參數(shù)設(shè)定如下：：由于數(shù)據(jù)集中的社區(qū)分為32個類別，因此我們將潛在主題的數(shù)目設(shè)定為32。：我們將Gibbs采樣的迭代次數(shù)設(shè)為200。：：為了檢驗我們的算法訓(xùn)練出來的主題社區(qū)分布的準確性，我們對于訓(xùn)練出來的32個主題，分別選出在這些主題上概率分布最高的10個社區(qū)。 主題聚類結(jié)果，用我們的算法訓(xùn)練出來的主題，基本上與網(wǎng)站本身對于社區(qū)的分類相符合。主題下概率分布最高的幾個社區(qū)基本都來自于同一個分類。這證明了，我們的算法學(xué)習(xí)出來的主題基本上能夠反映真實世界中社區(qū)之間的關(guān)系。緊接著，我們通過實驗比較了基于軟約束的LDA算法（SLDA）與二值的LDA算法（BLDA）以及ARM算法的推薦效果。社區(qū)推薦算法需要為用戶推薦個用戶最有可能感興趣的社區(qū)。我們采用的評價策略如下：首先，對于任意一個用戶，我們從他已經(jīng)參與的社區(qū)中隨機剔除一個社區(qū)，然后余下的已經(jīng)參與的社區(qū)構(gòu)成這個用戶的訓(xùn)練集；接著，我們隨機選擇個用戶未參與的社區(qū)，再加上之前被剔除的社區(qū)，總共個社區(qū)構(gòu)成該用戶的測試集。我們同時使用SLDA和BLDA給這個社區(qū)排序。對于社區(qū)，總共有從1到共種可能的排序結(jié)果。我們所希望見到的結(jié)果是社區(qū)排名第一，也就是說，它的評分值超過所有其它的個用戶未參加的社區(qū)。實驗中，我們?nèi)≈禐?01，也就是說，我們需要從用戶未參與的社區(qū)中隨機抽取100個社區(qū)來構(gòu)成他的測試集。橫軸是排序百分比，它是體現(xiàn)推薦質(zhì)量的指標。排序百分比為0%表示的排序為1。排序百分比為100%表示的排序為101。排序百分比越低，則說明推薦效果越好。 SLDA vs BLDA/ARM，SLDA曲線明顯比BLDA曲線和ARM曲線更快地達到最高點，這說明了我們的算法跟BLDA和ARM相比，有著更好的表現(xiàn)。 在線更新模型參數(shù)本文所提出的基于模型的協(xié)同推薦算法，雖然可以避免數(shù)據(jù)稀疏的問題，但是卻存在著可擴展性的問題。當有新用戶加入時，自適應(yīng)的推薦系統(tǒng)需要更新模型參數(shù)[62]。因為本文提出的社區(qū)推薦算法是基于LDA模型的算法，當模型參數(shù)要更新的時候，需要基于整個用戶數(shù)據(jù)集來重建模型。當系統(tǒng)已經(jīng)包括了N個用戶并且平均每個用戶參與了L個社區(qū)，那么這種重建行為的時間復(fù)雜度為O(T * N * L * l)。雖說從貝葉斯推斷的角度來看，這是最優(yōu)的辦法，但是它太過于耗費時間。為了解決這個問題，我們提出了一個在線更新模型的系統(tǒng)框架。 在線更新系統(tǒng)。 在線更新系統(tǒng)流程初始由爬蟲單元搜集一定規(guī)模的用戶文檔，用本文提出的SLDA算法建立并且計算出概率分布模型。當有新用戶加入時，維持原有的訓(xùn)練好的模型參數(shù)不變，單獨為新加入的用戶文檔訓(xùn)練模型。具體做法是：首先，隨機地給新用戶文檔中的社區(qū)單詞分配主題；，而維持原有模型中主題的分配不變。這種情況下，通常只需要迭代很少的次數(shù)就可以達到收斂，在我們的實驗中只需要做到10次迭代，即取，新用戶數(shù)據(jù)中的社區(qū)對應(yīng)的主題分配就收斂了。因此，計算的復(fù)雜度降為O(T * 1 * L * h)。，我們將該算法命名為SOLDA算法。其中N1，N2，N3，N4四個矩陣的元素分別是原有模型的，。nN1，nN2，nN3，nN4四個矩陣的元素分別是為新加入的用戶訓(xùn)練的模型參數(shù)。 在線更新算法SOLDA流程考慮到這個在線更新方法是一個增量的方法，可以實現(xiàn)實時運算，但是會對準確率產(chǎn)生一定的影響。因此實際的系統(tǒng)應(yīng)用中，必須每隔一定的時間間隔就要將整個模型的參數(shù)離線重新運算一次，以保證整個系統(tǒng)的精度。這樣就既能保證準確性，又能解決離線更新數(shù)據(jù)與在線應(yīng)用脫節(jié)的問題。 實驗結(jié)果為了保證在線更新算法的可行性，我們用實驗測試了在線模塊對整個系統(tǒng)的推薦質(zhì)量的影響。在我們的實驗中，我們從用戶集合中選擇20%的用戶。選擇測試集后剩下的部分數(shù)據(jù)同另外50%的用戶數(shù)據(jù)組成了初始訓(xùn)練集。最后還剩下30%的用戶數(shù)據(jù)將會應(yīng)用我們的在線算法，一個一個的加入到模型的訓(xùn)練過程中去。隨著訓(xùn)練數(shù)據(jù)的增加，我們分別選用50%，60%，70%，80%這四個階段的模型參數(shù)去測試推薦效果。可以看出，應(yīng)用我們的在線算法，隨著訓(xùn)練集的增加，推薦質(zhì)量逐漸上升。這證明了我們的在線算法可以收斂并且得到很好的結(jié)果。實驗中。完全可以達到在線運算的要求。 在線運算對推薦質(zhì)量的影響 本章小結(jié)本章首先介紹了現(xiàn)在效果較好的兩種基于模型的協(xié)同社區(qū)推薦方法：基于ARM的方法和二值的LDA的方法，并分析了它們的不足。這兩種方法雖然都能獲得較好的結(jié)果，但是容易遇到由于數(shù)據(jù)觀察的限制所導(dǎo)致的過擬合現(xiàn)象以及計算量龐大的問題。并且這些方法忽略了用戶與社區(qū)之間的關(guān)系強弱，也沒能考慮用戶興趣隨著時間的發(fā)展變化。如果有新用戶加入，無法及時快速的更新模型，沒有良好的可擴展性。其次，我們提出了一種基于軟約束的LDA的社區(qū)推薦算法，以用戶與社區(qū)的關(guān)系強弱作為軟約束，通過LDA模型，訓(xùn)練出用戶主題分布與主題社區(qū)分布，并依此給用戶進行推薦。為了提高算法的可擴展性，我們提出了在線更新模型參數(shù)的算法。實驗結(jié)果表明，我們算法的效果要遠遠高于之前的算法。第四章 基于時間信息的社區(qū)推薦算法第四章 基于時間信息的社區(qū)推薦算法第三章所提出的基于在線軟約束LDA的社區(qū)推薦算法，沒有考慮用戶興趣隨時間的變化。本章在之前算法的基礎(chǔ)上，提出一個基于興趣變化的社區(qū)推薦算法，通過分析用戶興趣隨時間的發(fā)展變化，對用戶主題分布進行修正。 提出問題目前已有的社區(qū)推薦算法，都沒有考慮到用戶興趣隨時間的發(fā)展變化，但是這點往往是影響推薦系統(tǒng)的用戶體驗的很重要的方面。舉個例子來說明，對于某用戶來說，他同時參加了“basketball”和“football”這兩個社區(qū)，并且在這兩個社區(qū)上都有30次發(fā)帖次數(shù)，但是該用戶在“basketball”上的發(fā)帖都集中在最近一段時間，而他在“football”上的發(fā)帖都是一年之前所發(fā)。那么，按照之前那些不考慮用戶興趣隨時間變化的算法，會認為用戶對這兩個社區(qū)的興趣度是相同的。但是，實際情況中，明顯可以看出，用戶的興趣點已經(jīng)從“football”轉(zhuǎn)移到了“basketball”上，我們在給用戶做推薦的時候，更應(yīng)該推薦跟“basketball”相關(guān)的社區(qū)，而推薦跟“football”相關(guān)的社區(qū)就顯得不合時宜了。以上的例子顯示出了將時間信息考慮進用戶興趣建模的重要性?，F(xiàn)有的社區(qū)推薦算法中，還沒有考慮時間信息的算法。本文所提出的基于在線軟約束LDA的社區(qū)推薦算法，雖然在準確率和效率上都有很好的表現(xiàn)，但是依然沒有考慮這方面的信息。為了彌補這個不足，我們在之前的基于軟約束的LDA社區(qū)推薦算法的基礎(chǔ)上，提出了一種改進的基于時間信息的社區(qū)推薦算法。 基于時間信息的社區(qū)推