【文章內(nèi)容簡(jiǎn)介】 的調(diào)整推薦結(jié)果。NewsWeeder是一個(gè)網(wǎng)頁(yè)新聞推薦系統(tǒng)，它根據(jù)用戶(hù)對(duì)新聞的評(píng)論來(lái)為用戶(hù)的興趣建模，進(jìn)而給用戶(hù)推薦他所感興趣的網(wǎng)頁(yè)新聞。但是基于內(nèi)容的推薦算法也存在著致命的缺點(diǎn)，由于特征提取的能力有限，會(huì)影響建模的準(zhǔn)確性。因此這種方法通常被限制在容易分析內(nèi)容的產(chǎn)品推薦，而對(duì)于一些比較難提取出內(nèi)容的產(chǎn)品往往就不能產(chǎn)生令人滿意的推薦效果。此外，這種方法只能發(fā)現(xiàn)和用戶(hù)已有興趣相似的資源，不能挖掘出用戶(hù)的新興趣，并且這種方法無(wú)法處理缺少用戶(hù)特征信息或者產(chǎn)品特征信息的情況，對(duì)數(shù)據(jù)集的要求很高，適用范圍相當(dāng)局限。 基于協(xié)同過(guò)濾的推薦方法基于協(xié)同過(guò)濾的推薦算法[22][23][63][64]是利用這樣的途徑來(lái)進(jìn)行推薦：在為用戶(hù)進(jìn)行個(gè)性化推薦之前，先找到與這個(gè)用戶(hù)興趣相似的其他用戶(hù)，然后再根據(jù)這些相似用戶(hù)的瀏覽記錄，來(lái)推薦給目標(biāo)用戶(hù)。這是一種非常直觀的思想，因?yàn)樵谌粘Ｉ钪校藗兊呐d趣愛(ài)好也往往會(huì)被周?chē)娜怂绊?，人們也?lè)于將自己感興趣的東西分享給身邊的朋友。與傳統(tǒng)的基于內(nèi)容的推薦不同，協(xié)同過(guò)濾通過(guò)分析用戶(hù)興趣，在用戶(hù)群中找到與指定用戶(hù)有相似興趣的用戶(hù)，綜合這些相似用戶(hù)對(duì)某一資源的評(píng)價(jià)，得到系統(tǒng)對(duì)該用戶(hù)對(duì)此資源的喜好程度的預(yù)測(cè)。也就是說(shuō)，協(xié)同推薦算法應(yīng)用了社會(huì)網(wǎng)絡(luò)中的結(jié)構(gòu)化關(guān)系數(shù)據(jù)。目前已有的協(xié)同過(guò)濾方法大概分為三種：基于用戶(hù)的（Userbased）的協(xié)同過(guò)濾，基于項(xiàng)目的（Itembased）的協(xié)同過(guò)濾和基于模型的（Modelbased）的協(xié)同過(guò)濾。 基于用戶(hù)的協(xié)同過(guò)濾基于用戶(hù)的協(xié)同過(guò)濾方法，是用類(lèi)似統(tǒng)計(jì)的方法得到具有相近愛(ài)好或者興趣的相鄰用戶(hù)，所以稱(chēng)之為基于用戶(hù)（Userbased）的協(xié)同過(guò)濾或者基于鄰居的協(xié)同過(guò)濾(Neighborbased Collaborative Filtering)[11][33][34]?；谟脩?hù)的協(xié)同過(guò)濾的基本思想就是先計(jì)算用戶(hù)之間的相似度，然后找到與目標(biāo)用戶(hù)具有相近興趣愛(ài)好的幾個(gè)用戶(hù)，稱(chēng)之為鄰居，然后將這些鄰居所喜好的資源推薦給目標(biāo)用戶(hù)。詳細(xì)來(lái)說(shuō)，這種算法主要包括以下步驟：1. 建立用戶(hù)項(xiàng)目評(píng)分矩陣這一步驟將用戶(hù)對(duì)項(xiàng)目的評(píng)價(jià)轉(zhuǎn)化為用戶(hù)項(xiàng)目評(píng)分矩陣的形式，具體做法是將用戶(hù)的興趣偏好表示為一個(gè)的矩陣，這里是用戶(hù)的數(shù)量，是項(xiàng)目的數(shù)量。矩陣中的每個(gè)值表示第個(gè)用戶(hù)對(duì)第個(gè)項(xiàng)目的評(píng)分值。評(píng)分值可以是二值的，如果用戶(hù)喜歡該項(xiàng)目，則值為1，反之用戶(hù)不喜歡該項(xiàng)目則值為0。評(píng)分值也可以是非二值的，比如將用戶(hù)對(duì)項(xiàng)目的喜愛(ài)程度分成0~9十個(gè)等級(jí)。 用戶(hù)項(xiàng)目評(píng)分矩陣User\Item………………………………………………………………2. 尋找最近鄰基于用戶(hù)的協(xié)同過(guò)濾算法的最關(guān)鍵的步驟就是為目標(biāo)用戶(hù)找到與其興趣愛(ài)好最接近的個(gè)鄰居，稱(chēng)為最近鄰集合（nearestneighbor set），然后才能依據(jù)這個(gè)最近鄰集合中的用戶(hù)，給目標(biāo)用戶(hù)進(jìn)行個(gè)性化推薦。也就是說(shuō)，對(duì)于每個(gè)用戶(hù)都要維護(hù)一個(gè)最近鄰集合，其中到是分別是與用戶(hù)相似度從大到小排列的鄰居。 目標(biāo)用戶(hù)的最近鄰集合：通過(guò)計(jì)算目標(biāo)用戶(hù)和其他用戶(hù)之間的相似性，以目標(biāo)用戶(hù)為中心的距離小于某個(gè)閾值的3個(gè)最近用戶(hù)被選擇為鄰居。可以看出，計(jì)算相似度是基于用戶(hù)的協(xié)同推薦中最重要的一個(gè)環(huán)節(jié)，能否準(zhǔn)確的計(jì)算出用戶(hù)之間的相似度直接影響推薦的準(zhǔn)確性。常用的相似性的度量方法有余弦相似性[21]、相關(guān)相似性、約束皮爾森相關(guān)系數(shù)[20][22][33][65]等等。(1) 余弦相似性用向量來(lái)表示用戶(hù)對(duì)項(xiàng)目的評(píng)分，如果用戶(hù)沒(méi)有項(xiàng)目評(píng)分，則把該維度設(shè)為0，這樣可以得到各個(gè)用戶(hù)的評(píng)分向量，然后利用如下公式計(jì)算兩個(gè)用戶(hù)評(píng)分向量的余弦相似性： （）其中，“”表示向量點(diǎn)積，是向量的長(zhǎng)度。(2) 相關(guān)相似性為了彌補(bǔ)不同用戶(hù)對(duì)項(xiàng)目的評(píng)分標(biāo)準(zhǔn)不同帶來(lái)的誤差，相關(guān)相似性將多個(gè)用戶(hù)對(duì)項(xiàng)目的評(píng)分向量做平均，得到一個(gè)均值向量，然后再用用戶(hù)的評(píng)分向量減去該均值向量，從而解決了描述標(biāo)準(zhǔn)不同的問(wèn)題。例如，某用戶(hù)a習(xí)慣將他認(rèn)為的最好的項(xiàng)目評(píng)為5分，而某用戶(hù)b習(xí)慣將他認(rèn)為的最好的項(xiàng)目評(píng)為4分。在這種情況下，利用余弦相似性計(jì)算兩者之間的相似度，會(huì)發(fā)現(xiàn)兩者之間的差異較大，但是實(shí)際情況中，兩者是比較相似的。如果用相關(guān)相似性來(lái)計(jì)算，則可以修正這樣的錯(cuò)誤，給出比較符合實(shí)際情況的結(jié)論。假設(shè)用戶(hù)對(duì)項(xiàng)目的評(píng)分向量為，用戶(hù)對(duì)項(xiàng)目的評(píng)分向量為，兩者之間的相似性計(jì)算公式如下： （）其中，表示用戶(hù)對(duì)某個(gè)項(xiàng)目的評(píng)價(jià)分?jǐn)?shù)的均值。表示用戶(hù)對(duì)某個(gè)項(xiàng)目的評(píng)價(jià)分?jǐn)?shù)的均值。(3) 約束皮爾森相關(guān)系數(shù)皮爾森相關(guān)系數(shù)為樣本共變異數(shù)除以的標(biāo)準(zhǔn)差與的標(biāo)準(zhǔn)差之乘積。樣本的相關(guān)系數(shù)一般用表示，其中為樣本量，分別為兩個(gè)變量的觀測(cè)值，分別為兩個(gè)樣本的均值。描述的是兩個(gè)變量之間的線性相關(guān)的強(qiáng)弱程度。的取值范圍是，若，表明兩個(gè)變量是正相關(guān)的，即一個(gè)變量的值增加，另一個(gè)變量的值也會(huì)增加；若，表明兩個(gè)變量是負(fù)相關(guān)的，即一個(gè)變量的值增加，另一個(gè)變量的值反而會(huì)減小。的絕對(duì)值越大表明相關(guān)性越強(qiáng)。若，表明兩個(gè)變量間不是線性相關(guān)，但有可能是其他方式的相關(guān)。用戶(hù)、之間的約束Pearson 相關(guān)系數(shù)是在相關(guān)相似性基礎(chǔ)之上改進(jìn)所得，其定義為： （）其中表示系統(tǒng)評(píng)分區(qū)間的中值。計(jì)算出用戶(hù)之間的相似度，就可以根據(jù)用戶(hù)之間的相似度來(lái)計(jì)算目標(biāo)用戶(hù)的最近鄰集合。一般來(lái)說(shuō)，選擇最近鄰有兩種方式：一種是選擇與目標(biāo)用戶(hù)的相似度大于某個(gè)閾值的用戶(hù)作為最近鄰集合，稱(chēng)為“閾值策略”[36]；另一種是把目標(biāo)用戶(hù)的相似度按照從小到大排序，選擇前個(gè)最相似的用戶(hù)作為最近鄰集合，稱(chēng)為“TopN策略”[35]。3. 產(chǎn)生推薦得到目標(biāo)用戶(hù)的最近鄰集合之后，就可以預(yù)測(cè)用戶(hù)對(duì)某項(xiàng)目的感興趣程度，并且產(chǎn)生TopN形式的推薦集。(1) 預(yù)測(cè)目標(biāo)用戶(hù)對(duì)某項(xiàng)目的興趣度假設(shè)用戶(hù)已經(jīng)評(píng)價(jià)的項(xiàng)目集為，對(duì)于不屬于該項(xiàng)目集的任意項(xiàng)目，用戶(hù)的興趣度預(yù)測(cè)值計(jì)算公式如下： （）其中，是目標(biāo)用戶(hù)對(duì)所有待推薦項(xiàng)目的評(píng)價(jià)的均值，是用戶(hù)和最近鄰集合中的每個(gè)用戶(hù)之間的相似度，是對(duì)當(dāng)前項(xiàng)目的評(píng)價(jià)值，是對(duì)所有物品的評(píng)價(jià)均值。(2) 產(chǎn)生推薦集合計(jì)算最近鄰集合中的用戶(hù)對(duì)項(xiàng)目的感興趣程度的加權(quán)平均值，取N 個(gè)取值最高的且不屬于的項(xiàng)作為T(mén)opN 推薦集合。 基于項(xiàng)目的協(xié)同過(guò)濾基于用戶(hù)的協(xié)同推薦算法有著一個(gè)很大的不足，就是隨著用戶(hù)數(shù)量的增多，計(jì)算的時(shí)間也會(huì)相應(yīng)變長(zhǎng)。為了避免這個(gè)問(wèn)題，2001年Sarwar[33]提出了基于項(xiàng)目的協(xié)同過(guò)濾推薦算法(Itembased Collaborative Filtering Algorithms)。這種協(xié)同過(guò)濾方法是基于這樣的假設(shè)：“用戶(hù)感興趣的項(xiàng)目，必定與其之前評(píng)分高的項(xiàng)目相似”。與基于用戶(hù)的協(xié)同過(guò)濾所不同的是，基于項(xiàng)目的協(xié)同過(guò)濾不再計(jì)算用戶(hù)之間的相似度，而是通過(guò)計(jì)算項(xiàng)目之間的相似度，獲得目標(biāo)項(xiàng)目的最近鄰，然后通過(guò)用戶(hù)對(duì)最近鄰項(xiàng)目的評(píng)分來(lái)預(yù)測(cè)用戶(hù)對(duì)目標(biāo)項(xiàng)目的評(píng)分，從而完成推薦[37]。 基于項(xiàng)目的協(xié)同過(guò)濾算法的具體步驟[37][38]與基于用戶(hù)的協(xié)同過(guò)濾十分類(lèi)似，它的輸入數(shù)據(jù)同樣是用戶(hù)項(xiàng)目評(píng)分矩陣，所不同的是，基于用戶(hù)的協(xié)同過(guò)濾需要找到目標(biāo)用戶(hù)的最近鄰，而基于項(xiàng)目的協(xié)同過(guò)濾需要找到目標(biāo)項(xiàng)目的最近鄰。具體計(jì)算兩個(gè)項(xiàng)目相似性的方法如下：假設(shè)要計(jì)算項(xiàng)目和項(xiàng)目的相似性，首先得到對(duì)項(xiàng)目和項(xiàng)目評(píng)論過(guò)的所有用戶(hù)，分別表示為用戶(hù)評(píng)價(jià)向量的形式，然后通過(guò)不同的相似性度量方法（），計(jì)算兩者的相似度。計(jì)算出項(xiàng)目之間的相似度，就可以計(jì)算目標(biāo)項(xiàng)目的最近鄰集合。選擇最近鄰的策略依然可以是“TopN策略”和“閾值策略”兩種。得到目標(biāo)項(xiàng)目的最近鄰集合之后，就可以預(yù)測(cè)某用戶(hù)對(duì)目標(biāo)項(xiàng)目的興趣度。假設(shè)目標(biāo)項(xiàng)目的最近鄰集合為，則用戶(hù)對(duì)目標(biāo)項(xiàng)目的預(yù)測(cè)評(píng)分的計(jì)算公式如下： （）其中，是所有用戶(hù)對(duì)目標(biāo)項(xiàng)目的所有評(píng)分的均值，是項(xiàng)目和最近鄰集合中的項(xiàng)目之間的相似度，是對(duì)的評(píng)價(jià)值，是所有用戶(hù)對(duì)項(xiàng)目的評(píng)價(jià)均值。這樣就可以預(yù)測(cè)當(dāng)前用戶(hù)對(duì)所有待推薦項(xiàng)目的評(píng)分，然后選擇得分最高的前幾個(gè)項(xiàng)目推薦給當(dāng)前用戶(hù)，完成推薦。Sarwar[33]和Karypis [34]已經(jīng)證明基于項(xiàng)目的協(xié)同過(guò)濾推薦方法比基于用戶(hù)的協(xié)同過(guò)濾推薦方法在性能上有所提升，而且與基于用戶(hù)的協(xié)同過(guò)濾推薦方法相比，基于項(xiàng)目的協(xié)同過(guò)濾推薦更加準(zhǔn)確。此外，在實(shí)際的網(wǎng)站系統(tǒng)中，項(xiàng)目之間的關(guān)系與用戶(hù)之間的關(guān)系相比更加穩(wěn)定，因此，利用了項(xiàng)目之間的相似性，基于項(xiàng)目的協(xié)同過(guò)濾推薦就可以花費(fèi)很少的時(shí)間得到推薦結(jié)果，這是因?yàn)轫?xiàng)目間的相似性可以通過(guò)離線的方式計(jì)算，節(jié)省了推薦時(shí)間。 基于模型的協(xié)同過(guò)濾基于用戶(hù)（Userbased）的協(xié)同過(guò)濾和基于項(xiàng)目（Itembased）的協(xié)同過(guò)濾統(tǒng)稱(chēng)為基于記憶（Memorybased）的協(xié)同過(guò)濾技術(shù)，他們具有一個(gè)共同的缺點(diǎn)就是會(huì)遇到數(shù)據(jù)稀疏的問(wèn)題，難以處理大資料量，影響即時(shí)結(jié)果。在真實(shí)的推薦系統(tǒng)中，用戶(hù)對(duì)產(chǎn)品的評(píng)分記錄相對(duì)于系統(tǒng)中的項(xiàng)目總數(shù)而言是微乎其微的。據(jù)統(tǒng)計(jì)，在Amazon中，用戶(hù)評(píng)價(jià)的書(shū)籍占系統(tǒng)中所有書(shū)籍的比例最多也只能達(dá)到1%2%。這樣就造成了用戶(hù)評(píng)分矩陣的極度稀疏，評(píng)分矩陣的稀疏導(dǎo)致協(xié)同推薦在計(jì)算用戶(hù)之間的相似度時(shí)，無(wú)法獲取充足的數(shù)據(jù)來(lái)源。因此，在這樣情況下，發(fā)展出了基于模型的協(xié)同過(guò)濾技術(shù)(Modelbased Collaborative Filtering)。這種方法通過(guò)使用觀察到的用戶(hù)打分行為數(shù)據(jù)來(lái)訓(xùn)練一個(gè)能夠解釋這些訓(xùn)練數(shù)據(jù)的數(shù)學(xué)模型，并通過(guò)使用這個(gè)模型對(duì)未知的用戶(hù)對(duì)待推薦物品的喜好程度進(jìn)行預(yù)測(cè)?；谀Ｐ驮O(shè)計(jì)的合理程度，可以針對(duì)基于記憶的推薦算法中的不足，更加契合地適應(yīng)現(xiàn)實(shí)世界中的數(shù)據(jù)及推薦問(wèn)題。根據(jù)應(yīng)用需求及模型的不同，一般來(lái)說(shuō)，分類(lèi)模型更適合解決用戶(hù)評(píng)價(jià)為類(lèi)別信息的問(wèn)題，而回歸模型及基于奇異值分解的方法則更適合應(yīng)用于用戶(hù)評(píng)價(jià)為數(shù)字分?jǐn)?shù)的情況。在基于模型的推薦算法中，最為經(jīng)典的模型包括了貝葉斯置信網(wǎng)絡(luò)模型，聚類(lèi)模型，隱參數(shù)模型以及馬爾科夫決策過(guò)程模型等等。 貝葉斯置信網(wǎng)是一個(gè)由三元組構(gòu)成的有向無(wú)環(huán)圖。其中，每個(gè)節(jié)點(diǎn)代表一個(gè)隨機(jī)變量，每個(gè)有向邊代表其鏈接的兩個(gè)變量之間存在的概率關(guān)系，同時(shí)，代表一個(gè)子節(jié)點(diǎn)與其父親節(jié)點(diǎn)之間的條件概率表[24]。貝葉斯置信網(wǎng)常被用來(lái)構(gòu)造分類(lèi)器，解決分類(lèi)問(wèn)題。簡(jiǎn)單貝葉斯分類(lèi)器（naive Bayes）適用于二值分類(lèi)情況，而現(xiàn)實(shí)中的推薦數(shù)據(jù)，一般不存在二值化的情況。為此，文獻(xiàn)[25]提出使用簡(jiǎn)單貝葉斯協(xié)同過(guò)濾算法，將其轉(zhuǎn)化到多類(lèi)別的任務(wù)上，所得出的結(jié)論是，簡(jiǎn)單貝葉斯方法和基于Pearson相關(guān)系數(shù)的協(xié)同推薦算法相比，只能得到較差的推薦準(zhǔn)確性，但是可以在數(shù)據(jù)擴(kuò)展性及計(jì)算速度方面得到改善。針對(duì)其不足之處，擴(kuò)展邏輯回歸ELR（Extended Logistic Regression）被引入到基于貝葉斯置信網(wǎng)的協(xié)同過(guò)濾算法中[26]。ELR是一種梯度下降的算法，用于學(xué)習(xí)判別參數(shù)以最大化條件似然函數(shù)?；贓LR的經(jīng)典算法NBELR（naive Bayes optimized by ELR）可以取得較Pearson相關(guān)系數(shù)方法更好的預(yù)測(cè)結(jié)果，但是需要更多的時(shí)間進(jìn)行模型的訓(xùn)練[27]。聚類(lèi)模型的主要思想是，聚類(lèi)后的數(shù)據(jù)中，同一類(lèi)別中的數(shù)據(jù)彼此之間的相似程度較之與其他類(lèi)別間數(shù)據(jù)的相似程度要高。最常用的聚類(lèi)是衡量?jī)蓚€(gè)數(shù)據(jù)樣本間距離的度量包括Minkowski距離及Pearson相關(guān)系數(shù)。Minkowski距離定義為： （）其中，和分別是向量X和Y的第i維，當(dāng)時(shí)，d退化為Manhattan距離，當(dāng)時(shí)，d退化為歐氏距離[28]。聚類(lèi)算法使用在協(xié)同過(guò)濾中時(shí)，一般首先對(duì)數(shù)據(jù)樣本進(jìn)行聚類(lèi)，然后在聚集成的每一個(gè)小類(lèi)中，應(yīng)用基于記憶的協(xié)同過(guò)濾算法。由于最后使用基于記憶的協(xié)同過(guò)濾算法的數(shù)據(jù)樣本數(shù)量較全部樣本集大為減少，所以聚類(lèi)模型在數(shù)據(jù)可擴(kuò)展性方面有著巨大優(yōu)勢(shì)。但是，其計(jì)算開(kāi)銷(xiāo)較普通的推薦算法有較大提升，這也成為其無(wú)法廣泛應(yīng)用的一個(gè)原因。隱參數(shù)模型通過(guò)使用統(tǒng)計(jì)建模的方法，引入隱類(lèi)別變量來(lái)描述用戶(hù)的興趣檔案。從概念上進(jìn)行描述，它將用戶(hù)的興趣喜好使用互相重疊的用戶(hù)群組來(lái)表示。這種方法最大的特點(diǎn)就在于它具有較高的數(shù)據(jù)可擴(kuò)展性和準(zhǔn)確率。示像模型（Aspect Model）是由文獻(xiàn)[29]提出的一種概率隱空間模型。它將用戶(hù)的每一次評(píng)分看作是一組評(píng)分因子的凸集合。多項(xiàng)式混合模型（Multinomial Mixture Model）在多項(xiàng)式模型（Multinomial Model）的基礎(chǔ)上，假設(shè)所有的用戶(hù)可以分為若干類(lèi)，并且代表評(píng)分信息的多個(gè)因子互相之間以及其與用戶(hù)的身份信息之間都是獨(dú)立的。用戶(hù)評(píng)分檔案模型（User Rating Profile Model）[30]結(jié)合了這兩種模型，并且應(yīng)用了更高語(yǔ)義層次的隱迪理克萊分布LDA（Latent Dirichlet Allocation）模型 [57]，取得了較前兩種模型更高的準(zhǔn)確率?；隈R爾科夫決策過(guò)程模型的推薦算法，與普通將推薦看作預(yù)測(cè)問(wèn)題的處理方法不同，將整個(gè)推薦過(guò)程看作是一個(gè)連續(xù)的優(yōu)化問(wèn)題[31]。馬爾科夫決策過(guò)程是一個(gè)用于解決連續(xù)隨機(jī)決策問(wèn)題的模型，其應(yīng)用場(chǎng)景為一個(gè)物體通過(guò)一系列動(dòng)作對(duì)周?chē)h(huán)境發(fā)生影響。每一個(gè)馬爾科夫決策過(guò)程都可以描述為一個(gè)四元組，其中，S是一組狀態(tài)，A是一組動(dòng)作，R是對(duì)每組狀態(tài)動(dòng)作對(duì)定義的獎(jiǎng)勵(lì)函數(shù)，Pr是在給定動(dòng)作下?tīng)顟B(tài)間轉(zhuǎn)化的概率[32]。在推薦問(wèn)題中，狀態(tài)對(duì)應(yīng)被推薦項(xiàng)目組，動(dòng)作對(duì)應(yīng)對(duì)一個(gè)項(xiàng)目進(jìn)行推薦，獎(jiǎng)勵(lì)函數(shù)對(duì)應(yīng)推薦后購(gòu)買(mǎi)發(fā)生時(shí)獲取的利潤(rùn)。當(dāng)用戶(hù)被推薦了某個(gè)項(xiàng)目后，其狀態(tài)會(huì)因此轉(zhuǎn)變，或者接受這次推薦，或者接受未推薦的，或者什么都不做。根據(jù)實(shí)際數(shù)據(jù)上的實(shí)驗(yàn)，這種方法可以在結(jié)果準(zhǔn)確度