【正文】 在協(xié)同過(guò)濾系統(tǒng)中有很多相關(guān)性的計(jì)算方法， 本設(shè)計(jì) 中實(shí)現(xiàn)了其中的用戶相關(guān)性 (UserCorrelation)和項(xiàng)目相關(guān)性 (ItemCorrelation)算法。用戶偏好類(lèi)的屬性由三部分組成：用戶，項(xiàng)目和評(píng)分值。 該框架結(jié)構(gòu)的重要組成部分的設(shè)計(jì)，將在以下各小節(jié)中作詳細(xì)敘述。 由于電子商務(wù)網(wǎng)站的多變性，要求個(gè)性化推薦系統(tǒng)易于配置，方便不 同的網(wǎng)站建立合適的推薦系統(tǒng)。 本章小結(jié) 隨著 電 子商務(wù)網(wǎng)站的迅猛發(fā)展 ，近年來(lái)越來(lái)越多的新興技術(shù)被應(yīng)用到 個(gè)性化推薦 領(lǐng)域。 缺點(diǎn) 雖然協(xié)同過(guò)濾推薦系統(tǒng)在當(dāng)前的電子商務(wù)中擁有著無(wú)可比擬的優(yōu)勢(shì)，但是任何一種技術(shù)都有其弱點(diǎn) ： (1)冷啟動(dòng)問(wèn)題 ： 在基于用戶的協(xié)同算法中，對(duì)于一個(gè)網(wǎng)上書(shū)店來(lái)說(shuō)，新上架的書(shū)因?yàn)檫€沒(méi)有被相當(dāng)數(shù)量的用戶購(gòu)買(mǎi)或者評(píng)價(jià)的記錄，便很少有機(jī)會(huì)被用戶的“最近鄰居”篩選進(jìn)入推薦集。熱門(mén)列表是基 于全部數(shù)據(jù)集產(chǎn)生的，它對(duì)每個(gè)人都是一樣的； TopN 推薦是針對(duì)單個(gè)用戶產(chǎn)生的，它對(duì)每個(gè)人是不一樣的：通過(guò)對(duì)你的最近鄰用戶進(jìn)行統(tǒng)計(jì)，選擇出現(xiàn)頻率最高且在你的評(píng)分項(xiàng)目中不存在的項(xiàng)目作為推薦結(jié)果。在這種情況下使用 “ 所謂 ” 的行評(píng)分可能會(huì)導(dǎo)致很差的預(yù)測(cè)。 在協(xié)同過(guò)濾系統(tǒng)中最重要的一步是以推斷形式來(lái)產(chǎn)生輸出接口。 正式的說(shuō)法是，在如 表 的 m*n的評(píng)分矩陣中，項(xiàng)目 i與項(xiàng)目 j 的相似度被表示為 ( , ) || || || ||ijijijuus im u uuu????????? 公式 () 這里“ .”表示兩個(gè)向量之間的標(biāo)量積。 最近鄰搜索實(shí)質(zhì)上所做的工作即是用戶對(duì)目標(biāo)項(xiàng)目的評(píng)分預(yù)測(cè)。主要涉及到三個(gè)方面的問(wèn)題： (1)模式集成 是 從多個(gè)異構(gòu)數(shù)據(jù)庫(kù)、文件或遺留系統(tǒng)提取并集成數(shù)據(jù)，解決語(yǔ)義二義性，統(tǒng)一不同格式的數(shù)據(jù)，消除冗余、重復(fù)存放數(shù)據(jù)的現(xiàn)象。數(shù)據(jù)預(yù)處理模塊就是出于這一目的，對(duì)存在大量的噪聲數(shù)據(jù)、 冗余數(shù)據(jù)、稀疏數(shù)據(jù)或不完全數(shù)據(jù)等進(jìn)行處理，以解決數(shù)據(jù)應(yīng)用質(zhì)量的問(wèn)題。但它有一個(gè)明顯的缺點(diǎn)，收集數(shù)據(jù)比較困難，用戶通常并不愿意費(fèi)力氣為你貢獻(xiàn)這種數(shù)據(jù)。這是因?yàn)榛趦?nèi)容的方法忽略了相似用戶之間的組群特征。推薦集的產(chǎn)生方式意味著一個(gè)內(nèi)容只有已經(jīng)被用戶選擇 (購(gòu)買(mǎi) )后才有機(jī)會(huì)被推薦給其他用戶。 基于用戶的協(xié)同過(guò)濾，通過(guò)比較目標(biāo)用戶的一系列行為選擇和其他用戶之間的相似性，來(lái)識(shí)別出一組相互具有類(lèi)似喜好的用戶，又可以稱為“同好” [6]。 第二章闡述了本課題主要探討的協(xié)同過(guò)濾推薦技術(shù)，描述了協(xié)同過(guò)濾算法的思想，流程和分析了協(xié)同過(guò)濾的優(yōu)缺點(diǎn)。隨著研究的深入 ， 電子商務(wù)推薦系統(tǒng)應(yīng)該利用盡可能多的信息 ， 收集多種類(lèi)型的數(shù)據(jù)并有效集成 ， 從而產(chǎn)生更加有效的推薦。 這種情況下，還是拿音樂(lè)舉例，歌手、流派之類(lèi)的屬性和音頻信息就成為必需的內(nèi)容集信息 。行為記錄模塊負(fù)責(zé)記錄能夠體現(xiàn)用戶喜好的行為，比如購(gòu)買(mǎi)、下載、基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計(jì)與實(shí)現(xiàn) 第一章 緒論 5 評(píng)分等。 6． 組合推薦 由于各種推薦方法都有 各自的 優(yōu)缺點(diǎn)，所以在實(shí)際中，組合推薦 (Hybrid Remendation)經(jīng)常被采用。比如購(gòu)買(mǎi)牛奶的同時(shí)很多人會(huì)同時(shí)購(gòu)買(mǎi)面包。協(xié)同過(guò)濾 基于這樣的假設(shè)：為用戶找到他真正感興趣的內(nèi)容的好方法是，首先找到與目標(biāo)用戶 興趣相似的鄰居用戶，協(xié)同過(guò)濾推薦系統(tǒng)使用統(tǒng)計(jì)技術(shù)搜索目標(biāo)用戶的若干最近鄰居，然后根據(jù)最近鄰居對(duì)項(xiàng)目的評(píng)分預(yù)測(cè)目標(biāo)用戶對(duì)項(xiàng)目的評(píng)分，產(chǎn)生對(duì)應(yīng)的推薦列表。 圖 個(gè)性化推薦系統(tǒng)的基本框架 推薦活動(dòng)在日常 生活 中普遍存在，根據(jù)不同的推薦對(duì)象和推薦方法，推薦活動(dòng)形式多樣，例如，超市購(gòu)物導(dǎo)購(gòu)員為用戶推薦用戶喜愛(ài)的產(chǎn)品，提高銷(xiāo)售能力；現(xiàn)實(shí)生活中朋友間相 互推薦喜愛(ài)的電影；推銷(xiāo)員向用戶推銷(xiāo)產(chǎn)品等，都是推薦活動(dòng)，可以說(shuō)， 只要存在多個(gè)候選對(duì)象，就存在選擇問(wèn)題，存在選擇就有推薦問(wèn)題存在。 此外，《 IEEE Intelligent System》，《 IEEE Computer》，《 User Modeling and UserAdapted Interaction》也發(fā)表了有關(guān)個(gè)性化服務(wù)的重要成果。 在電子商務(wù)的虛擬環(huán)境下，商家所提供的商品種類(lèi)和數(shù)量非常多，用戶不可能通過(guò)一個(gè)小小的計(jì)算機(jī)屏幕一眼就知道所有的商品，用戶也不可能象在物理環(huán)境下那樣檢查挑選商品。在此基礎(chǔ)上，針對(duì)隨著電子商務(wù)系統(tǒng)用戶數(shù)目和商品數(shù)目日益增加 ， 在整個(gè)用戶空間上尋找目標(biāo)用戶的最近鄰居非常耗時(shí) ， 導(dǎo)致推薦系統(tǒng)的實(shí)時(shí)性要求難以保證的問(wèn)題 ， 提出并實(shí)現(xiàn)了一種基于用戶聚類(lèi)的協(xié)同過(guò)濾推薦算法 ， 根據(jù)用戶對(duì)項(xiàng)目評(píng)分的相似性對(duì)用戶進(jìn)行聚類(lèi) ， 生成相應(yīng)的聚類(lèi)中心 ， 在此基礎(chǔ)上計(jì)算目標(biāo)用戶與聚類(lèi)中心的相似性 ， 從而只需要在與目標(biāo)用戶最相似的若干個(gè)聚類(lèi)中就能尋找到目標(biāo)用戶的大部分最近鄰居并產(chǎn)生推薦列表。 29 基于用戶聚簇的測(cè)試 28 推薦質(zhì)量的測(cè)試 28 相似度 算法的影響 27 測(cè)試結(jié)果及分析 27 測(cè)試對(duì)象 27 測(cè)試準(zhǔn)備 20 個(gè)性化推薦 19 最近鄰用戶算法的模塊設(shè)計(jì) 15 資源項(xiàng)模塊 8 協(xié)同過(guò)濾推薦系統(tǒng)的流程 5 實(shí)時(shí)性問(wèn)題 、圖表要求： 1）文字通順，語(yǔ)言流暢，書(shū)寫(xiě)字跡工整，打印字體及大小符合要求，無(wú)錯(cuò)別字，不準(zhǔn)請(qǐng)他人代寫(xiě) 2）工程設(shè)計(jì)類(lèi)題目的圖紙，要求部分用尺規(guī)繪制，部 分用計(jì)算機(jī)繪制，所有圖紙應(yīng)符合國(guó)家技術(shù)標(biāo)準(zhǔn)規(guī)范。除了文中特別加以標(biāo)注引用的內(nèi)容外，本論文不包含任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫(xiě)的成果作品。對(duì)本研究提供過(guò)幫助和做出過(guò)貢獻(xiàn)的個(gè)人或集體，均已在文中作了明確的說(shuō)明并表示了 謝意。 涉密論文按學(xué)校規(guī)定處理。 7 基于資源項(xiàng)的協(xié)同過(guò)濾算法 13 本章小結(jié) 13 第三章 協(xié)同過(guò)濾推薦系統(tǒng)設(shè)計(jì) 16 相關(guān)性算法實(shí)現(xiàn)的模塊設(shè)計(jì) 17 基于 Pearson 相關(guān)性算法 22 基于用戶聚類(lèi)的推薦 35 I 摘 要 隨著 因特網(wǎng) 在全球的普及和人們生活水平的提高，商品和服務(wù)信息 指數(shù)級(jí)的 增長(zhǎng)造成的信息過(guò)載已經(jīng)成為制約電子商務(wù)發(fā)展的瓶頸。利用 Web 數(shù)據(jù)挖掘可以發(fā)現(xiàn)顧客的購(gòu)買(mǎi)偏好，發(fā)現(xiàn)什么樣的客戶是忠實(shí) 的客戶， 為他們提供個(gè)性化服務(wù)，延長(zhǎng)客戶的駐留時(shí)間；發(fā)現(xiàn)潛在客戶，為他們提供個(gè)性化的頁(yè)面，變潛在客戶為忠實(shí)客戶，擴(kuò)大市場(chǎng)占有率；分析客戶未來(lái)可能發(fā)生的行為，進(jìn)行有針對(duì)性的營(yíng)銷(xiāo)活動(dòng)，提高廣告的投資回報(bào)率 ； 當(dāng)然利用 Web 挖掘還可以事先信用評(píng)估，欺詐檢測(cè)，投資組合管理等多方面的應(yīng)用 [1]。個(gè)性化服務(wù)是 因特網(wǎng) 信息增長(zhǎng)的必然結(jié)果 ， 1995 年至 1997年，美國(guó)人工智 能協(xié)會(huì)春季會(huì)議 (AAAI)、國(guó)際人工智能聯(lián)合大會(huì) (IJCAI)， ACM 智能基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計(jì)與實(shí)現(xiàn) 第一章 緒論 2 用戶接口會(huì)議 (ACMIUI)和國(guó)際 WWW 大會(huì)等重要會(huì)議發(fā)表了多篇個(gè)性化服務(wù)原型系統(tǒng)的論文，標(biāo)志著個(gè)性化服務(wù)研究的開(kāi)始。 現(xiàn)在被廣泛引用的推薦系統(tǒng)的定義是 Resnick amp。目前，主要的推薦方法包括：基于內(nèi)容推薦、協(xié)同過(guò)濾推薦、基于基于客戶資料挖掘的電子商務(wù)網(wǎng)站的設(shè)計(jì)與實(shí)現(xiàn) 第一章 緒論 3 關(guān)聯(lián)規(guī)則推薦、基于效用推薦、基于知識(shí)推薦和組合推薦 [6]。 3． 基于關(guān)聯(lián)規(guī)則推薦 基于關(guān)聯(lián)規(guī)則的推薦 (Association Rulebased Remendation)是以關(guān)聯(lián)規(guī)則為基礎(chǔ)，把已購(gòu)商品作為規(guī)則頭，規(guī)則體為推薦對(duì)象。 5． 基于知識(shí)的推薦 基于知識(shí)的推薦 (Knowledgebased Remendation)在某種程度是可以看成是一種推理 (Inference)技術(shù)，它不是建立在用戶需要和偏好基礎(chǔ)上推薦的。 電子商務(wù)網(wǎng)站個(gè)性化推薦系統(tǒng)由于直接關(guān)系到用戶的切身感受，所以在電子商務(wù)網(wǎng)站中它的地位尤其重要。比如，對(duì)于音樂(lè)推薦系統(tǒng)來(lái)說(shuō)，一個(gè)音樂(lè)庫(kù)就是這樣的內(nèi)容集。 大型電子商務(wù)推薦系統(tǒng)必須能夠同時(shí)為 數(shù)以萬(wàn)計(jì)的客戶產(chǎn)生實(shí)時(shí)的推薦列表 ，隨著客戶數(shù)量和商品數(shù)量的不斷增加 ， 電子商務(wù)推薦系統(tǒng)的伸縮能力和實(shí)時(shí)性要求越來(lái)越難以保證 ， 需要在電子商務(wù)推薦系統(tǒng)中采用降維技術(shù)、并行技術(shù)以及數(shù)據(jù)挖掘領(lǐng)域的最新研究成果來(lái)解決上述問(wèn)題 [12]。同時(shí)為了解決電子商務(wù)產(chǎn)品服務(wù)信息的 爆炸性增長(zhǎng)帶來(lái)的個(gè)性化推薦實(shí)時(shí)性下降的問(wèn)題， 本設(shè)計(jì) 結(jié)合用戶聚簇技術(shù)將相似度較高的客戶歸類(lèi)到相同的聚類(lèi)之中，從而縮減了用戶的搜索空間 ，達(dá)到實(shí)時(shí)性和推薦質(zhì)量的平衡。 第五章是進(jìn)行了畢業(yè)設(shè)計(jì)工作的總結(jié)與致謝。這種 相似用戶通常被稱為最近鄰居(Nearest Neighbor)。所以，比起用戶， 資源項(xiàng) 之間的相似性計(jì)算需要的計(jì)算量要少很多，從而大大降低了在線計(jì)算量，提高系統(tǒng)性能。 表 用戶評(píng)分?jǐn)?shù)據(jù)矩陣 1Item ... jItem ... nItem 1User 1,R ... 1,jR ... ... ... ... ... ... ... ... iUser ,1kR ... ,ijR ... ... ... ... ... ... ... ... mUser ... ... ... ... ,mnR 建立一個(gè)協(xié)同過(guò)濾系統(tǒng)通常需要三個(gè)步驟 ：興趣數(shù)據(jù)的收集與處理，最近鄰搜索和生成推薦結(jié)果 。一種研究得比較多的方法是 網(wǎng)絡(luò)數(shù)據(jù)挖掘 (Web Mining)。數(shù)據(jù)的不一致性導(dǎo)致數(shù)據(jù)挖掘結(jié)果的可信度的降低，數(shù)據(jù)清理去 除噪聲或無(wú)關(guān)數(shù)據(jù)，并處理數(shù)據(jù)中缺失的數(shù)據(jù)域 [7]。如定義時(shí)間、數(shù)值、字符等數(shù)據(jù)加載格式。目前使用比較多的相似度算法包括， Pearson 相關(guān)系數(shù) (Person Correlation Coefficient)、余弦相似性 (Cosinebased Similarity)以及調(diào)整余弦相似性 (Adjusted Consine Similarity)。在項(xiàng)目為基礎(chǔ)的情況下，使用基本的余弦相似度計(jì)算，有一個(gè)致命的缺陷就是，不同的用戶之間評(píng)分的幅度不同沒(méi)有考慮在內(nèi)。加權(quán)是由相似度和的形式以確保預(yù)測(cè)是在預(yù)定的范圍內(nèi)。通常根據(jù)推薦目的的不同，可以進(jìn)行多種形式的推薦。它最 突出的優(yōu)點(diǎn)就是，可以幫助你發(fā)現(xiàn)你感興趣的而以前卻從來(lái)沒(méi)有注意過(guò)的商品。在任何一個(gè)網(wǎng)站中，用戶的評(píng)分記錄或者購(gòu)買(mǎi)記錄，相對(duì)整個(gè)可供選擇的內(nèi)容集來(lái)說(shuō)，都是很小的一部分。 協(xié)同過(guò)濾推薦系統(tǒng)的總體設(shè) 計(jì)可以分為五個(gè)大模塊：數(shù)據(jù)管理模塊(DataManager)；相關(guān)性計(jì)算模塊 (包括用戶相關(guān)性 (UserCorrelation)和項(xiàng)目相關(guān)性(ItemCorrelation))；近鄰用戶模塊 (UserNeighborhood)； 推薦模塊 (Remender)和 工具模塊 (Common)。 (2)在性能設(shè)計(jì)上，本模型要達(dá)到提高個(gè)性化推薦產(chǎn)生的有效率、準(zhǔn)確率以及可理解性 。因?yàn)樵谙嚓P(guān)性計(jì)算那個(gè)步驟需要大量的比較操作