【文章內(nèi)容簡介】 ............................................. 33 第 6 章 結(jié)論與展望 .............................................................................. 34 參考文獻(xiàn)： ........................................................................................... 35 致 謝 ................................................................................................... 39 電子商務(wù)推薦系統(tǒng)關(guān)鍵技術(shù)研究 梁銳彪 第 1 章 緒論 課題研究背景 隨著電子商務(wù)規(guī)模的進(jìn)一步擴(kuò)大，為用戶提供越來越多選擇的同時(shí)，其結(jié)構(gòu)也變得更加復(fù)雜。一方面，用戶面對(duì)大量的商品信息束手無策，用戶經(jīng)常會(huì)迷失在大量的商品信息空間中 ，無法順利找到自己需要的商品；另一方面，商家也失去了與消費(fèi)者的聯(lián)系。隨著電子商務(wù)應(yīng)用的領(lǐng)域越來越廣，對(duì)電子商務(wù)研究越來越深入，人工智能、 Web 技術(shù)與商業(yè)模型的集成研究逐步得到了重視。其中在B2C 方面，推薦系統(tǒng)（ Remender System）成為研究和應(yīng)用的一個(gè)重點(diǎn)。在海量的商品信息中，推薦系統(tǒng)模擬商店銷售人員向用戶提供商品推薦，幫助用戶找到所需商品，從而順利完成購買過程，因此可以有效保留用戶，提高電子商務(wù)系統(tǒng)的銷售；商家也可以通過推薦系統(tǒng)保持與客戶的聯(lián)系，重建客戶關(guān)鍵。 一方面，電子商務(wù)系統(tǒng)需要推薦 系統(tǒng)的大力支持幫助用戶找到所需商品；另一方面，電子商務(wù)系統(tǒng)自身的特點(diǎn)也有利于推薦系統(tǒng)的順利實(shí)施。 主要原因包括[1]： 1）豐富的數(shù)據(jù)：電子商務(wù)環(huán)境收集的各種數(shù)據(jù)比較豐富，如用戶注冊數(shù)據(jù)、用戶交易數(shù)據(jù)、用戶評(píng)分?jǐn)?shù)據(jù)、用戶購物籃信息、用戶瀏覽數(shù)據(jù)等。豐富的數(shù)據(jù)為建立多種推薦模型，產(chǎn)生高質(zhì)量的推薦提供了可能。 2）電子化的數(shù)據(jù)收集：電子商務(wù)環(huán)境中的各種數(shù)據(jù)通過電子化方式收集，減少了手工方式收集數(shù)據(jù)可能出現(xiàn)的人工誤差，噪音數(shù)據(jù)大大減少，各種數(shù)據(jù)的可信度比較高，數(shù)據(jù)預(yù)處理比較簡單。 3）易于對(duì)推薦效果進(jìn)行評(píng)估：在電子 商務(wù)中實(shí)施推薦系統(tǒng)的投資回報(bào)率易于通過電子商務(wù) Web 站點(diǎn)訪問量的增加、電子商務(wù)系統(tǒng)銷售額的增加等指標(biāo)直接進(jìn)行評(píng)估。 推薦系統(tǒng)具有良好的發(fā)展方向和應(yīng)用前景。推薦系統(tǒng)在幫助了客戶的同時(shí)也提高了顧客對(duì)商務(wù)活動(dòng)的滿意度，換來對(duì)商務(wù)網(wǎng)站的進(jìn)一步支持。因此，近年來推薦系統(tǒng)在電子商務(wù)的應(yīng)用越來越多，幾乎所有大型的電子商務(wù)系統(tǒng)，如Amazon、 eBay、當(dāng)當(dāng)網(wǎng)等，都不同程度的使用了各種形式的推薦系統(tǒng)。各種提供個(gè)性化服務(wù)的 Web 站點(diǎn)也需要推薦系統(tǒng)的大力支持。在日趨激烈的競爭環(huán)境下，電子商務(wù)推薦系統(tǒng)能有效保留用戶，提高電子商務(wù) 系統(tǒng)的銷售。成功的電子電子商務(wù)推薦系統(tǒng)關(guān)鍵技術(shù)研究 梁銳彪 商務(wù)推薦系統(tǒng)會(huì)產(chǎn)生巨大的經(jīng)濟(jì)效益。電子商務(wù)推薦系統(tǒng)在理論和實(shí)踐中都得到了很大發(fā)展。但是隨著電子商務(wù)系統(tǒng)的進(jìn)一步發(fā)展，電子商務(wù)推薦系統(tǒng)也面臨一系列挑戰(zhàn)。針對(duì)電子商務(wù)推薦系統(tǒng)面臨的主要挑戰(zhàn)，本文將對(duì)電子商務(wù)推薦系統(tǒng)中的核心技術(shù)進(jìn)行了有益的探索和研究。 課題研究意義 推薦算法是推薦系統(tǒng)的核心，良好的推薦算法能夠及時(shí)準(zhǔn)確地計(jì)算出符合用戶需求的商品，為客戶提供良好的購物體驗(yàn)。本文對(duì)目前應(yīng)用最廣泛的協(xié)同過濾推薦算法進(jìn)行研究，并嘗試對(duì)其進(jìn)行改進(jìn)，使推薦結(jié)果的實(shí)時(shí)性更好，推薦質(zhì)量更高。 靈活 智能的推薦系統(tǒng)能夠根據(jù)不同的推薦策略進(jìn)行推薦，滿足客戶不同的需要。本文對(duì)目前電子商務(wù)推薦系統(tǒng)的體系結(jié)構(gòu)進(jìn)行了研究，提出的基于MultiAgent 的柔性電子商務(wù)推薦系統(tǒng)，使推薦系統(tǒng)更加智能、自動(dòng)和靈活。 論文研究具有重要的理論意義和廣闊的應(yīng)用前景。 課題研究的國內(nèi)外現(xiàn)狀 隨著互聯(lián)網(wǎng)的普及和電子商務(wù)的發(fā)展，推薦系統(tǒng)逐漸成為電子商務(wù) IT 技術(shù)的一個(gè)重要研究內(nèi)容，得到了越來越多研究者的關(guān)注。美國計(jì)算機(jī)學(xué)會(huì) ACM 從1999 年開始每年召開一次電子商務(wù)的研討會(huì)，其中關(guān)于電子商務(wù)推薦系統(tǒng)的研究文章占據(jù)了很大比重。 從 1999 年開始此協(xié)會(huì)的數(shù)據(jù)挖掘特別興趣組 SIGKDD小組設(shè)立 WEBKDD 討論組，主題集中在電子商務(wù)中的 WEB 挖掘技術(shù)和推薦系統(tǒng)技術(shù)，而 ACM 下面的信息檢索特別興趣組 SIGIR 在召開的第 24 屆研究和發(fā)展會(huì)議上，開始專門把推薦系統(tǒng)作為一個(gè)討論主題。第 7 屆國際人工智能聯(lián)合會(huì)議 IJCAI’01 則把 EBusiness amp。 the Intelligent Web 作為一個(gè)獨(dú)立的研討小組。 99年召開的人機(jī)界面會(huì)議 CHI’99 專門設(shè)立推薦系統(tǒng)特別興趣組。同時(shí)，第十五屆人工智能會(huì)議 AAAI9第一屆知識(shí)管理應(yīng)用會(huì)議 PA KM、 96 年協(xié)同工作會(huì)議CSCW’96 等也紛紛開始將電子商務(wù)推薦系統(tǒng)作為研究主題。 經(jīng)過多年的努力，國內(nèi)外在電子商務(wù)推薦技術(shù)和系統(tǒng)的研究方面已取得較多的理論和應(yīng)用成果。 電子商務(wù)推薦系統(tǒng)關(guān)鍵技術(shù)研究 梁銳彪 本文結(jié)構(gòu) 第一章探討了電子商務(wù)推薦系統(tǒng)提出的背景及其研究意義，介紹了推薦系統(tǒng)的研究現(xiàn)狀，給出本論文的整體組織結(jié)構(gòu)。 第二章介紹了電子商務(wù)推 薦系統(tǒng)相關(guān)的技術(shù)，探討信息檢索、信息過濾、數(shù)據(jù)挖掘技術(shù)以及協(xié)同過濾等相關(guān)技術(shù)。 第三章探討了電子商務(wù)推薦系統(tǒng)的基礎(chǔ)理論，包括其定義、系統(tǒng)的輸入和輸出、分類、目前采用的各種推薦策略和相關(guān)實(shí) 例。 第四章分析了電子商務(wù)推薦算法在整個(gè)推薦系統(tǒng)中的重要地位，給出了電子商務(wù)推薦算法的分類原則及其分類，然后對(duì)關(guān)聯(lián)規(guī)則推薦算法和協(xié)同過濾推薦這兩種關(guān)鍵的電子商務(wù)推薦算法進(jìn)行了深入介紹。在協(xié)同過濾算法中，首先對(duì)協(xié)同過濾算法所使用的用戶數(shù)據(jù)的收集做了簡要的描述，然后詳細(xì)介紹了 Userbased協(xié)同過濾算法， Itembased 協(xié)同過濾算法。 第五章闡述了評(píng)價(jià)推薦系統(tǒng)的兩個(gè)重要因素，包括平均絕對(duì)值誤差 MAE 和稀疏度。 第六 章總結(jié)全文，并提出對(duì)電子商務(wù)推薦系統(tǒng)中關(guān)鍵技術(shù)的展望。 第 2 章 電子商務(wù)推薦系統(tǒng)相 關(guān)技術(shù) 信息檢索和信息過濾 推薦系統(tǒng)的關(guān)鍵技術(shù)主要包括信息檢索（ IR， Information Retrieval）技術(shù)和信息過濾（ IF， Information Filtering）技術(shù)。 信息檢索是在靜態(tài)信息源中搜索用戶短期的信息需求的過程；而信息過濾是對(duì)動(dòng)態(tài)信息進(jìn)行篩選，著重排除不希望得到的信息，帶有即時(shí)性。雖然實(shí)現(xiàn)技術(shù)及其相似，但兩者所完成任務(wù)完全不同[41]。 信息檢索 信息檢索技術(shù)一般是指根據(jù)用戶需求，從大規(guī)模的相對(duì)靜止的數(shù)據(jù)庫中檢索用戶需要的信息，主要滿足用戶瞬時(shí)的信息需求。 信息檢索技術(shù)主要用于相對(duì)靜止的信息存儲(chǔ)領(lǐng)域。例如，當(dāng)用戶在數(shù)字圖書館中進(jìn)行檢索時(shí)，用戶提交關(guān)鍵字電子商務(wù)推薦系統(tǒng)關(guān)鍵技術(shù)研究 梁銳彪 反映了用戶當(dāng)前的信息需求，數(shù)字圖書館中的搜索引擎根據(jù)預(yù)先建立好的內(nèi)容檢索，檢索出用戶需要的信息。 信息檢索的研究內(nèi)容主要包括索引技術(shù)和查詢技術(shù)。索引技術(shù)是對(duì)資源內(nèi)容進(jìn)行分析，從而將資源內(nèi)容表示為計(jì)算機(jī)可處理的數(shù)據(jù)結(jié)構(gòu)的過程。查詢技術(shù)根據(jù)用戶需求，查詢用戶需要的資源信息。其研究內(nèi)容主要包括查詢語言設(shè)計(jì)研究、可視化查詢接口研究、用戶請(qǐng)求與資源信息的匹配研究等。在很多情況下，索引技術(shù)與查詢技術(shù)是重疊的，查詢技術(shù)依賴資源 信息所采用的索引結(jié)構(gòu)。 信息檢索系統(tǒng)的界面主要包括兩種形式。傳統(tǒng)的信息檢索系統(tǒng)主要使用關(guān)鍵字查詢接口，用戶根據(jù)自己的信息需求輸入一到兩個(gè)關(guān)鍵字，信息檢索系統(tǒng)根據(jù)用戶提交的關(guān)鍵字進(jìn)行查詢，然后向用戶返回檢索結(jié)果。目前，越來越多的信息檢索系統(tǒng)提供動(dòng)態(tài)查詢接口。信息檢索系統(tǒng)動(dòng)態(tài)查詢接口向用戶提供一系列的信息主題供用戶選擇，然后根據(jù)用戶的選擇向用戶提供下一層的信息主題，這樣一直進(jìn)行下去，直到用戶檢索到自己需要的信息為止。這種不斷與用戶進(jìn)行交互的動(dòng)態(tài)查詢接口使得用戶能更容易的檢索到所需信息。 信息檢索技術(shù)是實(shí)現(xiàn)推薦系 統(tǒng)的關(guān)鍵技術(shù)。推薦系統(tǒng)根據(jù)用戶需求，搜索產(chǎn)品類別數(shù)據(jù)庫，然后返回用戶需要的信息。其搜索過程可以實(shí)時(shí)進(jìn)行，也可以定期周期執(zhí)行。同時(shí)，推薦系統(tǒng)提供的推薦界面既可以基于傳統(tǒng)的關(guān)鍵字查詢，也可以基于動(dòng)態(tài)查詢接口。前者的例子如 中的關(guān)鍵字查詢，后者的例子如 中的 Advisor 推薦。 信息過濾 信息過濾技術(shù)一般用戶用戶需求相對(duì)不變，但信息動(dòng)態(tài)呢更新比較頻繁的情況。信息過濾系統(tǒng)主要面對(duì)的是半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，它為用戶的長期信息需求提供信息過濾服務(wù) [1]。用戶的 興趣模型可用用戶檔案文件的形式表示。信息過濾系統(tǒng)將動(dòng)態(tài)信息與用戶檔案文件進(jìn)行匹配，根據(jù)匹配結(jié)果返回用戶需要的信息。 信息過濾與信息檢索的區(qū)別主要包括： 1）信息過濾面向用戶長期的信息需求，而信息檢索技術(shù)面向的是用戶短期的、實(shí)時(shí)的查詢。 電子商務(wù)推薦系統(tǒng)關(guān)鍵技術(shù)研究 梁銳彪 2）信息過濾用檔案文件表示用戶的信息需求特征，而信息檢索技術(shù)是用關(guān)鍵詞表達(dá)用戶的查詢請(qǐng)求。 3）信息過濾中用戶需求相對(duì)不便，但用戶訪問的是動(dòng)態(tài)數(shù)據(jù)流，是從動(dòng)態(tài)數(shù)據(jù)流中選擇數(shù)據(jù)；信息檢索技術(shù)訪問是相對(duì)靜止的數(shù)據(jù)，但用戶需求卻具有瞬時(shí)性。 表 21 信息檢索和信息過濾的區(qū)別 信 息檢索 信息過濾 信息源 相對(duì)靜態(tài)的結(jié)構(gòu)化數(shù)據(jù) 動(dòng)態(tài)的無結(jié)構(gòu)或半結(jié)構(gòu)數(shù)據(jù) 需求表示 檢索詞 興趣模板 目標(biāo) 選擇相關(guān)信息 過濾掉不相關(guān)的信息 用戶特點(diǎn) 大范圍多用戶的短期使用 小范圍少用戶的長期使用 郵件系統(tǒng)信息過濾和新聞組信息服務(wù)是信息過濾技術(shù)的典型應(yīng)用。在新聞組信息服務(wù)中，用戶輸入自己感興趣的一組關(guān)鍵詞，新聞組信息服務(wù)通過關(guān)鍵詞建立用戶檔案。當(dāng)新聞組中加入新信息時(shí)，信息過濾系統(tǒng)對(duì)新信息進(jìn)行過濾，將滿足用戶需求的新信息反饋給用戶。新聞組信息服務(wù)也可以分析用戶訂閱的信息自動(dòng)抽取關(guān)鍵詞，簡歷用戶檔案 ，然后通過信息過濾系統(tǒng)將用戶感興趣的新信息反饋給用戶。 信息過濾技術(shù)也是實(shí)現(xiàn)推薦系統(tǒng)的關(guān)鍵技術(shù)。例如， 提供的 Eyes推薦就是一個(gè)典型的基于關(guān)鍵詞檢索的信息過濾系統(tǒng)。用戶輸入基于作者、標(biāo)題、主題、 ISBN 和出版日期的關(guān)鍵詞， Eyes 推薦根據(jù)用戶輸入的關(guān)鍵詞，建立用戶檔案。當(dāng)產(chǎn)品目錄中加入新書時(shí)， Eyes 推薦根據(jù)用戶輸入的關(guān)鍵詞和新書提供的相關(guān)信息，選擇用戶感興趣的新書作為推薦結(jié)果，通過 EMail 的方式推薦給用戶。 數(shù)據(jù)挖掘技術(shù) 數(shù)據(jù)挖掘 (DataMining),也叫數(shù)據(jù)庫發(fā)現(xiàn)知 識(shí) (KDD, Knowledge Discovery in Database),就是從數(shù)據(jù)庫中提取隱含的、先前未知的、潛在有用的知識(shí)或信息模式的決策支持方法。數(shù)據(jù)挖掘是 20 世紀(jì) 90 年代初針對(duì) “數(shù)據(jù)爆炸 ,知識(shí)貧乏 ”這一問題而出現(xiàn)的一種新技術(shù) ,是處理海量信息的有效手段。同傳統(tǒng)的統(tǒng)計(jì)分析技術(shù)相比 ,數(shù)據(jù)挖掘的主要特點(diǎn)是系統(tǒng)的主動(dòng)性。傳統(tǒng)的統(tǒng)計(jì)分析技術(shù)具有確切性 ,電子商務(wù)推薦系統(tǒng)關(guān)鍵技術(shù)研究 梁銳彪 是正向思維 ,即首先由用戶設(shè)定一個(gè)前提 ,然后證實(shí)或否定它 ,是用戶發(fā)揮主動(dòng)性 。而數(shù)據(jù)挖掘技術(shù)具有探索性 ,是一種逆向思維 ,即由系統(tǒng)發(fā)現(xiàn)一合適的前提 ,再證實(shí)或否定 ,是系統(tǒng)在發(fā)揮主動(dòng)性。 自從 KDD 一詞首次出現(xiàn)在 1989 年 8 月舉行的第 11 屆國家聯(lián)合人工智能學(xué)術(shù)會(huì)議上。 1995 年在加拿大蒙特利爾市召開的第一屆 KDD 國際學(xué)術(shù)會(huì)議。隨著研究的深入，數(shù)據(jù)挖掘技術(shù)研究組建成為計(jì)算機(jī)領(lǐng)域的一個(gè)熱門課題，得到了越來越多研究者的關(guān)注。許多數(shù)據(jù)挖掘?qū)ｎ}會(huì)議紛紛涌現(xiàn)，如PAKDD,PKDD,DLSMDataMing 等。 目前，數(shù)據(jù)挖掘技術(shù)在理論和應(yīng)用上都已經(jīng)得到了巨大的發(fā)展。數(shù)據(jù)挖掘能夠從關(guān)系數(shù)據(jù)、文本數(shù)據(jù)、多媒體數(shù)據(jù)、時(shí)間序列、空間數(shù)據(jù)、異質(zhì)數(shù)據(jù)等多種數(shù)據(jù)源中挖掘知識(shí)。數(shù)據(jù)挖掘采用的技 術(shù)包括數(shù)據(jù)庫、數(shù)據(jù)倉庫和 OLAP、統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、可視化、神經(jīng)元網(wǎng)絡(luò)等不同領(lǐng)域的技術(shù)，如圖 所示。數(shù)據(jù)挖掘技術(shù)面向應(yīng)用領(lǐng)域，它不僅是面向特定數(shù)據(jù)庫的簡單檢索查詢調(diào)用，而且，要對(duì)數(shù)據(jù)進(jìn)行微觀、中觀、乃至宏觀的統(tǒng)計(jì)、分析、綜合和推理，以指定實(shí)際問題的求解，企圖發(fā)現(xiàn)事件間的相互關(guān)聯(lián)，甚至利用已有的數(shù)據(jù)對(duì)未來的活動(dòng)進(jìn)行預(yù)測。數(shù)據(jù)挖掘技術(shù)在金融、保險(xiǎn)、電信、大型超市等積累有大量數(shù)據(jù)的電子商務(wù)行業(yè)有著廣泛的應(yīng)用，如信用分析、風(fēng)險(xiǎn)分析、欺詐檢驗(yàn)、用戶聚類分析、消費(fèi)者習(xí)慣分析等。 圖 典型數(shù)據(jù)