【文章內容簡介】 ............................................. 33 第 6 章 結論與展望 .............................................................................. 34 參考文獻： ........................................................................................... 35 致 謝 ................................................................................................... 39 電子商務推薦系統(tǒng)關鍵技術研究 梁銳彪 第 1 章 緒論 課題研究背景 隨著電子商務規(guī)模的進一步擴大，為用戶提供越來越多選擇的同時，其結構也變得更加復雜。一方面，用戶面對大量的商品信息束手無策，用戶經常會迷失在大量的商品信息空間中 ，無法順利找到自己需要的商品；另一方面，商家也失去了與消費者的聯(lián)系。隨著電子商務應用的領域越來越廣，對電子商務研究越來越深入，人工智能、 Web 技術與商業(yè)模型的集成研究逐步得到了重視。其中在B2C 方面，推薦系統(tǒng)（ Remender System）成為研究和應用的一個重點。在海量的商品信息中，推薦系統(tǒng)模擬商店銷售人員向用戶提供商品推薦，幫助用戶找到所需商品，從而順利完成購買過程，因此可以有效保留用戶，提高電子商務系統(tǒng)的銷售；商家也可以通過推薦系統(tǒng)保持與客戶的聯(lián)系，重建客戶關鍵。 一方面，電子商務系統(tǒng)需要推薦 系統(tǒng)的大力支持幫助用戶找到所需商品；另一方面，電子商務系統(tǒng)自身的特點也有利于推薦系統(tǒng)的順利實施。 主要原因包括[1]： 1）豐富的數(shù)據：電子商務環(huán)境收集的各種數(shù)據比較豐富，如用戶注冊數(shù)據、用戶交易數(shù)據、用戶評分數(shù)據、用戶購物籃信息、用戶瀏覽數(shù)據等。豐富的數(shù)據為建立多種推薦模型，產生高質量的推薦提供了可能。 2）電子化的數(shù)據收集：電子商務環(huán)境中的各種數(shù)據通過電子化方式收集，減少了手工方式收集數(shù)據可能出現(xiàn)的人工誤差，噪音數(shù)據大大減少，各種數(shù)據的可信度比較高，數(shù)據預處理比較簡單。 3）易于對推薦效果進行評估：在電子 商務中實施推薦系統(tǒng)的投資回報率易于通過電子商務 Web 站點訪問量的增加、電子商務系統(tǒng)銷售額的增加等指標直接進行評估。 推薦系統(tǒng)具有良好的發(fā)展方向和應用前景。推薦系統(tǒng)在幫助了客戶的同時也提高了顧客對商務活動的滿意度，換來對商務網站的進一步支持。因此，近年來推薦系統(tǒng)在電子商務的應用越來越多，幾乎所有大型的電子商務系統(tǒng)，如Amazon、 eBay、當當網等，都不同程度的使用了各種形式的推薦系統(tǒng)。各種提供個性化服務的 Web 站點也需要推薦系統(tǒng)的大力支持。在日趨激烈的競爭環(huán)境下，電子商務推薦系統(tǒng)能有效保留用戶，提高電子商務 系統(tǒng)的銷售。成功的電子電子商務推薦系統(tǒng)關鍵技術研究 梁銳彪 商務推薦系統(tǒng)會產生巨大的經濟效益。電子商務推薦系統(tǒng)在理論和實踐中都得到了很大發(fā)展。但是隨著電子商務系統(tǒng)的進一步發(fā)展，電子商務推薦系統(tǒng)也面臨一系列挑戰(zhàn)。針對電子商務推薦系統(tǒng)面臨的主要挑戰(zhàn)，本文將對電子商務推薦系統(tǒng)中的核心技術進行了有益的探索和研究。 課題研究意義 推薦算法是推薦系統(tǒng)的核心，良好的推薦算法能夠及時準確地計算出符合用戶需求的商品，為客戶提供良好的購物體驗。本文對目前應用最廣泛的協(xié)同過濾推薦算法進行研究，并嘗試對其進行改進，使推薦結果的實時性更好，推薦質量更高。 靈活 智能的推薦系統(tǒng)能夠根據不同的推薦策略進行推薦，滿足客戶不同的需要。本文對目前電子商務推薦系統(tǒng)的體系結構進行了研究，提出的基于MultiAgent 的柔性電子商務推薦系統(tǒng)，使推薦系統(tǒng)更加智能、自動和靈活。 論文研究具有重要的理論意義和廣闊的應用前景。 課題研究的國內外現(xiàn)狀 隨著互聯(lián)網的普及和電子商務的發(fā)展，推薦系統(tǒng)逐漸成為電子商務 IT 技術的一個重要研究內容，得到了越來越多研究者的關注。美國計算機學會 ACM 從1999 年開始每年召開一次電子商務的研討會，其中關于電子商務推薦系統(tǒng)的研究文章占據了很大比重。 從 1999 年開始此協(xié)會的數(shù)據挖掘特別興趣組 SIGKDD小組設立 WEBKDD 討論組，主題集中在電子商務中的 WEB 挖掘技術和推薦系統(tǒng)技術，而 ACM 下面的信息檢索特別興趣組 SIGIR 在召開的第 24 屆研究和發(fā)展會議上，開始專門把推薦系統(tǒng)作為一個討論主題。第 7 屆國際人工智能聯(lián)合會議 IJCAI’01 則把 EBusiness amp。 the Intelligent Web 作為一個獨立的研討小組。 99年召開的人機界面會議 CHI’99 專門設立推薦系統(tǒng)特別興趣組。同時，第十五屆人工智能會議 AAAI9第一屆知識管理應用會議 PA KM、 96 年協(xié)同工作會議CSCW’96 等也紛紛開始將電子商務推薦系統(tǒng)作為研究主題。 經過多年的努力，國內外在電子商務推薦技術和系統(tǒng)的研究方面已取得較多的理論和應用成果。 電子商務推薦系統(tǒng)關鍵技術研究 梁銳彪 本文結構 第一章探討了電子商務推薦系統(tǒng)提出的背景及其研究意義，介紹了推薦系統(tǒng)的研究現(xiàn)狀，給出本論文的整體組織結構。 第二章介紹了電子商務推 薦系統(tǒng)相關的技術，探討信息檢索、信息過濾、數(shù)據挖掘技術以及協(xié)同過濾等相關技術。 第三章探討了電子商務推薦系統(tǒng)的基礎理論，包括其定義、系統(tǒng)的輸入和輸出、分類、目前采用的各種推薦策略和相關實 例。 第四章分析了電子商務推薦算法在整個推薦系統(tǒng)中的重要地位，給出了電子商務推薦算法的分類原則及其分類，然后對關聯(lián)規(guī)則推薦算法和協(xié)同過濾推薦這兩種關鍵的電子商務推薦算法進行了深入介紹。在協(xié)同過濾算法中，首先對協(xié)同過濾算法所使用的用戶數(shù)據的收集做了簡要的描述，然后詳細介紹了 Userbased協(xié)同過濾算法， Itembased 協(xié)同過濾算法。 第五章闡述了評價推薦系統(tǒng)的兩個重要因素，包括平均絕對值誤差 MAE 和稀疏度。 第六 章總結全文，并提出對電子商務推薦系統(tǒng)中關鍵技術的展望。 第 2 章 電子商務推薦系統(tǒng)相 關技術 信息檢索和信息過濾 推薦系統(tǒng)的關鍵技術主要包括信息檢索（ IR， Information Retrieval）技術和信息過濾（ IF， Information Filtering）技術。 信息檢索是在靜態(tài)信息源中搜索用戶短期的信息需求的過程；而信息過濾是對動態(tài)信息進行篩選，著重排除不希望得到的信息，帶有即時性。雖然實現(xiàn)技術及其相似，但兩者所完成任務完全不同[41]。 信息檢索 信息檢索技術一般是指根據用戶需求，從大規(guī)模的相對靜止的數(shù)據庫中檢索用戶需要的信息，主要滿足用戶瞬時的信息需求。 信息檢索技術主要用于相對靜止的信息存儲領域。例如，當用戶在數(shù)字圖書館中進行檢索時，用戶提交關鍵字電子商務推薦系統(tǒng)關鍵技術研究 梁銳彪 反映了用戶當前的信息需求，數(shù)字圖書館中的搜索引擎根據預先建立好的內容檢索，檢索出用戶需要的信息。 信息檢索的研究內容主要包括索引技術和查詢技術。索引技術是對資源內容進行分析，從而將資源內容表示為計算機可處理的數(shù)據結構的過程。查詢技術根據用戶需求，查詢用戶需要的資源信息。其研究內容主要包括查詢語言設計研究、可視化查詢接口研究、用戶請求與資源信息的匹配研究等。在很多情況下，索引技術與查詢技術是重疊的，查詢技術依賴資源 信息所采用的索引結構。 信息檢索系統(tǒng)的界面主要包括兩種形式。傳統(tǒng)的信息檢索系統(tǒng)主要使用關鍵字查詢接口，用戶根據自己的信息需求輸入一到兩個關鍵字，信息檢索系統(tǒng)根據用戶提交的關鍵字進行查詢，然后向用戶返回檢索結果。目前，越來越多的信息檢索系統(tǒng)提供動態(tài)查詢接口。信息檢索系統(tǒng)動態(tài)查詢接口向用戶提供一系列的信息主題供用戶選擇，然后根據用戶的選擇向用戶提供下一層的信息主題，這樣一直進行下去，直到用戶檢索到自己需要的信息為止。這種不斷與用戶進行交互的動態(tài)查詢接口使得用戶能更容易的檢索到所需信息。 信息檢索技術是實現(xiàn)推薦系 統(tǒng)的關鍵技術。推薦系統(tǒng)根據用戶需求，搜索產品類別數(shù)據庫，然后返回用戶需要的信息。其搜索過程可以實時進行，也可以定期周期執(zhí)行。同時，推薦系統(tǒng)提供的推薦界面既可以基于傳統(tǒng)的關鍵字查詢，也可以基于動態(tài)查詢接口。前者的例子如 中的關鍵字查詢，后者的例子如 中的 Advisor 推薦。 信息過濾 信息過濾技術一般用戶用戶需求相對不變，但信息動態(tài)呢更新比較頻繁的情況。信息過濾系統(tǒng)主要面對的是半結構化和非結構化的數(shù)據，它為用戶的長期信息需求提供信息過濾服務 [1]。用戶的 興趣模型可用用戶檔案文件的形式表示。信息過濾系統(tǒng)將動態(tài)信息與用戶檔案文件進行匹配，根據匹配結果返回用戶需要的信息。 信息過濾與信息檢索的區(qū)別主要包括： 1）信息過濾面向用戶長期的信息需求，而信息檢索技術面向的是用戶短期的、實時的查詢。 電子商務推薦系統(tǒng)關鍵技術研究 梁銳彪 2）信息過濾用檔案文件表示用戶的信息需求特征，而信息檢索技術是用關鍵詞表達用戶的查詢請求。 3）信息過濾中用戶需求相對不便，但用戶訪問的是動態(tài)數(shù)據流，是從動態(tài)數(shù)據流中選擇數(shù)據；信息檢索技術訪問是相對靜止的數(shù)據，但用戶需求卻具有瞬時性。 表 21 信息檢索和信息過濾的區(qū)別 信 息檢索 信息過濾 信息源 相對靜態(tài)的結構化數(shù)據 動態(tài)的無結構或半結構數(shù)據 需求表示 檢索詞 興趣模板 目標 選擇相關信息 過濾掉不相關的信息 用戶特點 大范圍多用戶的短期使用 小范圍少用戶的長期使用 郵件系統(tǒng)信息過濾和新聞組信息服務是信息過濾技術的典型應用。在新聞組信息服務中，用戶輸入自己感興趣的一組關鍵詞，新聞組信息服務通過關鍵詞建立用戶檔案。當新聞組中加入新信息時，信息過濾系統(tǒng)對新信息進行過濾，將滿足用戶需求的新信息反饋給用戶。新聞組信息服務也可以分析用戶訂閱的信息自動抽取關鍵詞，簡歷用戶檔案 ，然后通過信息過濾系統(tǒng)將用戶感興趣的新信息反饋給用戶。 信息過濾技術也是實現(xiàn)推薦系統(tǒng)的關鍵技術。例如， 提供的 Eyes推薦就是一個典型的基于關鍵詞檢索的信息過濾系統(tǒng)。用戶輸入基于作者、標題、主題、 ISBN 和出版日期的關鍵詞， Eyes 推薦根據用戶輸入的關鍵詞，建立用戶檔案。當產品目錄中加入新書時， Eyes 推薦根據用戶輸入的關鍵詞和新書提供的相關信息，選擇用戶感興趣的新書作為推薦結果，通過 EMail 的方式推薦給用戶。 數(shù)據挖掘技術 數(shù)據挖掘 (DataMining),也叫數(shù)據庫發(fā)現(xiàn)知 識 (KDD, Knowledge Discovery in Database),就是從數(shù)據庫中提取隱含的、先前未知的、潛在有用的知識或信息模式的決策支持方法。數(shù)據挖掘是 20 世紀 90 年代初針對 “數(shù)據爆炸 ,知識貧乏 ”這一問題而出現(xiàn)的一種新技術 ,是處理海量信息的有效手段。同傳統(tǒng)的統(tǒng)計分析技術相比 ,數(shù)據挖掘的主要特點是系統(tǒng)的主動性。傳統(tǒng)的統(tǒng)計分析技術具有確切性 ,電子商務推薦系統(tǒng)關鍵技術研究 梁銳彪 是正向思維 ,即首先由用戶設定一個前提 ,然后證實或否定它 ,是用戶發(fā)揮主動性 。而數(shù)據挖掘技術具有探索性 ,是一種逆向思維 ,即由系統(tǒng)發(fā)現(xiàn)一合適的前提 ,再證實或否定 ,是系統(tǒng)在發(fā)揮主動性。 自從 KDD 一詞首次出現(xiàn)在 1989 年 8 月舉行的第 11 屆國家聯(lián)合人工智能學術會議上。 1995 年在加拿大蒙特利爾市召開的第一屆 KDD 國際學術會議。隨著研究的深入，數(shù)據挖掘技術研究組建成為計算機領域的一個熱門課題，得到了越來越多研究者的關注。許多數(shù)據挖掘專題會議紛紛涌現(xiàn)，如PAKDD,PKDD,DLSMDataMing 等。 目前，數(shù)據挖掘技術在理論和應用上都已經得到了巨大的發(fā)展。數(shù)據挖掘能夠從關系數(shù)據、文本數(shù)據、多媒體數(shù)據、時間序列、空間數(shù)據、異質數(shù)據等多種數(shù)據源中挖掘知識。數(shù)據挖掘采用的技 術包括數(shù)據庫、數(shù)據倉庫和 OLAP、統(tǒng)計、機器學習、可視化、神經元網絡等不同領域的技術，如圖 所示。數(shù)據挖掘技術面向應用領域，它不僅是面向特定數(shù)據庫的簡單檢索查詢調用，而且，要對數(shù)據進行微觀、中觀、乃至宏觀的統(tǒng)計、分析、綜合和推理，以指定實際問題的求解，企圖發(fā)現(xiàn)事件間的相互關聯(lián)，甚至利用已有的數(shù)據對未來的活動進行預測。數(shù)據挖掘技術在金融、保險、電信、大型超市等積累有大量數(shù)據的電子商務行業(yè)有著廣泛的應用，如信用分析、風險分析、欺詐檢驗、用戶聚類分析、消費者習慣分析等。 圖 典型數(shù)據