【正文】 而提升了客 戶的訪問速度【８１。協同過濾 （Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｆｉｌｔｅｒｉｎｇ，ＣＦ）被認為是電子商務推薦技術中應用最廣泛的、效果最 好的推薦算法。 １．３創(chuàng)新點及組織結構 １．３．１主要創(chuàng)新點 本文在大量的電子商務數據挖掘研究和電子商務推薦系統(tǒng)研究的基礎上，結 合電子商務目前研究的熱點以及電子商務推薦系統(tǒng)中遇到的瓶頸問題，提出了基 于數據倉庫和數據挖掘的電子商務推薦系統(tǒng)，主要創(chuàng)新點為： １、構建了電子商務數據倉庫的事實星座模型，將數據倉庫技術和數據挖掘 技術結合起來應用到電子商務中，為電子商務推薦系統(tǒng)以及電子商務數據挖掘提 供面向主題、規(guī)范的數據。針對不同的客戶采取不同的模式挖 ４ 蘭州大學碩士學位論文 基于ＣＦ的個性化電子商務推薦系統(tǒng)研究 掘方式，并根據客戶的不同將協同過濾算法進行降維處理，為客戶提供個性化很 強的推薦服務，提高推薦質量。 第一章為緒論部分，主要介紹了本文選題的意義，目前研究現狀。 第三章對數據挖掘技術在電子商務中的應用進行了闡述，提出電子商務推薦 系統(tǒng)的系統(tǒng)結構及關鍵技術，重點介紹了關聯規(guī)則和協同過濾算法，為面向客戶 的電子商務推薦系統(tǒng)提供技術保障。 第五章是總結與展望部分，總結了本文的主要工作，對未來工作進行展望。原始數據經過數據抽取、數據轉換、數據清理、 數據集成、數據裝載等環(huán)節(jié)存入數據倉庫，并為數據挖掘提供數據支持和保障。 ２。在數據挖掘中，客戶注冊信息要和訪問日志、客戶評分等信息進行集成， ６ 蘭州大學碩士學位論文 基于ＣＦ的個性化電子商務推薦系統(tǒng)研究 便于更進一步了解客戶需求，以提高數據挖掘的準確度。 ３、客戶端的訪問請求信息?？蛻粼L問電子商務網站， 便會在服務器上留下記錄，這些客戶瀏覽記錄可分為查詢數據和ｗｅｂ同志文件【１５】 【１６】【ｌ ７】，其中ｗｅｂ日志文件包括ｅｒｒｏｒ ｌｏｇｓ、ｃｏｏｋｉｅ ｅｒｒｏｒ ｌｏｇｓ、ｓｅｒｖｅｒ ｌｏｇｓ。 ｃｏｏｋｉｅ ｌｏｇｓ： Ｃｏｏｋｉｅｓ記錄客戶訪問服務器的信息。 Ｓｅｒｖｅｒ ｌｏｇｓ： ｌｏｇｓ包含的內容有：“ｎａｍｅ，ｐａｔｈ ｅｘｐｉｒｙ，ｄａｔｅ，ｄｏｍａｉｎ，ｓｅｃｕｒｉｔｙ Ｓｅｒｖｅｒ ｌｏｇｓ按照兩種格式進行存儲【１ ８１，普通日志文件格式ＣＬＦ（Ｃｏｍｍｏｎ Ｌｏｇ Ｆｏｒｍａｔ）格式或擴展同志文件格式ＥＣＬＦ（Ｅｘｔｅｎｄｅｄ Ｃｏｍｍｏｎ ＣＬＦ包含“Ｄａｔｅ，Ｕｓｅｒ ｎａｍｅ，Ｃｌｉｅｎｔ Ｌｏｇ Ｆｏｒｍａｔ）。ＥＣＬＦ包括以下數據域：ＩＰＡｄｄｒｅｓｓ，也就是發(fā)出請求的客 戶的ＩＰ地址；Ｔｉｍｅ／Ｄａｔｅ，為服務器端收到客戶請求的時間：Ｍｅｔｈｏｄ／ＵＲＬ／Ｐｒｏｔｏｃｏｌ， 即客戶請求的方法、請求的ＵＲＬ以及使用的協議。ＵＲＬ地址包括 以下信息：Ｓｔａｔｕｓ，即對客戶請求的應答返回碼；Ｓｉｚｅ，即返回的字節(jié)數；Ｒｅｆｅｒｒｅｒ， 即當前ＵＲＬ的引用頁；Ａｇｅｎｔ，即客戶端使用的操作系統(tǒng)或瀏覽器軟件。如客戶搜索某種商品或某 些廣告信息，這些信息通過ｃｏｏｋｉｅ或者客戶注冊信息連接到服務器的訪問日志 卜。顯式數據指 客戶直接給出的自己的偏好信息，如典型的客戶對商品進行等級評價的數據。但是顯式數據比較難獲取，因為大多 數的客戶可能因為隱私而不愿給出自己的偏好信息，另外對商品進行評分也會增 加客戶的負擔。如客戶對某商品 比較感興趣，便會在在商品的頁面上瀏覽時問較長。 但是，這種方法對數據處理技術要求較高，要進行大量的處理才能轉化為對決策 者有用的信息。由于電子商務的數據挖掘具有較強的動態(tài)性，所以電子商務數據倉庫需要 增量的從客戶數據庫、商業(yè)交易數據庫和Ｗｅｂ使用日志中提取數據。但是，對于未注冊的客戶很難獲取該類 信息；商業(yè)數據庫用來記錄客戶進行商品交易的數據，包括客戶ＩＤ、客戶名、 交易時間、交易商品名稱、交易商品數量、交易商品價格、銷售地點等信息； Ｗｅｂ使用Ｒ志數據記錄客戶對電子商務站點的瀏覽訪問行為，通常以ＣＬＦ、ＥＣＬＦ 兩種日志格式進行存儲信息，與電子商務數據挖掘相關的信息主要包括客戶ＩＰ 地址、請求域、狀態(tài)域、代理域、引用域、大小域和時問戳信息。 這些數據很難直接應用于電子商務決策支持和電子商務推薦系統(tǒng)中，這就需要我 們對這些數據進行轉換和消噪處理，將其轉變?yōu)檫m合電子商務數據挖掘和模式發(fā) 現的數據形式。數據清洗是指消除數據中的冗余和噪聲，清除與電子商務數據挖 掘任務無關的客戶訪問日志記錄。 首先，我們需要進行相關識別工作。 我們可將服務器日志文件中后綴為西ｆ，ｊＰｇ，ｊｐｅｇ和ｍａｐ的記錄項刪除；將 請求失敗的記錄刪除。 去掉對電子商務數據挖掘無關的信息，經過數據清洗、數據轉換后，將數據 存到如表２．１結構的數據表中。 ！ｇＩ朗ｔ ３、客戶識別 客戶識別主要有兩種方式：一種是通過客戶的注冊登記信息進行識別；一種 是通過客戶的ＩＰ地址進行識別。通過客戶的ＩＰ地址進行識別，受到代理服務 器、防火墻和本地緩存的影響，可能使得具有相同的ＩＰ地址的訪問對應著不同 的客戶。我們可以通過以下方法進行識別： （１）訪問者的Ｐ地址不同，代表訪問者為不同的客戶； （２）ＩＰ地址相同但是代理域不同，代表不同客戶； 一■ ■● ■ ● ■ ■ ■ ■ ■●■ ●■ ■＿ Ｃｈａｒ（３００） 垡壟籃皇 ￡！亟１５００２Ｉ （３）ＩＰ地址相同，但客戶當前請求的頁面與歷史訪問的頁面之間沒有超鏈 接關系，我們認為不同的客戶； （４）ＩＰ地址相同，但是客戶所使用操作系統(tǒng)或網絡瀏覽器不同，代表著不 同的客戶。會話表示客戶在一次電子商務網站的瀏覽過程中連續(xù)訪問的網頁 頁面的序列集合。 其中ｕｉｄ是客戶的標識符，用來確定具體的客戶； ｕｒｌｉ和ｔｉｍｅｉ分別表示為會話 第ｉ次訪問的頁面和該頁面被訪問的時間；ｔｉｍｅｂ和ｔｉｍｅｅ分別表示會話的開始和 結束時間。這樣就造成電子商務Ｗｅｂ服務器的訪問日 志文件沒有記錄本次請求，從而使得Ｗｅｂ服務器訪問日志中所記錄的路徑與客 戶的實際訪問路徑不符，可能不是客戶完整的訪問路徑。所 以，我們認為對客戶的訪問路徑進行有效的補充是有必要的。 ｄ 圖２．５客戶訪問路徑前綴樹 根據客戶訪問路徑前綴樹圖，結合頁面進行分析，便可以對客戶訪問路徑進 行補充。 （２）路徑補充：首先對客戶的訪問日志進行檢查，如果客戶歷史訪問記錄 中有這個頁面的參照頁，我們認為客戶使用了“后退”按鈕。文獻‘２’】取兩個頁面訪問時間的中蒯點作為補充頁面的訪問時問。我們將Ｗｅｂ使 用日志、客戶數據庫、商業(yè)數據庫中的數據進行合并，并集裝載到格式一致的電 子商務數據倉庫中。 蘭州大學碩士學位論文 基于ＣＦ的個性化電子商務推薦系統(tǒng)研究 釜等 蠱要一 ∞一∞一．：２Ｊ ５ｉ ～一 一 似一曲 一 ～一 一一 一一 一一 一 ～一～一 一～一 一 一 一 萋三蘭～ 一 ～ 一 一～ 一 一 留～叼～吖～ｑ 卵～ｍ Ⅲ一潮 盯一 客戶行為事實表 ～一 ～一 ～一 ～一 一一 ０一ｏ～０—０—０一ｄｄ—ｄ—ｄ—ｄ—ｄ一●一一 珂． ｋ—ｎ—ｔ—Ｃ—Ｓ一舊 吖一硼一陽一以一ｎ一她 蘭．ｉｊ曲 Ｏ—Ｏ—ｒ一．１ ｙ一一 ｋ—ｙ—ｎ— 一竺 ｂ—ｂ—ｂ ｅ—ｅ—ｅ ｈ—ｈ—ｈ Ｃ—ｎ—ｏ—ｔ ｔ一仃一．一 ｙ ａ一一ａ一一日Ｊ ｋ—Ｉ—ｔ ｅ—Ｄ—ｙ 一ｐ 一ｅ 燜一 一 一～一～ 圖２．６電子商務數據倉庫事實星座模型 由圖２．６可以看出事實星座模型主要由事實表和維表兩個部分構成。我們根據事實表分析維之間的關系。如表２．２ 所示，銷售事實表包含５個維表的關鍵字：客戶維表關鍵字ｕｓｅｒ＿ｋｅｙ、時間維表 鍵字ｔｉｍｅ＿ｋｅｙ、地點維表關鍵字ｌｏｃａ＿ｋｅｙ、產品維表關鍵字ｐｒｏｄ＿ｋｅｙ和活動維表 關鍵字ｂｅｈａ＿ｋｅｙ以及商品銷售單價ｄｏｌｌ—ｓｏｌｄ和商品銷售數量ｕｎｉｔ＿ｓｏｌｄ兩個度量。 表２．３客戶行為事實表 （２）維表。７個維表由多個全序或偏序的概念分層屬 性組成，從而為電子商務的數據挖掘提供從不同角度觀察數據的靈活性和查詢約 束。 蘭州大學碩士學位論文 基于ＣＦ的個性化電子商務推薦系統(tǒng)研究 ２．２．５數據倉庫的管理與維護 根據電子商務的性質，大型的電子商務每天都會產生大量的數據，相關的數 據管理也應該以天或更小的時間粒度開展。 利用ＳＱＬ Ｓｅｒｖｅｒ ２００５ Ｉｎｔｅｇｒａｔｉｏｎ Ｓｅｒｖｉｃｅｓ設計自動更新策略。 （１）因為客戶的購買行為、瀏覽行為、注冊行為，部分維表會產生變化。 （２）因為主題的不同，電子商務數據倉庫會產生不同的事實表。 （３）當維表和事實表更新完成后，需要使用ｓ 以實現數據立方體的自動更新。 ３、最后創(chuàng)建一個作業(yè)，使用ＳＱＬ Ｓｅｒｖｅｒ代理自動執(zhí)行ＳＱＬ Ｓｅｒｖｅｒ ２００５ ２００５ Ｍａｎａｇｅｍｅｎｔ Ｓｔｕｄｉｏ文件系 Ｉｎｔｅｇｒａｔｉｏｎ Ｓｅｒｖｉｃｅｓ（ＳＳＩＳ）包。 ２．３本章小結 本章簡要的介紹了數據倉庫技術的定義、發(fā)展趨勢以及數據倉庫技術的重要 作用，勾畫出基于電子商務數據倉庫系統(tǒng)模型，分析其組成部分；同時本章分析 了針對電子商務系統(tǒng)進行數據挖掘的數據源，詳細的介紹了ｗｅｂ環(huán)境下源數據 的提取、轉換、清理、集成與裝載技術；本章提出數據倉庫的管理與維護方案。 １４ 蘭州大學碩士學位論文 基于ＣＦ的個性化電子商務推薦系統(tǒng)研究 第三章數據挖掘技術 ３．１數據挖掘概述 圖３．１知識發(fā)現流程圖 數據挖掘是近幾年內國內迅速發(fā)展起來的一門新興技術，如圖３．１所示，數 據挖掘是知識發(fā)現的一個步驟，它是用于開發(fā)信息資源的一種新的數據處理技 術。數據挖掘技術的研究和利用，極大的推動了相關行業(yè)的發(fā)展。 如圖３．２所示，一個典型的數據挖掘系統(tǒng)主要包括【２４】數據庫、數據倉庫、信 息庫；數據庫或數據倉庫服務器；數據挖掘引擎；模式評估模塊；知識庫；圖形 用戶界面六個部分。 蘭州大學碩士學位論文 基于ＣＦ的個性化電子商務推薦系統(tǒng)研究 圖３．２數據挖掘系統(tǒng)結構 ３．２數據挖掘在電子商務中的應用 客戶 圖３．３數據挖掘在電子商務中的作用 如圖３．３，數據挖掘在電子商務中的作用主要表現在以下幾個方面： １、數據挖掘技術在電子商務客戶關系處理上的作用： （１）挽留老客戶。通過數據挖掘，可以對已經流失的客戶進行針對性研 究，分析其特征，再把分析結果與數據倉庫中現有的客戶資料進行對比，找出可 １６ 蘭州大學碩士學位論文 基于ＣＦ的個性化電子商務推薦系統(tǒng)研究 能會流失的客戶，然后根據分析模型設計預防客戶流失的方案。根據數據倉庫中的客戶資料，分析忠誠客戶的特征，發(fā) 掘與忠誠客戶具有相似行為的客戶，并將營銷模式客戶興趣結合起來。 （３）客戶分類。 （４）挖掘客戶的潛在購買力。 （５）防范客戶的欺詐行為。 ２、數據挖掘在企業(yè)決策中的作用 （１）挖掘客戶的購買行為，制定合理的營銷策略。通過對商品購買時間上的挖掘，獲得商品的生命周 期，從而制定商品的優(yōu)惠策略。通過對客戶的購買行為分析，建立分析模型，確定市 場的定位和價格定位。 電子商務推薦系統(tǒng)是數據挖掘在電子商務應用中的重點，是電子商務網站客 戶關系管ｔ里（Ｃｕｓｔｏｍｅｒ Ｒｅｌａｔｉｏｎｓｈｉｐ Ｍａｎａｇｅｍｅｎｔ，ｃＲＭ）的重要組成部分【２７】；電子 商務推薦系統(tǒng)是實現電子商務網站“一對一營銷”（ｏｎｅ．ｔｏ．ｏｎｅ ｍａｒｋｅｔｉｎｇ）的重要戰(zhàn) １７ 蘭州大學碩士學位論文 基于ＣＦ的個性化電子商務推薦系統(tǒng)研究 略‘２６】；電子商務推薦系統(tǒng)是電子商務解決客戶信息超載問題的一種重要方案。 ３．３．３電子商務推薦系統(tǒng)的推薦表現形式 電子商務管理者可以通過不同的形式應用電子商務推薦系統(tǒng)的推薦結果。 ２、相似項（Ｓｉｍｉｌａｍｅｍ），根據客戶購買信息分析客戶的興趣，通過購物籃等 ‘ 向客戶推薦相似商品。 ４、Ｔｏｐ．Ｎ：推薦系統(tǒng)根據客戶的喜好向客戶推薦最可能吸引他的Ｎ件產品， 增加客戶的購買興趣，將客戶由網站的瀏覽者轉變?yōu)閷嶋H購買者。 蘭州大學碩士學位論文 基于ＣＦ的個性化電子商務推薦系統(tǒng)研究 ３．４電子商務推薦技術 電子商務推薦技術是電子商務推薦系統(tǒng)的核心和主要部分，目前電子商務網 站推薦技術主要包括信息檢索（Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ）、貝葉斯網絡（Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ）、聚類（Ｃｌｕｓｔｅｒｉｎｇ）、關聯規(guī)則（Ａｓｓｏｃｉａｔｉｏｎ Ｒｕｌｅｓ）、和協同過濾 （Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｆｉｌｔｅｒｉｎｇ）等技術。 ３．４．１信息檢索 ｌ、信息檢索描述 信息檢索技術主要滿足客戶單次查詢請求。信息檢索技術在電子商務網站的主要應用是： （１）商品瀏覽分類，一般的電子商務網站先把網站內所有的商品分成幾個 大類，然后在分成若干小類，依次逐層細分，方便客戶的查詢和瀏覽。數碼又進一步分成手機、