【正文】 挖掘系統(tǒng)結(jié)構(gòu) 電子商務(wù)推薦系統(tǒng)關(guān)鍵技術(shù)研究 梁銳彪 數(shù)據(jù)挖掘過(guò)程 數(shù)據(jù)挖掘就是從大型數(shù)據(jù)庫(kù)的數(shù)據(jù)中提取人們感興趣的知識(shí)，這些知識(shí)是隱含的、事先未知的潛在有用信息，提取的知識(shí)表示為概念（ concepts）、規(guī)則（ rules）規(guī)律（ regularities）、模式（ patterns）等形式 [42]。從更廣泛的角度來(lái)說(shuō)：數(shù)據(jù)挖掘意味著在一些事實(shí)或者觀察數(shù)據(jù)的集合中尋找模式的決策支持過(guò)程。是利用各種工具在海量數(shù)據(jù)中發(fā)現(xiàn)模型和數(shù)據(jù)間關(guān)系即知識(shí)的過(guò)程，是提高決策科學(xué)性的有利工具。 一般來(lái)說(shuō)，數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中 ，提取隱含在其中的，人們事先不知道的，但又潛在有用的信息和知識(shí)的過(guò)程。 數(shù)據(jù)挖掘是一個(gè)過(guò)程的工程，一般有三個(gè)主要的階段組成：數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、結(jié)構(gòu)表達(dá)和解釋。也可以粗略分為：建立目標(biāo)數(shù)據(jù)集、數(shù)據(jù)清理和預(yù)處理、選擇特定的數(shù)據(jù)挖掘算法、結(jié)果的解釋和評(píng)估以及知識(shí)驗(yàn)證及應(yīng)用等幾個(gè)過(guò)程。如圖 所示。 圖 數(shù)據(jù)挖掘基本過(guò)程 （ 1）建立目標(biāo)數(shù)據(jù)集 確定數(shù)據(jù)對(duì)象，清晰地定義出業(yè)務(wù)問(wèn)題，一方面明確實(shí)際工作對(duì)數(shù)據(jù)挖掘的要求，另一方面通過(guò)對(duì)各種學(xué)習(xí)算法的對(duì)比而確定可用的學(xué)習(xí)算法。 （ 2）數(shù)據(jù)清理和預(yù)處理 數(shù)據(jù)的 質(zhì)量影響著挖掘的結(jié)果，因?yàn)橐M(jìn)行數(shù)據(jù)清理和預(yù)處理。一般包括消除噪聲和無(wú)關(guān)數(shù)據(jù)、推導(dǎo)計(jì)算缺值數(shù)據(jù)、消除重復(fù)記錄、考慮時(shí)間順序，完成數(shù)據(jù)類(lèi)型轉(zhuǎn)換等。 電子商務(wù)推薦系統(tǒng)關(guān)鍵技術(shù)研究 梁銳彪 （ 3）選擇特定的數(shù)據(jù)挖掘算法并執(zhí)行算法 首先根據(jù)對(duì)問(wèn)題的定義明確挖掘的任務(wù)或目的，如分類(lèi)、聚類(lèi)、關(guān)聯(lián)規(guī)則現(xiàn)或序列模式發(fā)現(xiàn)等。確定挖掘任務(wù)后，進(jìn)行算法的選擇。選擇實(shí)現(xiàn)算法要考慮兩個(gè)因素：一是數(shù)據(jù)特點(diǎn)各異，需要用與之相關(guān)的算法來(lái)挖掘；二是考慮用戶(hù)或?qū)嶋H運(yùn)行系統(tǒng)的要求，有的用戶(hù)希望獲取描述型的容易理解的知識(shí)，而有的用戶(hù)只是獲取預(yù)測(cè)準(zhǔn)確度盡可能高的預(yù)測(cè)型知識(shí)。 （ 4）結(jié)果 解釋和評(píng)估 數(shù)據(jù)挖掘階段發(fā)現(xiàn)出來(lái)的模式，可能存在冗余或無(wú)關(guān)的模式，需要將其剔除。也可能模式不滿(mǎn)足用戶(hù)要求，需要整個(gè)發(fā)現(xiàn)過(guò)程回退到前一個(gè)階段。另外，數(shù)據(jù)挖掘是面向最終用戶(hù)的，需要對(duì)發(fā)現(xiàn)的模式進(jìn)行可視化，或者將結(jié)果轉(zhuǎn)換為用戶(hù)易懂的表示方式。 （ 5）知識(shí)驗(yàn)證及應(yīng)用 將以上步驟挖掘出的知識(shí)與運(yùn)行系統(tǒng)結(jié)合，發(fā)揮知識(shí)的作用或證明知識(shí)，用預(yù)先可信的知識(shí)檢查和解決知識(shí)中可能存在的矛盾。 數(shù)據(jù)挖掘知識(shí)分類(lèi)和數(shù)據(jù)挖掘方法 數(shù)據(jù)中隱藏的知識(shí)有各種各樣的形式，這些知識(shí)實(shí)際上是大量數(shù)據(jù)之間的某種關(guān)系。大致說(shuō)來(lái)，數(shù)據(jù)挖掘 中的知識(shí)可以分為如下幾類(lèi) [43]： 1）分類(lèi)（ Classification）：將數(shù)據(jù)劃分到事先定義好的類(lèi)別中去。 2）回歸（ Regression）：將數(shù)據(jù)項(xiàng)映射到若干預(yù)定義的變量上。 3）聚類(lèi)（ Clustering）：將數(shù)據(jù)劃分到幾個(gè)聚類(lèi)之中去。 4）概括（ Summarization）：為數(shù)據(jù)的一個(gè)子集給出一個(gè)簡(jiǎn)潔的描述。 5）依賴(lài)性模型（ Dependency Modeling）：描述變量之間的相互依賴(lài)性。 6）鏈接分析（ Link Analysis）：判斷數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中字段之間存在的關(guān)系。如關(guān)聯(lián)規(guī)則。 7）序列分析（ Sequence Analysis）：構(gòu)造順序模型，發(fā)現(xiàn)數(shù)據(jù)之間在時(shí)間上的相關(guān)性。 數(shù)據(jù)挖掘是一個(gè)多學(xué)科領(lǐng)域，其采用的技術(shù)來(lái)自各個(gè)不同的領(lǐng)域，主要的數(shù)據(jù)挖掘方法包括： 電子商務(wù)推薦系統(tǒng)關(guān)鍵技術(shù)研究 梁銳彪 1）統(tǒng)計(jì)分析方法：利用統(tǒng)計(jì)學(xué)和概率論對(duì)關(guān)系中各個(gè)屬性進(jìn)行統(tǒng)計(jì)分析，找出它們之間存在的關(guān)聯(lián)。 2）人工神經(jīng)網(wǎng)絡(luò)：模仿生物神經(jīng)網(wǎng)絡(luò)，通過(guò)訓(xùn)練進(jìn)行學(xué)習(xí)的非線性預(yù)測(cè)模型，可以完成分類(lèi)，聚類(lèi)等多種數(shù)據(jù)挖掘任務(wù)。 3）決策樹(shù)：用樹(shù)型結(jié)構(gòu)表示決策集合，決策集合通過(guò)對(duì)數(shù)據(jù)集分析產(chǎn)生。典型的決策數(shù)方法如分類(lèi)回歸樹(shù)，主要用于分類(lèi)挖掘。 4）遺傳算法 ：一種新的優(yōu)化技術(shù)，基于生物進(jìn)化的概念設(shè)計(jì)了一系列過(guò)程來(lái)達(dá)到優(yōu)化的目的，包括基因組合，交又，變異和自然選擇。 5）粗糙集：粗糙集是一種處理模糊和不確定性問(wèn)題的新型數(shù)學(xué)工具，粗糙集可以用于數(shù)據(jù)挖掘中的數(shù)據(jù)簡(jiǎn)化、關(guān)聯(lián)規(guī)則挖掘等。 6）模糊邏輯：模糊邏輯融合了模糊集合二值邏輯概念。在數(shù)據(jù)挖掘中，模糊邏輯可以用來(lái)進(jìn)行證據(jù)合成、置信度計(jì)算等。 7）最近鄰技術(shù)：這種技術(shù)通過(guò) K 個(gè)最相似的歷史紀(jì)錄的組合來(lái)辨別新的紀(jì)錄。可以用于聚類(lèi)分析、偏差分析等。 8）規(guī)則歸納：通過(guò)統(tǒng)計(jì)方法歸納，提取有價(jià)值的 IFTHEN 規(guī)則，可用于關(guān)聯(lián) 規(guī)則挖掘等。 9）可視化：采用直觀的圖形方式將信息模式、數(shù)據(jù)關(guān)聯(lián)或趨勢(shì)呈現(xiàn)給決策者，決策者可以通過(guò)可視化技術(shù)交互式分析數(shù)據(jù)關(guān)系。 數(shù)據(jù)挖掘與推薦系統(tǒng) 電子商務(wù)推薦系統(tǒng)（ Remendation Systems for ECommerce）的正式定義由 Resnick 和 Varian 在 1997 年給出的， “電子商務(wù)個(gè)性化推薦系統(tǒng)是利用電子商務(wù)網(wǎng)站向用戶(hù)提供產(chǎn)品信息和相關(guān)建議，幫助用戶(hù)決定購(gòu)買(mǎi)什么產(chǎn)品，通過(guò)模擬銷(xiāo)售人員幫助用戶(hù)完成購(gòu)物過(guò)程的系統(tǒng) ”。這個(gè)定義現(xiàn)在已經(jīng)被廠 39。泛的引用。推薦系統(tǒng)的使用者是 用戶(hù)，推薦的對(duì)象是項(xiàng)目。項(xiàng)目是推薦系統(tǒng)提供給用戶(hù)的產(chǎn)品或服務(wù)，也即最終的推薦內(nèi)容。 電子商務(wù)推薦系統(tǒng)是將數(shù)據(jù)挖掘技術(shù)應(yīng)用于電子商務(wù)領(lǐng)域的范例 [44]隨著電子商務(wù)的應(yīng)用，數(shù)據(jù)庫(kù)中可以收集到大量的用戶(hù)數(shù)據(jù)，如用戶(hù)交易數(shù)據(jù)，用戶(hù)注冊(cè)數(shù)據(jù)、用戶(hù)評(píng)分評(píng)價(jià)數(shù)據(jù)、用戶(hù)投票數(shù)據(jù)等 。同時(shí)， Web 服務(wù)器中也保存著用電子商務(wù)推薦系統(tǒng)關(guān)鍵技術(shù)研究 梁銳彪 戶(hù)訪問(wèn)電子商務(wù)系統(tǒng)的日志數(shù)據(jù)、用戶(hù)購(gòu)物籃信息等，這些數(shù)據(jù)中蘊(yùn)含著豐富的知識(shí)，基于數(shù)據(jù)挖掘的推薦系統(tǒng)通過(guò)數(shù)據(jù)挖掘技術(shù)對(duì)用戶(hù)行為和用戶(hù)屬性進(jìn)行學(xué)習(xí)，從中獲取有價(jià)值的知識(shí)，根據(jù)得到的知識(shí)產(chǎn)生推薦 [45]。 基于數(shù)據(jù)挖掘的推 薦系統(tǒng)根據(jù)數(shù)據(jù)挖掘技術(shù)建立用戶(hù)檔案 [44]。用戶(hù)檔案的建立可以基于對(duì)用戶(hù)長(zhǎng)期行為的分析，如用戶(hù)的瀏覽記錄、購(gòu)買(mǎi)歷史、性別、職業(yè)、收入、年齡等。也可以基于用戶(hù)的當(dāng)前行為，如用戶(hù)當(dāng)前的會(huì)話(huà)行為、當(dāng)前購(gòu)物籃信息、當(dāng)前瀏覽商品等。 電子商務(wù)推薦系統(tǒng)中的數(shù)據(jù)挖掘主要包括關(guān)聯(lián)規(guī)則挖掘和分類(lèi)挖掘兩類(lèi)[46]。關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘中的一個(gè)重要研究?jī)?nèi)容 [46][47]。在電子商務(wù)領(lǐng)域，關(guān)聯(lián)規(guī)則挖掘根據(jù)銷(xiāo)售數(shù)據(jù)發(fā)現(xiàn)不同商品在銷(xiāo)售過(guò)程中的相關(guān)性。關(guān)聯(lián)規(guī)則挖掘在電子商務(wù)推薦系統(tǒng)中的應(yīng)用主要包括定點(diǎn)廣告投放和商品推薦。所謂定點(diǎn)廣告投放，就是通過(guò)關(guān)聯(lián)規(guī)則挖掘，將特定廣告投放給可能感興趣的用戶(hù)?；陉P(guān)聯(lián)規(guī)則的商品推薦根據(jù)生成的關(guān)聯(lián)規(guī)則模型和用戶(hù)的購(gòu)買(mǎi)行為產(chǎn)生推薦結(jié)果。分類(lèi)挖掘模型根據(jù)用戶(hù)的輸入信息將之劃分為相應(yīng)類(lèi)別，基于分類(lèi)挖掘的推薦系統(tǒng)根據(jù)用戶(hù)輸入信息和項(xiàng)的特征信息，預(yù)測(cè)是否向用戶(hù)推薦該項(xiàng)。分類(lèi)挖掘通過(guò)對(duì)訓(xùn)練集進(jìn)行學(xué)習(xí)，訓(xùn)練出對(duì)應(yīng)的分類(lèi)器，然后利用該分類(lèi)器對(duì)新用戶(hù)進(jìn)行分類(lèi)。當(dāng)訓(xùn)練集發(fā)生變化時(shí)，需要重新進(jìn)行訓(xùn)練以得到新的分類(lèi)器。分類(lèi)挖掘模型可以通過(guò)多種機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)，如聚類(lèi) [48][49]、 Bayesian 網(wǎng)絡(luò) [50]、神經(jīng)網(wǎng)絡(luò)等 [51]。 協(xié)同過(guò)濾技術(shù) 基于內(nèi)容的過(guò)濾（ Contentbased Filtering）根據(jù)信息的內(nèi)容特性進(jìn)行過(guò)濾，將信息流和用戶(hù)檔案文件進(jìn)行匹配，基于匹配程序確定該信息流對(duì)用戶(hù)是否有價(jià)值。例如 INFOSCOPE 利用基于規(guī)則的 Agent 分析用戶(hù)的使用風(fēng)格、監(jiān)測(cè)信息的內(nèi)容特征、判斷其是否是用戶(hù)感興趣的，并向用戶(hù)提供建議?；趦?nèi)容的推薦技術(shù)可以用圖 更形象化的描述。 電子商務(wù)推薦系統(tǒng)關(guān)鍵技術(shù)研究 梁銳彪 圖 基于內(nèi)容的過(guò)濾示意圖 基于內(nèi)容的過(guò)濾方法主要存在如下不足 [52]： 1）特征提取的能力有限：通常只能對(duì)資源進(jìn)行比較簡(jiǎn)單的特征提取，在一些特定領(lǐng)域如圖形、圖像、視頻、音樂(lè)等媒體，目前還沒(méi)有有效的特征提取方法。即使文本資源，其特征提取方法也只能反映資源的內(nèi)容，但是難以提取資源的質(zhì)量、風(fēng)格等信息。 2）推薦的資源過(guò)于狹窄：系統(tǒng)盡可能向用戶(hù)推薦最符合用戶(hù)檔案的信息，因此，推薦將局限于跟用戶(hù)以前瀏覽的資料類(lèi)似的信息。 協(xié)同過(guò)濾 (CF， Collaborative Filtering）可以有效解決基于內(nèi)容的過(guò)濾存在的問(wèn)題 [53]。在協(xié)同過(guò)濾中，用戶(hù)通過(guò)相互協(xié)作來(lái)選擇信息，它依據(jù)其他 用戶(hù)對(duì)信息作出的評(píng)價(jià)來(lái)挑選信息。協(xié)作方常常是用戶(hù)所信任的朋友、同事等，依據(jù)他們的判斷向用戶(hù)推薦信息。協(xié)同過(guò)濾方法對(duì)用戶(hù)的行為進(jìn)行分析，并不關(guān)心信息的實(shí)際內(nèi)容。自動(dòng)化協(xié)同過(guò)濾系統(tǒng)通過(guò)收集用戶(hù)對(duì)信息的評(píng)價(jià)，搜索具有相同興趣喜好的用戶(hù)，然后根據(jù)具有相同興趣喜好的用戶(hù)對(duì)信息的評(píng)價(jià)產(chǎn)生推薦結(jié)果。協(xié)同推薦技術(shù)可以用圖 形象化的表示。 資 源 用 戶(hù) A 的興趣概貌 用戶(hù) A 電子商務(wù)推薦系統(tǒng)關(guān)鍵技術(shù)研究 梁銳彪 圖 協(xié)同推薦技術(shù)示意圖 和基于內(nèi)容的過(guò)濾方法相比，協(xié)同過(guò)濾具有如下優(yōu)點(diǎn) [52][53]： 1）適合于過(guò)濾難以分析內(nèi)容的資 源：協(xié)同過(guò)濾不關(guān)心資源的具體內(nèi)容，因此，在難以分析資源內(nèi)容的情況下，如圖形、圖像、視頻、音樂(lè)等，協(xié)同過(guò)濾是很好的選擇。 2）新奇的推薦：協(xié)同過(guò)濾可以發(fā)現(xiàn)內(nèi)容上完全不相似的資源，用戶(hù)對(duì)推薦信息的內(nèi)容事先是預(yù)料不到的。 協(xié)同過(guò)濾推薦是當(dāng)前最成功的推薦技術(shù)。最近鄰協(xié)同過(guò)濾根據(jù)評(píng)分相似的最近鄰居的評(píng)分?jǐn)?shù)據(jù)向目標(biāo)用戶(hù)產(chǎn)生推薦。由于最近鄰居對(duì)項(xiàng) (電子商務(wù)中的商品 ,電影，音樂(lè)等）的評(píng)分與目標(biāo)用戶(hù)非常相似，因此目標(biāo)用戶(hù)對(duì)未評(píng)分項(xiàng)的評(píng)分可以通過(guò)最近鄰居對(duì)項(xiàng)評(píng)分的加權(quán)平均值逼近 [54]。 協(xié)同過(guò)濾推薦通過(guò)用戶(hù)對(duì)項(xiàng)的評(píng)分信息產(chǎn) 生推薦，用戶(hù)對(duì)項(xiàng)的評(píng)分信息可以通過(guò)隱式和顯式兩種方式得到。隱式方式通過(guò)用戶(hù)瀏覽或購(gòu)買(mǎi)過(guò)的商品推斷用戶(hù)興趣愛(ài)好。顯式方式則讓用戶(hù)直接輸入用戶(hù)對(duì)商品的數(shù)字評(píng)分和文本評(píng)價(jià)信息協(xié)同過(guò)濾推薦系統(tǒng)通過(guò)用戶(hù)對(duì)項(xiàng)的評(píng)分信息，建立用戶(hù)檔案，然后使用不同的推薦機(jī)制提供推薦服務(wù)。 最簡(jiǎn)單的協(xié)同過(guò)濾系統(tǒng)計(jì)算所有用戶(hù)對(duì)項(xiàng)的平均評(píng)分，選擇平均評(píng)分最高的用 戶(hù) A 的興趣概貌 用 戶(hù) B 的興趣概貌 用戶(hù) A 用戶(hù) B 電子商務(wù)推薦系統(tǒng)關(guān)鍵技術(shù)研究 梁銳彪 前 N 個(gè)項(xiàng)作為推薦結(jié)果推薦給用戶(hù)。這種推薦機(jī)制根據(jù)所有的用戶(hù)評(píng)分信息產(chǎn)生推薦，所有用戶(hù)在同一時(shí)間得到的推薦都是相同的，因此這種推薦方法又稱(chēng)為非個(gè)性化推薦。 Tapestry 是最早提出的個(gè)性 化協(xié)同過(guò)濾推薦系統(tǒng)。用戶(hù)需要明確指出與自己興趣愛(ài)好相似的其他用戶(hù)，推薦系統(tǒng)根據(jù)指定的其他用戶(hù)對(duì)商品的評(píng)價(jià)信息產(chǎn)生推薦結(jié)果。與之類(lèi)似， Maltz 等人提出的個(gè)性化協(xié)同過(guò)濾推薦系統(tǒng)允許用戶(hù)向自己熟悉的用戶(hù)群體主動(dòng)提供推薦信息。在上述協(xié)同過(guò)濾推薦系統(tǒng)中，用戶(hù)之間必須了解對(duì)方的興趣愛(ài)好，因此一般只適用于用戶(hù)數(shù)量比較小的場(chǎng)合。 隨著電子商務(wù)系統(tǒng)的發(fā)展，用戶(hù)和項(xiàng)的數(shù)量逐漸擴(kuò)大，與之相適應(yīng)，研究者提出了自動(dòng)個(gè)性化協(xié)同過(guò)濾推薦系統(tǒng)。在自動(dòng)個(gè)性化協(xié)同過(guò)濾推薦系統(tǒng)中，系統(tǒng)自動(dòng)識(shí)別用戶(hù)的最近鄰居，根據(jù)最近鄰居對(duì)項(xiàng)的評(píng)價(jià)產(chǎn)生推薦。 GroupLens 是最早提出的的自動(dòng)個(gè)性化協(xié)同過(guò)濾推薦系統(tǒng)，用于從大量的新聞中搜索用戶(hù)感興趣的新聞列表。 MovieLens 自動(dòng)個(gè)性化協(xié)同過(guò)濾推薦系統(tǒng)用于產(chǎn)生電影推薦。 Video 自動(dòng)個(gè)性化協(xié)同過(guò)濾推薦系統(tǒng)和 Ringo 自動(dòng)個(gè)性化協(xié)同過(guò)濾推薦系統(tǒng)分別用于推薦電影和音樂(lè)唱片。 Video 推薦系統(tǒng)證明，相對(duì)于基于電影評(píng)論的推薦而言，使用協(xié)同過(guò)濾推薦技術(shù)可以大大提高推薦系統(tǒng)的推薦質(zhì)量。PHOAK 系統(tǒng)使用用戶(hù)隱式評(píng)分產(chǎn)生推薦， PHOAK 系統(tǒng)根據(jù)新聞貼的發(fā)表和閱讀情況分析出每個(gè)新聞組中最受用戶(hù)歡迎的站點(diǎn)。研究表明這種技術(shù)可以 有效識(shí)別站點(diǎn)的受歡迎程度。 基于協(xié)同過(guò)濾的推薦系統(tǒng)在電子商務(wù)系統(tǒng)中非常流行。 MYCDNOW 采用基于隱式評(píng)分和顯式評(píng)分的混合評(píng)分模式提供 CD 唱片推薦。在 MYCDNOW 推薦中，當(dāng)用戶(hù)對(duì)推薦系統(tǒng)請(qǐng)求推薦時(shí)，推薦系統(tǒng)自動(dòng)搜索用戶(hù)的最近鄰居，然后根據(jù)最近鄰居的評(píng)分信息向用戶(hù)提供六個(gè)推薦結(jié)果。 第 3 章 電子商務(wù)推薦系統(tǒng)基礎(chǔ)理論 電子商務(wù)推薦系統(tǒng) 電子商務(wù)系統(tǒng)通過(guò)互聯(lián)網(wǎng)建立虛擬的網(wǎng)上商店，但這些虛擬的網(wǎng)上商店并沒(méi)有配備相應(yīng)的銷(xiāo)售人員來(lái)引導(dǎo)用戶(hù)購(gòu)物。隨著電子商務(wù)系統(tǒng)規(guī)模的不斷擴(kuò)大，商品越來(lái)越多，這一方面讓用戶(hù)有了 更大的選擇空間，另一方面也增加了用戶(hù)購(gòu)買(mǎi)電子商務(wù)推薦系統(tǒng)關(guān)鍵技術(shù)