【正文】 個(gè)性化系統(tǒng)，提供個(gè)性化服務(wù)。因此，電子商務(wù)商家紛紛開始把推薦系統(tǒng)嵌入到他們的電子商務(wù)系統(tǒng)中，引發(fā)了推薦系統(tǒng)研究和應(yīng)用的熱潮。1997年以前，推薦系統(tǒng)主要用于信息過濾，如電子郵件的過濾、新聞組文章的過濾等，代表系統(tǒng)有TAPSTRY, Grouplens,PHOAKS, Fab, Referral Web, CiteSeer等。于是David Goldberg等人定義了用于這種目的的過濾器。這一方法的主要缺點(diǎn)是一個(gè)用戶的興趣很少能整齊的映射到系統(tǒng)提供的郵件列表之中。Tapestry因此也成為歷史上第一個(gè)CF系統(tǒng)(基于CF的推薦系統(tǒng))。偏最小二乘已經(jīng)成功應(yīng)用在許多領(lǐng)域，如化學(xué)和生物信息等，在個(gè)性化推薦領(lǐng)域還需進(jìn)一步的研究。我們運(yùn)用層次分類的思想來反映用戶的興趣和愛好，這樣更加符合客觀世界中事物的聯(lián)系、人們的思維習(xí)慣和分類學(xué)的科學(xué)原理。（3） 對(duì)于電子政務(wù)網(wǎng)站，可以提高政務(wù)信息的服務(wù)質(zhì)量和用戶的訪問效率，提高網(wǎng)上辦事效率，提升政府的服務(wù)水平和形象，為廣大市民、企事業(yè)用戶提供便利措施。信息檢索技術(shù)滿足了人們一定的需要，但由于其通用的性質(zhì),仍不能滿足不同背景、不同目的和不同時(shí)期的查詢請(qǐng)求。根據(jù)規(guī)劃，中國(guó)將繼續(xù)推行電子政務(wù)和電子商務(wù)，加快培育具有核心競(jìng)爭(zhēng)能力的信息產(chǎn)業(yè)，同時(shí)加快培養(yǎng)信息化人才，提高國(guó)民的信息技術(shù)應(yīng)用能力。從應(yīng)用的角度來看，希望基于上述的理論研究，構(gòu)建分層的個(gè)性化推薦系統(tǒng)，該系統(tǒng)具有以下特點(diǎn)：（1） 能夠較為客觀反映用戶瀏覽網(wǎng)頁(yè)的行為模式，用分層的思想來刻畫各種類別用戶群的興趣和愛好；（2） 能夠提供基于層次化用戶個(gè)人興趣的、具有層次類別的內(nèi)容的個(gè)性化推薦系統(tǒng)。它是因十九世紀(jì)九十年代計(jì)算機(jī)性能大幅提高而興起的，目前幾乎所有重要的機(jī)器學(xué)習(xí)算法在自動(dòng)文本分類領(lǐng)域都得到了廣泛應(yīng)用，如：最小二乘回歸模型、k近鄰、決策樹、樸素貝葉斯、神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)等，基于機(jī)器學(xué)習(xí)的文本分類技術(shù)已經(jīng)成為文本分類的主流技術(shù)。也有兩者結(jié)合的方式。它關(guān)注于用戶和Web進(jìn)行交互時(shí)的用戶行為預(yù)測(cè)，而挖掘的對(duì)象正是這一交互過程中產(chǎn)生的數(shù)據(jù)，主要包括：Web服務(wù)器日志(包括服務(wù)器日志、客戶日志和代理日志)、用戶簡(jiǎn)介、注冊(cè)信息、用戶對(duì)話或交易信息、用戶提問方式等。建?；诔湹耐?fù)浣Y(jié)構(gòu)，這些結(jié)構(gòu)具有或者沒有鏈接描述。Web文本挖掘可以是對(duì)文檔進(jìn)行自動(dòng)摘要、分類、聚類和關(guān)聯(lián)分析，還可以利用Web文檔進(jìn)行趨勢(shì)預(yù)測(cè)等。Web內(nèi)容挖掘是從Web文檔內(nèi)容或其描述中抽取知識(shí)的過程。例如協(xié)同過濾技術(shù)、分類和聚類技術(shù)、關(guān)聯(lián)規(guī)則挖掘技術(shù)、神經(jīng)網(wǎng)絡(luò)技術(shù)等。個(gè)性化推薦系統(tǒng)的關(guān)鍵是建立用戶模型。推薦系統(tǒng)是根據(jù)用戶的興趣愛好,推薦符合用戶興趣愛好的對(duì)象,也稱個(gè)性化推薦系統(tǒng)(personalized remender systems)。在用戶行為分析與預(yù)測(cè)上，本項(xiàng)目運(yùn)用層次分類的理論建立用戶群層次分類圖，用戶之間存在一定的聯(lián)系；其次，在用戶群層次分類圖的基礎(chǔ)上，運(yùn)用偏序關(guān)系原理，構(gòu)建全部用戶具有偏序結(jié)構(gòu)的關(guān)鍵瀏覽路徑層次圖，同時(shí)用網(wǎng)頁(yè)內(nèi)容來調(diào)整層次結(jié)構(gòu)，用戶的會(huì)話識(shí)別就依據(jù)層次類別圖進(jìn)行識(shí)別，從而達(dá)到用戶的網(wǎng)頁(yè)瀏覽行為的分析與預(yù)測(cè)，最終進(jìn)行個(gè)性化信息定制的目的。在推薦引擎中，用多元統(tǒng)計(jì)分析中的偏最小二乘原理，建立基于偏最小二乘的層次文本分類模型，從而為不同興趣的用戶群推送具有層次的網(wǎng)頁(yè)內(nèi)容。推薦系統(tǒng)不但根據(jù)用戶以往的歷史紀(jì)錄，更需要結(jié)合當(dāng)前一段時(shí)間的行為動(dòng)作做出實(shí)時(shí)地反應(yīng)，并根據(jù)與用戶交互的反饋結(jié)果修正和優(yōu)化其推薦結(jié)果。推薦系統(tǒng)的熱點(diǎn)問題是推薦技術(shù)和推薦算法的研究。 Web挖掘Web挖掘就是從Web文檔和Web活動(dòng)中抽取感興趣的潛在的有用模式和隱藏的信息。Web內(nèi)容挖掘分為文本挖掘和多媒體挖掘兩大類。多媒體信息挖掘，主要是指通過對(duì)Web上的圖像、音頻和視頻進(jìn)行處理，應(yīng)用存儲(chǔ)和搜索技術(shù)與標(biāo)準(zhǔn)的數(shù)據(jù)挖掘方法的集成，對(duì)其中潛在的、有意義的信息和模式進(jìn)行發(fā)掘的過程。對(duì)Web拓?fù)浣Y(jié)構(gòu)建模具有代表性的方法有HITS算法和PageRank算法。 層次文本分類自動(dòng)文本分類是將自然文本文件根據(jù)內(nèi)容自動(dòng)分為預(yù)先定義的一個(gè)或幾個(gè)類別的過程?；谥R(shí)也稱基于規(guī)則的（BasedRule），它的分類規(guī)則通常由一些領(lǐng)域的專家手工建立。然而，因特網(wǎng)中分布傳播的海量電子化文本所顯現(xiàn)出的種類多樣、分布不均勻、關(guān)系復(fù)雜、更新頻繁及標(biāo)注困難等新的特征，給近年來面向互聯(lián)網(wǎng)海量信息處理需求的文本分類帶來了巨大挑戰(zhàn)，非線性、數(shù)據(jù)集分布不均、標(biāo)注瓶頸、多層分類、算法的擴(kuò)展性及Web頁(yè)分類等問題是目前文本分類研究的關(guān)鍵問題。. 項(xiàng)目的意義我們的項(xiàng)目涉及數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘、信息檢索、機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、計(jì)算語(yǔ)言學(xué)、機(jī)器學(xué)習(xí)等多個(gè)研究領(lǐng)域，具有很高的研究?jī)r(jià)值和極其廣闊的應(yīng)用前景。所以，在這樣的背景下，開展基于分層的個(gè)性化推薦系統(tǒng)具有一定的社會(huì)價(jià)值和經(jīng)濟(jì)價(jià)值。個(gè)性化推薦為不同用戶提供不同的服務(wù),以滿足不同的需求。（4） 建立基于本項(xiàng)目理論基礎(chǔ)的個(gè)性化推薦產(chǎn)品，以此為契機(jī)，可以大力推進(jìn)我省、我市基于電子商務(wù)和電子政務(wù)平臺(tái)的個(gè)性化信息服務(wù)軟件產(chǎn)業(yè)的進(jìn)步與發(fā)展。（6） 因特網(wǎng)中分布傳播的海量電子化文本所顯現(xiàn)出的種類多樣、分布偏斜、關(guān)系復(fù)雜、類別之間的重疊和高維數(shù)據(jù)等特征，給近年來面向電子商務(wù)和電子政務(wù)的個(gè)性化推薦技術(shù)帶來了巨大挑戰(zhàn)。但尚未出現(xiàn)偏最小二乘在個(gè)性化推薦上的理論研究，具有一定的理論和應(yīng)用創(chuàng)新。當(dāng)時(shí)提出CF是為了解決信息過載(Information Overload)的問題。一種改進(jìn)方案是由用戶指定一個(gè)過濾器，然后郵件系統(tǒng)根據(jù)每個(gè)用戶指定的過濾器來搜索整個(gè)郵件列表，提供用戶感興趣的郵件。當(dāng)用戶指定了多個(gè)這樣的過濾器時(shí)，整個(gè)過濾過程就相當(dāng)于多個(gè)鄰居相互協(xié)作為當(dāng)前用戶過濾信息，因而稱之為協(xié)作式過濾。1997年以后，推薦系統(tǒng)被引入一個(gè)新的應(yīng)用領(lǐng)域—電子商務(wù)。到目前為止，很多商業(yè)公司開展了推薦系統(tǒng)的研究，例如IBM Almaden Research Center, Compaq Research Center等。很多網(wǎng)站，如Microsoft、AOL、Yahoo、CNN、IBM等，均推出了個(gè)性化功能；很多電子商務(wù)網(wǎng)站也注意到了個(gè)性化服務(wù)的巨大商機(jī)，如Amazon、Ebay、Best Buy都推出了個(gè)性化服務(wù)功能?；谝?guī)則的系統(tǒng)其優(yōu)點(diǎn)是簡(jiǎn)單、直接，缺點(diǎn)是規(guī)則質(zhì)量很難保證，而且動(dòng)態(tài)更新困難?；趦?nèi)容過濾的系統(tǒng)其優(yōu)點(diǎn)是簡(jiǎn)單、有效，缺點(diǎn)是難以區(qū)分資源內(nèi)容的品質(zhì)和風(fēng)格，而且不能為用戶發(fā)現(xiàn)新的感興趣的資源，只能發(fā)現(xiàn)和用戶已有興趣相似的資源。結(jié)合這兩種過濾技術(shù)可以克服各自的一些缺點(diǎn)，為了克服協(xié)同過濾的數(shù)據(jù)稀疏性問題，可以利用用戶瀏覽過的資源內(nèi)容預(yù)期用戶對(duì)其他資源的評(píng)價(jià)，這樣可以增加資源評(píng)價(jià)的密度，利用這些評(píng)價(jià)再進(jìn)行協(xié)同過濾，從而提高協(xié)同過濾的性能。門戶網(wǎng)站新浪網(wǎng)推出了個(gè)性化的推薦系統(tǒng)。國(guó)內(nèi)的電子政務(wù)網(wǎng)站的個(gè)性化推薦系統(tǒng)基本上還處于剛起步階段。由于基于內(nèi)容的過濾自身的局限性，協(xié)同過濾推薦技術(shù)是當(dāng)前研究的熱門。隨著研究的深入，新型推薦系統(tǒng)應(yīng)該利用盡可能多的信息，收集多種類型的數(shù)據(jù)，有效集成多種推薦技術(shù)，從而提供更加有效的推薦服務(wù).. 項(xiàng)目申請(qǐng)單位、主要合作單位及項(xiàng)目負(fù)責(zé)人的基本情況. 項(xiàng)目申請(qǐng)單位基本情況江西集佳科技有限公司于2002年5月在江西南昌注冊(cè)成立，注冊(cè)資本為600萬元。在電子政務(wù)領(lǐng)域?yàn)榭蛻籼峁┚哂懈叨劝踩浴?shí)用性以及滿足海量數(shù)據(jù)應(yīng)用的電子政務(wù)信息平臺(tái)；為企業(yè)客戶提供ERP、CRM、網(wǎng)絡(luò)辦公自動(dòng)化、企業(yè)電子商務(wù)門戶建設(shè)等方面在內(nèi)的多行業(yè)企業(yè)信息化解決方案。幾年來公司累計(jì)投入研發(fā)經(jīng)費(fèi)800多萬元，從事高新技術(shù)產(chǎn)品的研發(fā)工作。該項(xiàng)目榮獲科技部等四部委聯(lián)合頒發(fā)的“國(guó)家重點(diǎn)新產(chǎn)品證書”，同時(shí)還獲得科技部2005年度“科技型中小企業(yè)技術(shù)創(chuàng)新基金”立項(xiàng)和科技部2006年度“國(guó)家級(jí)火炬計(jì)劃”立項(xiàng)。. 主要合作申請(qǐng)單位基本情況江西財(cái)經(jīng)大學(xué)現(xiàn)代教育技術(shù)中心下設(shè)計(jì)算機(jī)網(wǎng)絡(luò)管理部、計(jì)算機(jī)教學(xué)部、軟件技術(shù)部、遠(yuǎn)程教育管理部等十個(gè)部室。擁有一支由計(jì)算機(jī)軟件碩士十余人組成的專業(yè)軟件研究開發(fā)團(tuán)隊(duì)。參編正式出版教材4部，發(fā)表教學(xué)和科研論文112篇，中心派出多人次參加國(guó)內(nèi)相關(guān)內(nèi)容的培訓(xùn)，派技術(shù)人員到校外進(jìn)行合作研究。江西省計(jì)算機(jī)學(xué)會(huì)理事，江西省互聯(lián)網(wǎng)協(xié)會(huì)理事，江西省高校電化教育學(xué)會(huì)理事。主持并完成了江西財(cái)經(jīng)大學(xué)新學(xué)分制管理系統(tǒng)的開發(fā)、辦公自動(dòng)化系統(tǒng)的開發(fā)等。主持212現(xiàn)代服務(wù)業(yè)科技發(fā)展專項(xiàng)規(guī)劃戰(zhàn)略研究報(bào)告，省科技廳軟科學(xué)項(xiàng)目，2005年主要成員213基于WEB的學(xué)分制綜合管理信息系統(tǒng)，江西省教育廳科技項(xiàng)目，2006年主持14基于多層安全代理的集成訪問控制系統(tǒng)，南昌市科技計(jì)劃項(xiàng)目，2006年9月立項(xiàng)。 本系統(tǒng)采用聚類和分類作為個(gè)性化推薦的基本技術(shù)，作為推薦引擎的核心技術(shù)。. 主要經(jīng)濟(jì)指標(biāo) 開發(fā)基于分層的個(gè)性化推薦軟件產(chǎn)品，該產(chǎn)品所具有的基于層次類別圖的用戶描述模型和基于層次分類理論的推薦引擎具有獨(dú)創(chuàng)性，將會(huì)在國(guó)內(nèi)的個(gè)性化服務(wù)產(chǎn)品中占有相當(dāng)?shù)氖袌?chǎng)份額。. 項(xiàng)目的主要研究（開發(fā)）內(nèi)容. 研究?jī)?nèi)容基于分層的用戶行為分析與預(yù)測(cè)在Web使用挖掘日志預(yù)處理中，用戶的會(huì)話識(shí)別是一個(gè)十分重要的工作?；诜謱拥钠钚《藗€(gè)性化內(nèi)容推送偏最小二乘回歸方法主要的研究焦點(diǎn)是多因變量對(duì)多自變量的回歸建模，它與普通多元回歸方法在思路上的主要區(qū)別是它在回歸建模過程中采用了信息綜合與篩選技術(shù)。. 系統(tǒng)設(shè)計(jì)流程思路是建立具有層次關(guān)系的用戶類別和具有層次關(guān)系的站點(diǎn)頁(yè)面，根據(jù)用戶提供的個(gè)人信息和已有的訪問歷史記錄，把用戶歸類到不同層次的用戶群，推薦不同層次的相關(guān)頁(yè)面，提供個(gè)性化的推薦服務(wù)。Web站點(diǎn)文件Web使用數(shù)據(jù)Web內(nèi)容Web使用數(shù)據(jù)預(yù)處理會(huì)話文件用戶興趣描述Web網(wǎng)頁(yè)預(yù)處理特 征降 維文本表示層次網(wǎng)頁(yè)分類器學(xué)習(xí)離線部分用戶新的站點(diǎn)頁(yè)面用戶行為預(yù)測(cè)推薦規(guī)則在線部分新的站點(diǎn)頁(yè)面層次網(wǎng)頁(yè)分類器推薦引擎…..用戶........ Web使用挖掘用戶行為的分析與預(yù)測(cè)主要使用Web使用挖掘的原理和技術(shù)來實(shí)現(xiàn)。（2） 模式發(fā)現(xiàn)：對(duì)數(shù)據(jù)預(yù)處理所形成的文件，利用數(shù)據(jù)挖掘的一些有效算法(如關(guān)聯(lián)規(guī)則、聚類、分類、序列模式等)來發(fā)現(xiàn)隱藏的模式和規(guī)則。Web日志的格式一般有通用日志格式（Common Log Format）、擴(kuò)展日志格式（Extended Log Format）。預(yù)處理包括使用數(shù)據(jù)、內(nèi)容和結(jié)構(gòu)信息的預(yù)處理。一般來說，數(shù)據(jù)預(yù)處理包括數(shù)據(jù)清理（Data Cleaning）、用戶識(shí)別（user identification）、會(huì)話識(shí)別（Session Identification）和路徑補(bǔ)充四個(gè)基本的步驟，重點(diǎn)和難點(diǎn)是用戶識(shí)別和會(huì)話識(shí)別。用戶會(huì)話(user session)：某個(gè)用戶階段性的頁(yè)面瀏覽所產(chǎn)生的頁(yè)面序列或點(diǎn)擊流。 數(shù)據(jù)源分析Web使用挖掘使用的數(shù)據(jù)主要來自Web服務(wù)器（Web Server）、代理服務(wù)器（Proxy Server）和Web客戶端（Web Client）。服務(wù)器端日志主要的問題是用戶會(huì)話的識(shí)別，例如，如何對(duì)所有用戶的頁(yè)面請(qǐng)求（或者點(diǎn)擊流）進(jìn)行分組，以便能清楚地識(shí)別各個(gè)用戶在Web站點(diǎn)上的瀏覽路徑。HTTP是一種無狀態(tài)連接，因而追蹤單個(gè)用戶并不容易。這種方法具有一些優(yōu)勢(shì)：收集的數(shù)據(jù)是實(shí)時(shí)的；來自不同Web服務(wù)的信息容易被合并為一個(gè)日志；一些特定的行為（如stop按鈕的使用）可以跟蹤。因?yàn)樯婕胺?wù)器應(yīng)用的版權(quán)等一系列問題，這種方法也并不可行。客戶端的數(shù)據(jù)收集比服務(wù)器端的數(shù)據(jù)收集更具有優(yōu)越性，它是建立在用戶行為源上的，可準(zhǔn)確地捕獲用戶的行為，能準(zhǔn)確地確定瀏覽用戶。 數(shù)據(jù)清理數(shù)據(jù)清理的工作主要是去除那些對(duì)于挖掘無用的Web日志信息，與Web挖掘有關(guān)的數(shù)據(jù)只有用戶IP地址、用戶ID、請(qǐng)求訪問的URL頁(yè)面和訪問時(shí)間，其它屬性可以去除。目前可行的解決方法是利用站點(diǎn)結(jié)構(gòu)和內(nèi)容數(shù)據(jù)進(jìn)行清理。因此，在同一時(shí)間段內(nèi)可能有許多不同用戶通過同一代理服務(wù)器存取同一網(wǎng)站。l 單客戶端/多用戶：當(dāng)在同一機(jī)器上存在多個(gè)單獨(dú)的使用(會(huì)話應(yīng)用)時(shí)，就像公共訪問機(jī)，這樣使人產(chǎn)生有多個(gè)用戶在上網(wǎng)的錯(cuò)覺。啟發(fā)式規(guī)則的核心思想:(1)不同的IP地址代表著不同的用戶。因?yàn)镠ttp協(xié)議是無狀態(tài)的，所以為確定一個(gè)會(huì)話何時(shí)終止，很難知道用戶何時(shí)離開Web站點(diǎn)。規(guī)定了兩個(gè)連續(xù)點(diǎn)擊間的最大時(shí)間間隔。用一種啟發(fā)式方法直接利用頁(yè)面的引用者數(shù)據(jù)修整路徑；如果沒有引用者數(shù)據(jù)，可依賴于站點(diǎn)結(jié)構(gòu)。那么，這些用戶實(shí)際在瀏覽這些網(wǎng)頁(yè)時(shí)完成了一系列不同的事務(wù)，但用戶訪問網(wǎng)站的興趣行為反映在日志數(shù)據(jù)中只是具有時(shí)序關(guān)系的頁(yè)面，不能識(shí)別用戶完成的事務(wù)，不能識(shí)別用戶的興趣和愛好。那么，在目前的網(wǎng)絡(luò)環(huán)境下，如何運(yùn)用Web日志，從用戶的興趣和愛好的角度去識(shí)別用戶這些會(huì)話，還需要進(jìn)一步的研究?？梢园秧?yè)面內(nèi)容的分類作為一個(gè)附加步驟，從而加強(qiáng)Web日志的信息。也有使用基于數(shù)據(jù)立方體的方法，即根據(jù)Web日志建立數(shù)據(jù)立方體，然后對(duì)數(shù)據(jù)立方體進(jìn)行數(shù)據(jù)挖掘和OLAP（Online Analysis Processing）。其算法可分兩類：基于關(guān)聯(lián)規(guī)則的用戶存取事務(wù)分析和用戶存取事務(wù)的時(shí)間序列分析。 關(guān)聯(lián)規(guī)則挖掘技術(shù)在Web使用挖掘中，關(guān)聯(lián)規(guī)則挖掘是使用最為廣泛的技術(shù)之一，主要用于發(fā)現(xiàn)用戶之間、頁(yè)面之間以及用戶瀏覽頁(yè)面和網(wǎng)上行為之間存在的潛在關(guān)系。 序列模式挖掘技術(shù)序列模式挖掘目的是從大量的序列數(shù)據(jù)中發(fā)現(xiàn)頻繁的子序列。一些著名的用于挖掘關(guān)聯(lián)規(guī)則算法修改后用于抽取序列模式，例如，Apriori的改進(jìn)算法AprioriAll，GSP。用戶聚類是對(duì)具有相似瀏覽模式的用戶進(jìn)行分組，這些知識(shí)對(duì)于電子商務(wù)中市場(chǎng)劃分和為用戶提供個(gè)性化的服務(wù)特別有用。具有相似訪問子圖的客戶為需求相似的客戶，此即客戶群體聚類。其它各式各樣的圖都是建立在頁(yè)面和頁(yè)面之間的聯(lián)系或一定數(shù)量的用戶瀏覽頁(yè)面順序基礎(chǔ)之上的。例如，在網(wǎng)上商店中，當(dāng)用戶基于動(dòng)作選作購(gòu)物時(shí)，可以對(duì)用戶的不同階段進(jìn)行建模（比如從一個(gè)隨意瀏覽的訪客到一個(gè)潛在的購(gòu)物者）。. 層次網(wǎng)頁(yè)分類器在個(gè)性化推薦系統(tǒng)中，基于內(nèi)容的推薦主要采用基于層次的網(wǎng)頁(yè)分類器