【正文】 Web流量中不同部分的導航模式，從單用戶/單網站瀏覽行為到多用戶/多網站的存取模式。服務器會話(server session)：某個用戶在一個服務器上階段性的頁面瀏覽所構成的點擊流。頁面瀏覽(page view)：用戶點擊鼠標瀏覽網頁所得到的結果；這個結果可以由多個文件構成；一次頁面瀏覽代表一次用戶行為。對日志進行預處理的結果直接影響到挖掘算法產生的規(guī)則和模式。圖 Web使用挖掘的預處理詳細過程上圖是Web使用挖掘的預處理詳細過程。Web使用挖掘主要處理從Web日志文件抽取出知識。它關注于用戶和Web進行交互時的用戶行為預測，而挖掘的對象正是這一交互過程中產生的數(shù)據(jù)，主要包括：Web服務器日志(包括服務器日志、客戶日志和代理日志)、用戶簡介、注冊信息、用戶對話或交易信息、用戶提問方式等。在Web使用挖掘的預處理中，運用我們新提出的方法建立具有層次類別的用戶群和提取用戶關鍵層次路徑以進行會話識別，分析用戶的行為。我們將構建在分層的偏最小二乘基礎上，以用戶為中心，個性化的用戶資源推送模塊。再結合用戶群層次分類圖，運用偏序關系原理，構建全部用戶具有偏序結構的關鍵瀏覽路徑層次圖，從而達到調整用戶層次類別圖的目的。 該產品在電子商務、電子政務和其他需要個性化服務的系統(tǒng)（如數(shù)字化圖書館和辦公自動化軟件等）中具有廣闊的市場需求基礎，項目投產后實現(xiàn)年銷售額500萬元以上的銷售規(guī)模，實現(xiàn)年利潤總額為150萬元以上。 本系統(tǒng)實現(xiàn)了基于偏最小二乘統(tǒng)計分析理論的網頁分類工具，該分類工作作為推薦引擎的重要組成部分。 整個采用struts顯示/邏輯/數(shù)據(jù)處理分離的三層技術架構模型，應用Java語言，結合Jsp、servlet、Javabean、XML等技術來實現(xiàn)。具體如下：序號科研課題承擔任務1江西軟件產品如何做大做強，江西省教育廳人文社科招標項目， 2000年主要成員12基于Mobile Agent的主動網絡管理策略研究，江西省自然科學基金（0111022），2001主要成員43因特網監(jiān)控取證系統(tǒng)，國家安全部重點項目，2002年主要成員34現(xiàn)代教育技術應用模式及效益分析研究，江西省教育廳教改項目，2002年主持5《財政學》網絡應用型教學軟件設計，江西省教育廳重點課題，2003年主持26成人高等教育管理信息系統(tǒng)，江西省高校教改省級課題重點項目，2003年主要成員27分布式社區(qū)聯(lián)動消防應急系統(tǒng)，江西省教育廳科技項目，2004年主要成員18跨校選修管理模式的研究，江西省高校教改省級課題重點項目，2004年主要成員29高校教學多制式綜合管理系統(tǒng),江西省科技廳工業(yè)攻關計劃項目，2005主要成員31020062010年上饒市電子政務建設規(guī)劃，上饒市十一五和中長期發(fā)展規(guī)劃項目，2005年?，F(xiàn)為江西財經大學信息管理學院管理科學與工程專業(yè)博士研究生，研究方向是信息安全與電子政務。曾主持和參加多項省級、國家級課題和研究項目?，F(xiàn)代教育技術中心完成縱、橫向科研項目12項，在研項目3項，其中省級以上9項。中心主要工作是：開展數(shù)字化建設的網絡基礎服務研究，為數(shù)字化校園的建設提供技術支持與服務；負責江西財經大學信息系統(tǒng)的規(guī)劃、設計、開發(fā)；負責學校校園網、校園卡系統(tǒng)的設計、建設，保障校園網的安全穩(wěn)定運行；承擔學校計算機網絡教學和遠程教育系統(tǒng)研究、設計與開發(fā)，并提供技術支持與服務。公司以為社會承擔責任為己任，倡導“傻子”精神，堅持以人為本的經營思想，致力于高新技術的產業(yè)化。該項目產品具有卓越的移峰填谷、平衡電力負荷之功能，它通過開發(fā)低谷用電，可大大降低用戶的空調運行費用和高效節(jié)能，是一項利國利民的好項目。為了進一步提高企業(yè)的核心競爭力，為社會承擔更多的責任，我司始終把技術創(chuàng)新放在首位，在新產品研發(fā)的道路上，進行了不懈的探索和追求。公司是專業(yè)從事軟件開發(fā)和系統(tǒng)集成的高科技企業(yè)，擁有較為強大的軟件開發(fā)團隊，具有豐富的企事單位業(yè)管理軟件開發(fā)與項目實施經驗。用戶評分數(shù)據(jù)的極端稀疏性使得推薦系統(tǒng)無法產生有效的推薦，推薦系統(tǒng)的推薦質量難以保證。個性化系統(tǒng)平臺由兩部份組成：其一，個性化定制系統(tǒng)；其二，個人行為推薦系統(tǒng)。使信息服務更具有針對性，對不同的用戶采用不同的服務策略并提供不同的服務內容。國內的個性化推薦技術的研究起步較晚，同國外個性化推薦系統(tǒng)，我國的從自動化策略、推薦的內容和用戶興趣的分析和收集都存在不小的差距，但是最近幾年隨著電子商務的快速發(fā)展，對其的研究和原型系統(tǒng)的設計較多?；趨f(xié)同過濾的系統(tǒng)優(yōu)點是能為用戶發(fā)現(xiàn)新的感興趣的信息，缺點是存在兩個很難解決的問題：一個是數(shù)據(jù)稀疏性，即系統(tǒng)使用初期，由于系統(tǒng)資源未獲得足夠多的評價信息，系統(tǒng)很難利用這些評價來發(fā)現(xiàn)相似的用戶；另一個是可擴展性，即隨著系統(tǒng)用戶和資源數(shù)量的增長，系統(tǒng)性能會越來越低。基于內容過濾的系統(tǒng)如：Personal WebWatcher, Syskill amp。例如Amazon書店，同時提供了Customer Who Bought Eyes , Book Matcher, Customer Comments等個性化推薦服務。到近幾年來，個性化服務逐漸從學術研究走向了實際應用。由于這種列表往往很小，顧客可以很容易的找到自己感興趣的商品，這樣不僅極大的方便了顧客，而且潛在的增加了電子商務的交易量，為商家?guī)砹丝捎^的收益。推薦系統(tǒng)有很多應用領域。但是這些系統(tǒng)提供的過濾器都是基于內容的(Contentbased)，沒有考慮人的因素，如用戶不能指定“我的鄰居David讀過的并且認為比較好的郵件”這樣的過濾器。最初的方法是由郵件系統(tǒng)提供郵件分類列表，而用戶僅僅選擇自己感興趣的郵件列表來過濾郵件。CF的概念是由David Goldberg等人在1992年構造郵件系統(tǒng)Tapestry時第一次提出的。（7） 我們研究基于偏最小二乘理論的層次文本分類器模型，進一步拓展了偏最小二乘在文本分類上的應用。并且，用戶瀏覽網頁的行為模式所隱藏的興趣大多數(shù)不是單一的。作用主要體現(xiàn)在三方面：將電子商務網站的瀏覽者轉變?yōu)橘徺I者；提高電子商務網站的交叉銷售能力(cross selling)；提高客戶對電子商務網站的忠誠度。Web已成為人們獲取信息的一個重要途徑，由于Web信息的日益增長,人們不得不花費大量的時間去搜索、瀏覽自己需要的信息。同時，我國《2006━2020年國家信息化發(fā)展戰(zhàn)略》中也提出：未來15年內，中國將大力推進國家信息化建設，充分利用信息技術，提高經濟增長的質量和效益。本項目緊跟自動文本分類領域的最新發(fā)展，運用層次文本分類技術，研究大規(guī)模的因特網電子文本的推薦技術；（3） 本項目運用層次分類的思想來構建個性化推薦系統(tǒng)的用戶興趣和推薦內容?；趯W習的自動文本分類系統(tǒng)是利用機器學習技術從預先定義的類別中自動提取分類規(guī)則，自動導出文本分類器。自動文本分類主要有兩種基本實現(xiàn)途徑：基于知識的（BasedKnowledge）和基于學習的( BasedLearning)。Web使用挖掘是通過挖掘Web日志記錄以發(fā)現(xiàn)用戶訪問Web頁面的模式、挖掘有用模式和預測用戶瀏覽行為的技術。Web結構挖掘是從Web的鏈接關系和組織結構中推導知識，目的是應用頁面間的結構和頁面內的Web，運用社會網絡（Social Network）分析方法對Web本身潛在的鏈接結構進行建模。Web文本挖掘的數(shù)據(jù)對象既可以是結構化的，也可以是非結構化和半結構化的。按照這些Web數(shù)據(jù)對象，一般將Web挖掘分為3大類：Web內容挖掘（Web content mining），Web結構挖掘（Web structure mining）和Web使用記錄挖掘（Web usage mining）。為了建立合理的用戶模型，保證不同用戶對實時性，推薦方式等的要求，產生了一系列的推薦技術和算法。當然推薦系統(tǒng)收集的數(shù)據(jù)信息會反饋到管理員，并協(xié)助其做出正確的決策。. 技術原理簡述 推薦系統(tǒng)推薦系統(tǒng)(remender systems)是數(shù)據(jù)挖掘的一個分支，是一種較為特殊的數(shù)據(jù)挖掘系統(tǒng)，主要體現(xiàn)在推薦系統(tǒng)的實時性和交互性上?；诜謱拥膫€性化推薦軟件系統(tǒng)項目可行性研究報告基于分層的個性化推薦軟件系統(tǒng)項目可行性研究報告目錄一、 總論 4. 項目的主要內容及技術原理簡述 4. 主要內容 4. 技術原理簡述 4. 項目的目的和意義 7. 項目的目的 7. 項目的意義 7. 相關技術領域國內外發(fā)展現(xiàn)狀、趨勢 10. 項目申請單位、主要合作單位及項目負責人的基本情況 13. 項目申請單位基本情況 13. 主要合作申請單位基本情況 14. 項目主要負責人基本情況 14. 有關本項目的現(xiàn)有工作基礎和支撐條件 18二、 項目實施方案 19. 項目達到的目標及考核的主要技術、經濟指標 19. 主要技術指標 19. 主要經濟指標 19. 項目的主要研究（開發(fā)）內容 20. 研究內容 20. 系統(tǒng)設計流程 20. Web使用挖掘 21. 層次網頁分類器 30. 試驗（開發(fā)）規(guī)模及地點 35. 主要技術關鍵及創(chuàng)新點 35. 技術關鍵 35. J2EE技術 35. 項目的創(chuàng)新點 42. 實施方案（含技術路線、工藝流程及技術關鍵的解決方案） 43. 技術路線 43. 系統(tǒng)總體架構 44. 實施方案 45. 技術風險分析 50. 分年度的工作內容、目標 51. 申請單位、合作申請單位及主要人員的分工 51. 組織及管理的運行機制 52. 項目實施基礎條件 53. 有關本項目的國內外知識產權狀況分析 55三、 市場分析 55 市場預測（含同類項目的國內外市場情況） 55 本項目的市場競爭優(yōu)勢、風險及市場策略 56 經濟效益分析 57 社會效益分析 57 推廣應用及產業(yè)化分析 58四、 經費預算及籌措方案 59 經費預算（總資金） 59 籌措方案 59 申請經費的主要用途 59 分年度用款計劃（含申請經費） 60五、 技術經濟可行性的綜合評價 61六、 附件 62一、 總論. 項目的主要內容及技術原理簡述. 主要內容本課題的研究目標是設計和實現(xiàn)一個基于分層的個性化推薦軟件系統(tǒng)，可廣泛應用于電子商務、電子政務、網頁信息搜索和數(shù)字化圖書館等。此外，采用分層分類的理論可以在一定程度上解決定義不同興趣的用戶類別和網頁內容的類別重疊問題，解決大規(guī)模電子商務、電子政務和數(shù)字圖書館的個性化推薦系統(tǒng)面臨的網頁內容分布不均勻、推薦算法的可擴展性等問題。同時與其它數(shù)據(jù)挖掘系統(tǒng)不同的是，推薦系統(tǒng)主要面對的是客戶，而非管理研發(fā)人員。推薦算法是整個推薦系統(tǒng)的核心，它的性能決定了最終推薦結果的好壞。Web數(shù)據(jù)主要包括：1）Web內容：主要是文本、圖像、聲音和動畫等；2）Web結構：這些數(shù)據(jù)描述Web內容的組織，頁面內的結構信息包括頁面內不同的HTML和XML標記（tag）的布局，頁面間的結構信息主要是頁面間的鏈接；3）Web使用數(shù)據(jù)：描述Web頁面的使用模式，包括Web訪問日志（如IP地址、頁面引用、訪問時間等）和應用服務日志等；4）用戶注冊信息和profile信息。對于文本文檔(包括TXT, PostScript, PDF, HTML等)的挖掘稱為文本挖掘。多媒體信息挖掘可以應用于語音識別、圖形和圖像處理等研究領域。典型的系統(tǒng)有Clever和Google。自動文本分類技術的研究目標就是實現(xiàn)文本分類的自動化，以達到降低分類成本、提高分類效率和改善分類性能等目的。這種方式的優(yōu)點是可以達到非常高的分類準確率，但是它非常耗費人力和時間，對于各個領域的文本信息需要不同領域的專家。. 項目的目的和意義. 項目的目的從理論研究的角度來看，我們希望在電子商務和電子政務的框架下，對個性化推薦系統(tǒng)中的一些理論研究有所突破：（1） 重點分析和研究通過Web日志體現(xiàn)的用戶瀏覽網頁的行為模式，挖掘隱藏在這些數(shù)據(jù)后的行為特征；（2） 分類和聚類是個性化推薦服務的基本技術，目前大多數(shù)推薦內容都是文本信息。在2006年2月9日我國公布的《國家中長期科學和技術發(fā)展規(guī)劃綱要（2006━2020年）》中，把智能感知技術作為規(guī)劃中的前沿技術：“重點研究基于生物特征、以自然語言和動態(tài)圖像的理解為基礎的‘以人為中心’的智能信息處理和控制技術，中文信息處理；研究生物特征識別、智能交通等相關領域的系統(tǒng)技術”。我們進行基于分層的個性化推薦系統(tǒng)的意義有：（1） 根據(jù)2006年7月19日中國互聯(lián)網絡信息中心CNNIC發(fā)布《第十八次中國互聯(lián)網絡發(fā)展狀況統(tǒng)計報告》顯示，截至2006年6月30日，我國上網用戶總數(shù)為12,300萬，國內網站和政府門戶網站均有大幅增加。（2） 對于電子商務網站，可以充分提高站點的服務質量和訪問效率，留住已有的客戶，吸引更多的用戶，提高用戶的忠誠度和滿意度，有針對性對不同類別的用戶采取不同的產品銷售策略和產品定位等。（5） 已有的研究表明一定時間段的Web訪問用戶蘊含了穩(wěn)定的興趣。采用分而治之策略的層次分類器將是解決算法時間可擴展性的一種很好的途徑；對于因特網上海量數(shù)據(jù)的類別信息的多樣性和復雜性，相對于大多數(shù)基于類別獨立假設的單層分類，使用層次分類模型應該可以更好地刻畫類別之間的區(qū)別和聯(lián)系，可以一定程度上解決類別之間的重疊問題。. 相關技術領域國內外發(fā)展現(xiàn)狀、趨勢推薦系統(tǒng)在1997年之前一直被稱作協(xié)作式過濾(Collaborative Filtering簡稱CF)。具體情況是這樣的:在當時由于電子郵件的泛濫使用，人們被淹沒在各種各樣的郵件之中，于是人們開始想辦法解決這一問題。這一方法得到了很多郵件系統(tǒng)的支持?？偟膩碚f，CF的主要思想是:把“鄰居”和當前用戶興趣相近的人)們都認為好的物品推薦給當前用戶。在引入推薦系統(tǒng)以后，電子商務系統(tǒng)可以預測用戶的喜好，僅僅把用戶可能有興趣的商品形成列表推薦給用戶。美國幾乎所有知名的大學都有專門從事推薦系統(tǒng)的研究組，如UC Berkeley的